一种基于主题聚类的多文本自动摘要算法

在大数据时代，有价值的数据常常隐藏在互联网中。如何在互联网上有效地获取所需信息成为当前学科领域迫切需要解决的问题。多文本自动摘要技术可以从多个主题相关的文本中自动产生该主题全面、简明扼要的内容摘要，提高了用户获取信息的效率。然而，目前多文本摘要算法仍不理想，存在文本摘要的结果准确率低，召回率低等问题。文中提出了一种基于主题聚类的多文本自动摘要算法(Multi Document Summarization Algorithm based on Topic Clustering，MDSTC)。首先在典型的聚类算法中加入文本密度排序的步骤，确定初始聚类中心数，由此能够自动地发现文本集合所隐藏的子主题数量。下一步从不同的子主题集合中进行摘要的抽取，抽取的部分采用卷积神经网络算法，通过对已聚类的主题文本进行有监督的训练，对所有的句子评分、标记，选择符合中心内容的语句作为文本摘要。最后，输出所得的摘要内容。实验结果表明，与典型的基于LexRank的多文本自动摘要算法和基于WSRank的多文本自动摘要算法相比，文中提出的MDSTC算法在准确率、召回率等方面，均有较好的性能表现，生成摘要所需的时间也比这两种算法要短。