一种基于hadoop平台的并行朴素贝叶斯网络舆情快速分类算法

？[目的]研究hadoop平台下一种改进的并行朴素贝叶斯算法并实现网络舆情信息分类。[应用背景]网络舆情信息存在数据量大,分散度高,数据非结构化等特点,现有技术难以实现网络舆情的准确、快速分类。[方法]利用hadoop平台分布式数据存储与并行处理的优良特性,实现朴素贝叶斯分类算法的并行化运行;将采集的舆情文档依照hdfs架构进行本地化存储,并通过mapreduce进程完成并行分类处理。[结果]对mapreduce封装后的并行朴素贝叶斯分类算法进行性能测试,结果表明本算法分类效率比集中式舆情分类算法提升82%,分类准确率达到85%以上。[结论]本算法能够有效提升网络舆情分类能力与分类效率。