基于hadoop的网络数据捕获与检测开题报告
2020-08-07 21:00:18
1. 研究目的与意义(文献综述)
本文以涉及情报学、计算学和信息学等多个领域的信息传播模式、网络分析和使用与满足理论等理论为基础,通过hadoop搭建分布式数据处理平台抓取需要的数据、用mapreduce来计算捕获的数据以及检测数据,进一步对这些数据进行统计分析;此外,通过构建信息传播行为的影响因素模型,揭示用户行为的动机;在此基础上,提出促进进行信息传播行为的策略。具体来说,本文的研究目的如下:
1、对行为数据进行基本的正常捕获分析,能够揭示使用进行信息传播行为的基本规律。
2、对捕获的数据进行网络检测分析,深入挖掘信息传播行为所形成的潜在模式。
2. 研究的基本内容与方案
内容:
本文以涉及情报学、计算学和信息学等多个领域的信息传播模式、社会网络分析和使用与满足理论等理论为基础,通过hadoop搭建的分布式数据处理平台抓取行为数据,进一步对这些数据进行统计分析;本文的基本内容如下:
对hdfs、mapreduce以及hbase做个简单的说明,说明一下里面相关的各种知识,以及在我们项目中需要用到的知识。
3. 研究计划与安排
第1-2周:查阅相关文献资料,明确研究内容,着手开题报告。
第3周:完成并提交开题报告。
4. 参考文献(12篇以上)
[1] 朱珠. 基于hadoop的海量数据处理模型研究和应用[d]. 北京邮电大学 2008
[2] 宋丹,王卫东,陈英. 基于改进向量空间模型的话题识别与跟踪[j]. 计算机技术与发展.2006(09)
[3] junsun,cai hui song,xiao hua xiao,xia ming jin,ji heng ni. research and improvement of the hot small file storageperformance under hdfs[j]. advanced materials research . 2013 (756)