Python网络舆情监控网络爬虫研究与实现(2)
时间:2022-07-23 22:01 来源:毕业论文 作者:毕业论文 点击:次
7
3。2 网络舆情监控系统的实现 8 3。2。1 界面模块 10 3。2。2 爬虫模块 11 3。2。3 舆情分析模块 17 4 系统测试 20 4。1 抓取速度和准确度测试 21 4。2 微博抓取准确度测试 21 结 论 24 致 谢 25 参 考 文 献 26 1 引言 1。1 研究背景及意义 1。1。1 研究背景 根据中国互联网络信息中心(CNNIC)发布的第37次《中国互联网络发展状况统计报告》显示,截至2015年12月,中国网民规模达6。88亿,互联网普及率达到50。3%,半数中国人已接入互联网[1]。一方面,快速发展的互联网已经融入人们的生活,成为大家与外界交流的主要媒介。另一方面,互联网所具有的快速传递性,可以使言论在极短的时间内扩散出去,影响着网民行为。因此,网络舆情也越来越多的影响着大家的生活。论文网 1。1。1 研究意义 网络舆情是指在互联网背景下,众多网民对于社会(现实社会、虚拟社会)各种现象、问题所表达的信念、意见、态度和情绪的总和[2]。最近几年,随着互联网的普及,网民数量的不断提高,以及社会热门事件的突然发生,使得网络舆情蕴藏了巨大的能量,也让政府相关部门意识到,这是一把“双刃剑”。如果突发网络舆情,但政府相关部门的监管不到位,则在很大程度上会引发广大人民群众的情绪激动甚至产生危险行为,这将对和谐社会造成严重威胁。网络舆论扩散速度快,真假难识别,因此很容易产生谣言、恶意煽动等事件,使得平时在大家眼里微不足道的小事件都变成全国性的公共话题,甚至有时需要采取强制手段才能制止。随着网络舆情重要性在社会中有着越来越多的体现,政府监管部门应不断加强和完善各方面的网络舆情监控系统,为构建我国文明和谐的网络舆论环境所努力。 文献综述 1。2 国内外舆情监控的发展现状 1。2。1 国外舆情监控的发展现状 1。2。1 国内舆情监控的发展现状 1。3 本文主要工作和结构 1。3。1 本文主要工作 本文在经过研读有关网络舆情系统的资料以及请教导相关专业人士之后,设计并实现了一个针对新浪微博号的网络舆情监控系统。文章主要论述了该系统所涉及到的有关关键技术,以及系统设计和测试结果,并在结论中提出本系统的不足。 1。3。1 本文主要结构 第一章:引言。本章介绍了本课题的研究背景和意义,以及国内外网络舆情的发展现状,并给出了本文的主要工作和结构。 第二章:相关技术介绍。本章主要列出并介绍了本系统在实现过程中所涉及到的关键技术。 第三章:系统设计。本章详细阐述了需求分析、系统整体架构、运行流程以及相应模块的实现等内容。 第四章:系统测试。本章主要对系统的主要功能进行了两方面的测试,并对测试结果进行了分析。 2 相关技术介绍 2。1 Python的爬虫框架:Scrapy Scrapy是一个用Python编写,采用Twisted异步网络库来处理网络通讯,使用起来非常方便的爬虫系统,其包包括丰富的接口,用户可以对其进行扩展完成一个网络爬虫的定制。Scrapy主要包括了以下组件:来;自]优Y尔E论L文W网www.youerw.com +QQ752018766- (责任编辑:qin) |