java+mysql社交网络数据抓取的设计+源代码
时间:2022-03-06 20:28 来源:毕业论文 作者:毕业论文 点击:次
摘要: 互联网技术的不断发展,使得虚拟社区如传统论坛(BBS)等的影响逐渐减弱,却继而使得那些依靠人际关系建立的社交网络得到了网民的青睐。因此,本文主要针对新浪微博和天涯论坛这两个影响更为广泛的社交网络进行了研究!78651 该系统采用了Java语言,运用Intellij idea开发工具进行开发,后台数据库使用MySQL进行设计,通过Apache httpclient抓取网页html的方法,设计实现了基本功能。该系统功能主要包括:抓取相关(新闻,话题)数据内容;获取新闻标题;获取用户名,ID,头像;爬取浏览量,发布时间以及相关评论等。本文主要从系统的需求,数据库方面的设计,系统的实现等方面进行论述。 毕业论文关键词:社交网络,新浪微博,天涯论坛,Intellij idea,MySQL Abstract: With the development of the Internet, the influence of the traditional Forum (BBS) and other virtual communities has been weakened, and the social network based on interpersonal relationship is increasingly sought after by the Internet users。 Therefore, this article mainly aimed at micro-blog Sina and the end of the world forum these two influence more extensive social network to carry on the research! The system uses the Java language, the use of IDEA Intellij development tool for development, the background database using MySQL design, through the httpclient Apache grab page HTML method, the design and implementation of the basic functions。 The system functions mainly include: grab relevant (news, topic) data content; get news headlines; get the user name, ID, head; climb the amount of browsing, publishing time and related comments, etc。。 This paper discusses the system requirements, database design, system implementation and so on。 Keywords: Social networks, micro-blog, Sina, the world Forum,Intellij idea,MySQL 目 录 1 引言 4 1。1 系统开发背景与现状 4 1。2 系统开发的意义 4 1。3 系统开发工具简介 5 1。4 开发环境简介 6 2 系统的分析与设计 6 2。1 概要分析 6 2。2 功能需求分析 6 2。3 系统功能结构图 7 2。4 系统实现的技术方法与特点 8 2。5 系统实现功能的具体描述 10 2。6 可行性分析 11 3 数据库设计 13 3。1 E-R图设计 13 3。2 数据库设计 14 4 系统的实现和核心模块的描述 16 4。1 主界面及核心代码 16 4。2 数据显示界面及核心代码 17 4。3 评论信息界面及核心代码 19 4。4 任务提交和抓取核心代码 20 4。5 任务执行核心代码 22 5 系统测试 24 5。1 系统测试的必要性 24 5。2 任务提交和抓取界面的测试 24 5。3 信息显示界面的测试 (责任编辑:qin) |