python+mysql网络爬虫定向爬取文本信息+源代码
毕业论文关键词：网络爬虫；python；数据库；PyCharm
Web crawler directional crawling text information
Abstract：General search engines search for the content featuring too wide and miscellaneous, reducing the efficiency for the user to get effective information.In order to solve this problem, this topic designes a targeted web spider,which can cater to the specific needs of users to gain the information within the website.The web spider's main program is written in python, of which the Skrapy framework can simplify the process of development.Meanwhile, multithreading is implemented to optimize the speed of getting information.Applying searching strategies oriented in the scale of information can find as much as possible information on the targeted website ,and then we can store the extracted valid information into the database.Among all the categories,mysql stands out as the best option for its free access and powerful functions.In order to facilitate the future use , the data in the database should be output to the local text document for integration.
Key words: web crawler;. python；database；PyCharm
目 录
摘要3
关键词3
Abstract3
Key words3
引言（或绪论）3
1系统的开发环境及技术简介4
1.1系统开发环境4
1.1.1 Pycharm4
1.1.2数据库简介4
1.1.3WebStrom4
1.2系统开发的思想与技术4
1.2.1定向网络爬虫4
1.2.2Scrapy框架4
1.2.3网页搜索策略5
2系统总体设计5
2.1网络爬虫的模型分析5
2.2网络爬虫搜索策略6
2.3网络爬虫的主题相关度判断7
2.4网络爬虫的概要设计7
3系统详细设计与实现 9
3.1网络爬虫总体设计9
3.2网络爬虫具体设计9
3.2.1用Scrapy框架创建一个项目9
3.2.2编写爬虫主程序9
3.2.3编写items类10
3.2.4数据的存储11
3.2.5代理设置11
3.2.6启动爬虫12
3.2.7整体流程12
4测试13
5总结14
致谢14
参考文献15
网络爬虫定向爬取文本信息
引言
近二十年，计算机在我国发展十分迅速，基本每家都有，人们用的最多的就是其搜索功能。在这个大数据时代，我们想要有效利用大量的信息资源，需要搜索引擎的帮助。百度是我国目前最出名的一个搜索引擎，我们可以通过百度查阅到很多的资料，这对生活的改变是很大的，人们不用为了解答一个疑惑而去翻阅大量的图书，只需在搜索引擎中输入关键字即可查到想要的东西。但是有的时候我们想要的东西未必可以查到或者查到的信息太多难以筛选，这也是搜索引擎存在的问题。
那么怎么解决这个问题呢？这就要用到定向网络爬虫了，它可以通过不同的正则表达式来契合用户的不同需求，这样就可以有目的的在目标网站上爬取有效的信息。在本项目中，用python来编写爬虫程序，使用了Scrapy框架，使得开发变得简易。数据存储到mysql数据库中，mysql数据库的特点是速度快，成本低。最后导出到本地文档以便日后使用。