毕业论文移动版

8。Scheduler middlewares（调度中间件）

顾名思义，调度中间件就是负责处理调度的，主要是从scrapy引擎发送到调度的请求和响应。

3）数据处理流程

Scrapy引擎控制着整个scrapy的数据处理流程，其主要的运行方式是:来;自]优Y尔E论L文W网www.youerw.com +QQ752018766-

你可以设置一个allow_domain让蜘蛛只从这个域名中爬取数据，蜘蛛从start_url中开始抓取，当引擎从蜘蛛获取第一个url后，就把它作为请求在调度中进行调度。然后调度从引擎中获取下一个要抓取的页面，调度把下一个URL返回给引擎，引擎接到后通过下载中间件把它发给下载器。下载器下载完网页后，响应的内容通过下载中间件返回给引擎，引擎在把它发送给蜘蛛，蜘蛛对这些响应的内容进行分析处理，把有用的数据返回，并且给引擎发送新的请求。引擎把返回的数据给项目管道进行处理，并且请求新的调度。重复以上步骤直至调度中没有请求。

2。1。2  python-django框架

以往的web开发常常需要编写大量繁琐重复性的代码，不仅页面表现与逻辑混杂在一起，而且编码效率并不高。对于开发者来说，一个功能强大，操作简单的开发框架会很大提高开发效率，这样的框架很常见，比如适合快速开发的flask，异步开发的tornado，适合并发高的nodejs，本次项目中我使用的是基于python的Django框架。