Web.py百度网盘的网络爬虫设计+源程序(5)_毕业论文

毕业论文移动版

毕业论文 > 计算机论文 >

Web.py百度网盘的网络爬虫设计+源程序(5)

3。web Session 面板,上图黄色区域,主要是 Fiddler 抓取到的每条 http 请求

(每一条称为一个 session),主要包含了请求的 url,协议,状态码,body 等信息 4。详情和数据统计面板。针对每条 http 请求的具体统计(例如发送/接受字节 数,发送/接收时间,还有粗略统计世界各地访问该服务器所花费的时间)和数据文献综述

包分析。如 inspector 面板下,提供 headers、textview、hexview,Raw 等多种方式 查看单条 http 请求的请求报文的信息。而 composer 面板下,则可以模拟向相应 的服务器发送数据的过程,也可以粘贴一次请求的 raw http headers,达到模拟请 求的目的。Filter 标签则可以设置 Fiddler 的过滤规则,来达到过滤 http 请求的目 的。最简单如:过滤内网 http 请求而只抓取 internet 的 http 请求,或则过滤相应 域名的 http 请求。Fiddler 的过滤器非常强大,可以过滤特定 http 状态码的请求, 可以过滤特定请求类型的 http 请求(如 css 请求,image 请求,js 请求等),可以 过滤请求报文大于或则小于指定大小(byte)的请求。

图 2-1 Fidlle 主面板图

2。2。2编辑器 Sublime Text 3 

Sublime 是一款饱受广大程序员喜爱的文本编辑器,精致而又强大。官方给 出的描述是:The text editor you’ll fall in love with。Sublime Text 是一套跨平台的 文本编辑器,支持基于 Python  的插件。Sublime Text   是专有软件,可通过包

(Package)扩充本身的功能。大多数的包使用自由软件授权发布,并由社区建置 维护。

   Sublime Text  的主要功能如下:

“Go to anything”功能:可快速跳至文件、符号或行数。 

“Command palette”功能:弹性快捷键功能。

多行选择功能:同时修改多内联容。

基于 Python  语言的外挂 API。

针对个别项目使用不同的编辑器设置。

通过 JSON 文件自定义设置值。来,自.优;尔:论[文|网www.youerw.com +QQ752018766-

跨平台(Windows、Linux  和 Mac OS X)。

兼容 TextMate 的语言标记语法。

2。2。3 Python IDE  PyCharm 

PyCharm 是由著名的 JetBrains 公司打造的一款 Python IDE,该公司还有诸 如 Java IDE 软件 IntelliJ,前端 IDE 软件 Webstorm 等高效的 IDE,拥有海量的用 户粉丝。我所用的是 JetBrains 所提供的免费版 PyCharm Community 版,具备一 般 IDE 的功能,比如,调试、语法高亮、Project 管理、代码跳转、智能提示、自 动完成、单元测试、版本控制等等,同时另外,PyCharm 还提供了一些很好的功 能用于 Django 开发,同时支持 Google App Engine,更酷的是,PyCharm 支持 IronPython。相比较于 Python 原生的 IDLE,大大提高了开发效率

(责任编辑:qin)