Web.py百度网盘的网络爬虫设计+源程序(5)
时间:2022-10-08 21:14 来源:毕业论文 作者:毕业论文 点击:次
3。web Session 面板,上图黄色区域,主要是 Fiddler 抓取到的每条 http 请求 (每一条称为一个 session),主要包含了请求的 url,协议,状态码,body 等信息 4。详情和数据统计面板。针对每条 http 请求的具体统计(例如发送/接受字节 数,发送/接收时间,还有粗略统计世界各地访问该服务器所花费的时间)和数据文献综述 包分析。如 inspector 面板下,提供 headers、textview、hexview,Raw 等多种方式 查看单条 http 请求的请求报文的信息。而 composer 面板下,则可以模拟向相应 的服务器发送数据的过程,也可以粘贴一次请求的 raw http headers,达到模拟请 求的目的。Filter 标签则可以设置 Fiddler 的过滤规则,来达到过滤 http 请求的目 的。最简单如:过滤内网 http 请求而只抓取 internet 的 http 请求,或则过滤相应 域名的 http 请求。Fiddler 的过滤器非常强大,可以过滤特定 http 状态码的请求, 可以过滤特定请求类型的 http 请求(如 css 请求,image 请求,js 请求等),可以 过滤请求报文大于或则小于指定大小(byte)的请求。 图 2-1 Fidlle 主面板图 2。2。2编辑器 Sublime Text 3 Sublime 是一款饱受广大程序员喜爱的文本编辑器,精致而又强大。官方给 出的描述是:The text editor you’ll fall in love with。Sublime Text 是一套跨平台的 文本编辑器,支持基于 Python 的插件。Sublime Text 是专有软件,可通过包 (Package)扩充本身的功能。大多数的包使用自由软件授权发布,并由社区建置 维护。 Sublime Text 的主要功能如下: “Go to anything”功能:可快速跳至文件、符号或行数。 “Command palette”功能:弹性快捷键功能。 多行选择功能:同时修改多内联容。 基于 Python 语言的外挂 API。 针对个别项目使用不同的编辑器设置。 通过 JSON 文件自定义设置值。来,自.优;尔:论[文|网www.youerw.com +QQ752018766- 跨平台(Windows、Linux 和 Mac OS X)。 兼容 TextMate 的语言标记语法。 2。2。3 Python IDE PyCharm PyCharm 是由著名的 JetBrains 公司打造的一款 Python IDE,该公司还有诸 如 Java IDE 软件 IntelliJ,前端 IDE 软件 Webstorm 等高效的 IDE,拥有海量的用 户粉丝。我所用的是 JetBrains 所提供的免费版 PyCharm Community 版,具备一 般 IDE 的功能,比如,调试、语法高亮、Project 管理、代码跳转、智能提示、自 动完成、单元测试、版本控制等等,同时另外,PyCharm 还提供了一些很好的功 能用于 Django 开发,同时支持 Google App Engine,更酷的是,PyCharm 支持 IronPython。相比较于 Python 原生的 IDLE,大大提高了开发效率 (责任编辑:qin) |