垂直网站网络分布式爬虫的设计与实现(3)
时间:2022-01-19 22:45 来源:毕业论文 作者:毕业论文 点击:次
|
图 3。13 DataNode 启动情况报告 。 16 图 3。14 master:50070 查看总体情况 16 图 3。15 master:50070 查看 slave 结点情况 17 图 3。16 solr 控制界面 19 图 4。1 将 url 注入 crawldb 。。 21 图 4。2 产生抓取列表 。。 22 图 4。3 根据抓取列表抓取网页 1 。 22 图 4。4 根据抓取列表抓取网页 2 。 22 图 4。5 nutch-site。xml 文件 。 23 图 4。6 user-agent 初始化 23 图 4。7 getAgentString 函数 。 24 图 4。8 HttpResponse 类中的 user-agent 25 图 4。9 问题三错误控制台显示 28 图 4。10 问题三 Job 完成情况显示 28 图 4。11 crawl 文件 29 图 4。12 问题三测试后控制台显示错误 。。 29 图 5。1 运行 start-dfs。sh 命令 。。 31 图 5。2 运行 start-yarn。sh 命令 。 31 图 5。3 运行 mr-jobhistory-daemon。sh start historyserver 命令 31 图 5。4 控制台显示 solr 运行情况 。 32 图 5。5 命令行终端分布式爬取数据 。。 33 图 5。6 job 抓取情况 33 图 5。7 solr 查询数据界面 。 34 图 5。8 hdfs 文件 crawld 文件夹内容显示 34 本科毕业设计说明书 第 1 页 1 绪论 1。1 课题背景 众所周知，所有搜索引擎的祖先，是 1990 年由加拿大蒙特利尔 McGill 大学的学生 Alan Emtage、Peter Deutsch 和 Bill Wheelan 发明的 Archie(Archie FAQ) [2]。当时万维网还未出现， 搜索引擎主要查询各个分散在 ftp 主机中的文件[8]。随着互联网的迅速发展，基于 http 的 web 技术迅速崛起，原来用于检索 ftp 文件的搜索引擎无法满足用户的需求。Matthew Gray 在 1993 开发出了第一个 Web 搜索引擎 Wandex；1994 年 1 月，第一个即可搜索又可浏览的分类目录 EINet Galaxy（Tradewave Galaxy）上线，同时提供对 Gopher 和 Telnet 搜索的支持[3]。。自从 web 的出现和指数级的增长，数百个不同特性的搜索引擎相继出现。 (责任编辑：qin) |