毕业论文

打赏
当前位置: 毕业论文 > 计算机论文 >

基于Hadoop的微博用户行为分析(5)

时间:2020-07-15 20:27来源:毕业论文
上文中已经详细介绍了HDFS存储机制和MapReduce程序详细的执行过程,下文进行详细介绍一个hadoop程序如何进行完整的计算。从读取数据到MapReduce计算到输出

上文中已经详细介绍了HDFS存储机制和MapReduce程序详细的执行过程,下文进行详细介绍一个hadoop程序如何进行完整的计算。从读取数据到MapReduce计算到输出数据。整个hadoop程序计算流程如下:

(1)客户端提交一个mr的jar包给JobClient(提交方式:hadoop jar ...)。

(2) JobClient通过RPC和JobTracker进行通信,返回一个存放jar包的地址(HDFS)和jobId。

基于Hadoop的微博用户行为分析(5):http://www.youerw.com/jisuanji/lunwen_56282.html
------分隔线----------------------------
推荐内容