毕业论文
计算机论文
经济论文
生物论文
数学论文
物理论文
机械论文
新闻传播论文
音乐舞蹈论文
法学论文
文学论文
材料科学
英语论文
日语论文
化学论文
自动化
管理论文
艺术论文
会计论文
土木工程
电子通信
食品科学
教学论文
医学论文
体育论文
论文下载
研究现状
任务书
开题报告
外文文献翻译
文献综述
范文
hadoop多节点上的分布式安装方式
hadoop大数据处理 以hadoop 1.0.3为核心构建整个环境先决条件:有可以接入互联网的电脑,安装Google Chrome以获得最佳使用体验。1.Linux环境熟悉
实验目的hadoop生产环境都是依赖于Linux环境,而部分学习人员只有Windows平台使用经验,为保证后续各环节的顺利执行,需要让使用者熟悉linux环境的主要操作命令,理解分布式并行计算的核心。熟悉vim编辑器的使用方式,能够通过它来创建修改文件。如果学习者对linux平台很熟悉,对实验过程中的各个命令很了解,可以跳过本环节。
先决条件8268
实验人员需要对文件、目录、命令行命令、可读、可写有基本的了解
Linux操作
系统
已经就绪
实验过程
进入各级目录 cd
跳转到/home/hadoop目录:
cd /home/hadoop/
如图:
文件查看 ls ll
1. 查看当前目录下所有文件:
ls -la
如图:
2. 查看某个目录下所有文件:
ls –la /home/hadoop/
如图:
文件复制 cp
将A.txt文件从/home/hadoop复制到/home/hadoop/workspace:
cp /home/hadoop/A.txt /home/hadoop/workspace/
如图:
文件删除 rm
1. 删除一个文件: /home/hadoop/workspace/A.txt
rm /home/hadoop/workspace/A.txt
如图:
2. 删除一个文件夹: /home/hadoop/workspace/
rm -rf /home/hadoop/workspace/A.txt
如图:
登录其他机器 ssh
从电脑A(20.20.20.110)链接到电脑B(20.20.20.111)
ssh hadoop@20.20.20.111 输入密码即可登陆。
如图:
机器之间复制 scp
将A机器上的文件:/home/hadoop/workspace/A.txt,拷贝到B的/home/hadoop目录下:
Scp /home/hadoop/workspace/A.txt hadoop@20.20.20.111:/home/hadoop/
如图:
压缩、解压 tar
1. 将一个已存在的文件file1.txt打包成.tar包:
tar -cvf file1.tar file1.txt
2. 将一个已存在的文件file1.txt压缩成.gz包:
tar -zcvf file1.tar.gz file1.txt
3. 将一个已存在的压缩包,file1.tar或file1.tar.gz解压缩:
tar –xvf file1.tar
tar -zxvf file1.tar.gz
文本编辑器vim使用:
打开文本A.txt:vim /home/hadoop/A.txt
开启文本编辑模式:键盘键入i
退出文本编辑模式:键盘Esc
保存并退出编辑的文本::wq
不保存退出编辑的文本::q或者:q!
考试环节
客观题
主观题
扩展阅读
2.Hadoop安装
实验目的
hadoop的安装方式分为单机的伪分布式安装和真正的分布式安装,本实验是在多节点上的分布式安装方式。让使用者学会安装和配置。能够熟练安装hadoop的用户可以跳过。
先决条件
实验人员对于 1.Linux熟悉 环节中的命令很熟练
实验过程
jdk安装
1. 在/root下有准备好的jdk文件:
先在/usr下新建文件夹java:mkdir /usr/java
再把准备好的jdk文件拷贝到/usr/java下:
2. 设置环境变量JAVA_HOME
切换到hadoop用户,执行vi /home/hadoop/.bashrc 打开.bashrc文件,在该配置文件末尾添加:
export JAVA_HOME=/usr/java/jdk_1.7.0_17
如图:
无密访问设置
#su hadoop //切换到hadoop用户
$cd /home/hadoop
1. 生成id_rsa.pub文件
共3页:
上一页
1
2
3
下一页
上一篇:
Packet Tracer在网络协议教学中的应用研究
下一篇:
VB人事管理系统设计论文+源代码
hadoop+HBase实时交通大数据分析
Hadoop用户上网行为分析系统的设计与实现
HADOOP基于大数据的网上旅游线路推荐模型构建
基于遗传算法的Hadoop任务调度方法研究与实现
hadoop互联网标签体系的设计及实现
Hadoop大数据平台数据抽取...
Hadoop+FINDR高光谱图像混合...
承德市事业单位档案管理...
中国学术生态细节考察《...
C#学校科研管理系统的设计
医院财务风险因素分析及管理措施【2367字】
公寓空调设计任务书
国内外图像分割技术研究现状
神经外科重症监护病房患...
10万元能开儿童乐园吗,我...
AT89C52单片机的超声波测距...
志愿者活动的调查问卷表