hadoop大数据处理 以hadoop 1.0.3为核心构建整个环境先决条件:有可以接入互联网的电脑,安装Google Chrome以获得最佳使用体验。1.Linux环境熟悉
实验目的hadoop生产环境都是依赖于Linux环境,而部分学习人员只有Windows平台使用经验,为保证后续各环节的顺利执行,需要让使用者熟悉linux环境的主要操作命令,理解分布式并行计算的核心。熟悉vim编辑器的使用方式,能够通过它来创建修改文件。如果学习者对linux平台很熟悉,对实验过程中的各个命令很了解,可以跳过本环节。
先决条件8268
     实验人员需要对文件、目录、命令行命令、可读、可写有基本的了解
     Linux操作系统已经就绪
实验过程
进入各级目录 cd
跳转到/home/hadoop目录:
cd /home/hadoop/
如图:
 
文件查看  ls  ll
1.    查看当前目录下所有文件:
ls  -la
如图:
 
2.    查看某个目录下所有文件:
ls –la /home/hadoop/
如图:
 
文件复制  cp
将A.txt文件从/home/hadoop复制到/home/hadoop/workspace:
cp /home/hadoop/A.txt /home/hadoop/workspace/
如图:
 
文件删除  rm
1.    删除一个文件: /home/hadoop/workspace/A.txt
rm  /home/hadoop/workspace/A.txt
如图:
 
2.    删除一个文件夹: /home/hadoop/workspace/
rm  -rf /home/hadoop/workspace/A.txt
如图:
 
登录其他机器  ssh
从电脑A(20.20.20.110)链接到电脑B(20.20.20.111)
ssh hadoop@20.20.20.111 输入密码即可登陆。
如图:
 
机器之间复制 scp
将A机器上的文件:/home/hadoop/workspace/A.txt,拷贝到B的/home/hadoop目录下:

Scp /home/hadoop/workspace/A.txt hadoop@20.20.20.111:/home/hadoop/
如图:
 

压缩、解压  tar
1. 将一个已存在的文件file1.txt打包成.tar包:
tar -cvf file1.tar file1.txt
 
2. 将一个已存在的文件file1.txt压缩成.gz包:
tar -zcvf file1.tar.gz file1.txt
 
3. 将一个已存在的压缩包,file1.tar或file1.tar.gz解压缩:
tar –xvf file1.tar
tar -zxvf file1.tar.gz
 
文本编辑器vim使用:
打开文本A.txt:vim /home/hadoop/A.txt
开启文本编辑模式:键盘键入i
退出文本编辑模式:键盘Esc
保存并退出编辑的文本::wq
不保存退出编辑的文本::q或者:q!
考试环节
客观题
主观题
扩展阅读
     
2.Hadoop安装
实验目的
     hadoop的安装方式分为单机的伪分布式安装和真正的分布式安装,本实验是在多节点上的分布式安装方式。让使用者学会安装和配置。能够熟练安装hadoop的用户可以跳过。
先决条件
     实验人员对于  1.Linux熟悉  环节中的命令很熟练
实验过程
jdk安装
1.    在/root下有准备好的jdk文件:
 
先在/usr下新建文件夹java:mkdir /usr/java
再把准备好的jdk文件拷贝到/usr/java下:
 
2.    设置环境变量JAVA_HOME
切换到hadoop用户,执行vi /home/hadoop/.bashrc 打开.bashrc文件,在该配置文件末尾添加:
     export JAVA_HOME=/usr/java/jdk_1.7.0_17
如图:
 
无密访问设置
#su hadoop //切换到hadoop用户
$cd /home/hadoop
 
1.    生成id_rsa.pub文件
上一篇:Packet Tracer在网络协议教学中的应用研究
下一篇:VB人事管理系统设计论文+源代码

hadoop+HBase实时交通大数据分析

Hadoop用户上网行为分析系统的设计与实现

HADOOP基于大数据的网上旅游线路推荐模型构建

基于遗传算法的Hadoop任务调度方法研究与实现

hadoop互联网标签体系的设计及实现

Hadoop大数据平台数据抽取...

Hadoop+FINDR高光谱图像混合...

承德市事业单位档案管理...

中国学术生态细节考察《...

C#学校科研管理系统的设计

医院财务风险因素分析及管理措施【2367字】

公寓空调设计任务书

国内外图像分割技术研究现状

神经外科重症监护病房患...

10万元能开儿童乐园吗,我...

AT89C52单片机的超声波测距...

志愿者活动的调查问卷表