hadoop多节点上的分布式安装方式
时间:2017-05-07 11:43 来源:毕业论文 作者:毕业论文 点击:次
| hadoop大数据处理 以hadoop 1.0.3为核心构建整个环境先决条件：有可以接入互联网的电脑，安装Google Chrome以获得最佳使用体验。1.Linux环境熟悉 实验目的hadoop生产环境都是依赖于Linux环境，而部分学习人员只有Windows平台使用经验，为保证后续各环节的顺利执行，需要让使用者熟悉linux环境的主要操作命令，理解分布式并行计算的核心。熟悉vim编辑器的使用方式，能够通过它来创建修改文件。如果学习者对linux平台很熟悉，对实验过程中的各个命令很了解，可以跳过本环节。 先决条件8268 实验人员需要对文件、目录、命令行命令、可读、可写有基本的了解 Linux操作系统已经就绪 实验过程 进入各级目录 cd 跳转到/home/hadoop目录： cd /home/hadoop/ 如图： 文件查看 ls ll 1. 查看当前目录下所有文件： ls -la 如图： 2. 查看某个目录下所有文件： ls –la /home/hadoop/ 如图： 文件复制 cp 将A.txt文件从/home/hadoop复制到/home/hadoop/workspace: cp /home/hadoop/A.txt /home/hadoop/workspace/ 如图： 文件删除 rm 1. 删除一个文件： /home/hadoop/workspace/A.txt rm /home/hadoop/workspace/A.txt 如图： 2. 删除一个文件夹： /home/hadoop/workspace/ rm -rf /home/hadoop/workspace/A.txt 如图： 登录其他机器 ssh 从电脑A（20.20.20.110）链接到电脑B（20.20.20.111） ssh hadoop@20.20.20.111 输入密码即可登陆。 如图： 机器之间复制 scp 将A机器上的文件：/home/hadoop/workspace/A.txt，拷贝到B的/home/hadoop目录下： Scp /home/hadoop/workspace/A.txt hadoop@20.20.20.111：/home/hadoop/ 如图： 压缩、解压 tar 1. 将一个已存在的文件file1.txt打包成.tar包： tar -cvf file1.tar file1.txt 2. 将一个已存在的文件file1.txt压缩成.gz包： tar -zcvf file1.tar.gz file1.txt 3. 将一个已存在的压缩包，file1.tar或file1.tar.gz解压缩: tar –xvf file1.tar tar -zxvf file1.tar.gz 文本编辑器vim使用: 打开文本A.txt：vim /home/hadoop/A.txt 开启文本编辑模式：键盘键入i 退出文本编辑模式：键盘Esc 保存并退出编辑的文本：:wq 不保存退出编辑的文本：:q或者:q! 考试环节 客观题 主观题 扩展阅读 2.Hadoop安装 实验目的 hadoop的安装方式分为单机的伪分布式安装和真正的分布式安装，本实验是在多节点上的分布式安装方式。让使用者学会安装和配置。能够熟练安装hadoop的用户可以跳过。 先决条件 实验人员对于 1.Linux熟悉 环节中的命令很熟练 实验过程 jdk安装 1. 在/root下有准备好的jdk文件： 先在/usr下新建文件夹java：mkdir /usr/java 再把准备好的jdk文件拷贝到/usr/java下： 2. 设置环境变量JAVA_HOME 切换到hadoop用户，执行vi /home/hadoop/.bashrc 打开.bashrc文件，在该配置文件末尾添加： export JAVA_HOME=/usr/java/jdk_1.7.0_17 如图： 无密访问设置 #su hadoop //切换到hadoop用户 $cd /home/hadoop 1. 生成id_rsa.pub文件 (责任编辑：qin) |