hadoop多节点上的分布式安装方式(3)
时间:2017-05-07 11:43 来源:毕业论文 作者:毕业论文 点击:次
<value>/home/hadoop/secondaryname</value> <final>true</final> </property> <property> <name>dfs.replication</name> <value>1</value> </property> 如图： mapred-site.xml <property> <name>mapred.job.tracker</name> <value>20.20.20.110:8030</value> </property> <property> <name>mapred.local.dir</name> <value>/home/hadoop/mapred</value> </property> 如图： 修改环境变量配置文件.bashrc： vi /home/hadoop/.bashrc 在文件末尾添加： export HADOOP_HOME=/home/hadoop/deploy/hadoop-1.2.1 export PATH=$HADOOP_HOME/bin;$JAVA_HOME/bin;$PATH 如图： 添加完成后，保存退出vi，再执行source .bashrc即可使环境变量生效。没有添加该环境变量时，hadoop相关命令只能在hadoop目录/home/hadoop/deploy/hadoop-1.2.1/bin下执行，格式为”./+命令”。设置该环境变量并生效后，可以在hadoop用户下任意路径使用hadoop相关命令，且命令前不需要加”./”。 各节点部署 主节点配置设置好以后，把hadoop安装文件拷贝到每个节点的对应目录下 再把配置好的.bashrc文件拷贝到各节点： 格式化命名空间 cd /home/hadoop/deploy/Hadoop-1.0.3/bin ./hadoop namenode –format 在出现Y or N的选项时，输入Y回车，format成功。 集群启动 格式化集群成功后，启动hadoop执行命令：start-all.sh 如果使用集群完毕或者要关闭hadoop，执行命令stop-all.sh 查看集群启动状态：执行命令slaves.sh jps 或者查看网页： Datanode启动状态：20.20.20.110:50070 TaskTracker启动状态：20.20.20.110:50030 安装校验 1. 在本地文件夹/home/hadoop下创建两个数据文件，分别是file1.txt，file2.txt。 file1.txt中保存一个句子：Hello World file2.txt中保存一个句子：I am the king of the world 2. 上传数据文件到HDFS文件系统 1) HDFS上创建data目录 (责任编辑：qin) |