四：在Master节点上安装hadoop

1）解压缩到/usr/local/src目录下
master机器：
[root@master ~]# rm -r -f /usr/local/src/hadoop
[root@master ~]# tar -zxvf /opt/software/hadoop-2.7.1.tar.gz -C /usr/local/src/
 
2）重命名
master机器：
[root@master ~]# mv /usr/local/src/hadoop-2.7.1 /usr/local/src/hadoop
 
3）配置hadoop环境变量
 
master机器： 
[root@master ~]# vi /etc/profile
#打开文档后输入i进入插入模式，然后在文档末尾加入以下配置
# set hadoop environment
export HADOOP_HOME=/usr/local/src/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH 
#按Esc键退出插入模式，输入:wq!，按下回车键完成文档修改操作。
 
 
4）使配置的hadoop的环境变量生效
 
master机器：
[root@master ~]# source /etc/profile
 
5）配置hadoop-env.sh
 
master机器：
[root@master ~]# cd  /usr/local/src/hadoop/etc/hadoop/
[root@master hadoop]# vi hadoop-env.sh
#打开文档后输入i进入插入模式，找到JAVA_HOME这一
修改为
export JAVA_HOME=/usr/local/src/java
#按Esc键退出插入模式，输入:wq!，按下回车键完成文档修改操作。
 
/6) 配置core-site.xml(核心网站)
 
master机器：
[root@master hadoop]# vi core-site.xml
#打开文档后输入i进入插入模式，然后在文档找到configuration标签，在该标签中加入以下配置
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/src/hadoop/tmp</value>
</property>
#按Esc键退出插入模式，输入:wq!，按下回车键完成文档修改操作。
 
　备注：如没有配置hadoop.tmp.dir参数，此时系统默认的临时目录为：/tmp/hadoo-hadoop。而这个目录在每次重启后都会被干掉，必须重新执行format才行，否则会出错。
 
 
7) 配置hdfs-site.xml
[root@master hadoop]# vi hdfs-site.xml
#打开文档后输入i进入插入模式，然后在文档找到configuration标签，在该标签中加入以下配置
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/src/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/src/hadoop/dfs/data</value>
</property>
<property>
<name>dfs.replication</name>   
<value>2</value>
</property>
#按Esc键退出插入模式，输入:wq!，按下回车键完成文档修改操作。
修改Hadoop中HDFS的配置，配置的备份方式默认为2
 
 
8) 配置yarn-site.xml
 
master机器：
[root@master hadoop]# vi yarn-site.xml
#打开文档后输入i进入插入模式，然后在文档找到configuration标签，在该标签中加入以下配置
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>            
 <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
#按Esc键退出插入模式，输入:wq!，按下回车键完成文档修改操作。
 
9) 配置mapred-site.xml
 
master机器：
[root@master hadoop]# cp mapred-site.xml.template mapred-site.xml
[root@master hadoop]# vi mapred-site.xml
#打开文档后输入i进入插入模式，然后在文档找到configuration标签，在该标签中加入以下配置
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
 <value>master:10020</value>
</property>
<property>
   <name>mapreduce.jobhistory.webapp.address</name>
  <value>master:19888</value>
</property>
 
#按Esc键退出插入模式，输入:wq!，按下回车键完成文档修改操作。
 
 
10) 配置masters文件
 
master机器：
[root@master hadoop]# vi masters
#打开文档后输入i进入插入模式，在该文档中加入以下配置
master
#按Esc键退出插入模式，输入:wq!，按下回车键完成文档修改操作。
 
11) 配置slaves文件
 
master机器：
[root@master hadoop]# vi slaves
#打开文档后输入i进入插入模式，清空该文档的内容，在该文档中加入以下配置
slave1
slave2 
#按Esc键退出插入模式，输入:wq!，按下回车键完成文档修改操作。 
至此 配置文件基本配置完毕。
 
12) 新建目录
 
master机器：
[root@master hadoop]# mkdir /usr/local/src/hadoop/tmp
[root@master hadoop]# mkdir -p /usr/local/src/hadoop/dfs/name
[root@master hadoop]# mkdir -p /usr/local/src/hadoop/dfs/data
 
 
13) 修改/usr/local/src/hadoop目录的权限
 
master机器：
[root@master hadoop]# chown -R hadoop:hadoop /usr/local/src/hadoop/
 
14) 将master上的hadoop安装文件及环境变量同步到slave1 slave2
 
master机器：
[root@master hadoop]# cd
[root@master ~]# scp -r /usr/local/src/hadoop/ root@slave1:/usr/local/src/
root@slave1's password: （输入密码password，输入不会显示，输完按回车即可）
[root@master ~]# scp -r /usr/local/src/hadoop/ root@slave2:/usr/local/src/
 
[root@master ~]# scp /etc/profile root@slave1:/etc/
root@slave1's password: （输入密码password，输入不会显示，输完按回车即可）
profile                              100% 2122     3.6MB/s   00:00
[root@master ~]# scp /etc/profile root@slave2:/etc/
 
 
15) 使配置的hadoop的环境变量生效
 
master机器：
[root@master ~]# source /etc/profile
 
slave1机器：
[hadoop@slave1 ~]$ su - root
密码：（输入密码password，输入不会显示，输完按回车即可）
上一次登录：二 8月 25 09:31:06 CST 2020从 192.168.25.240pts/1 上
[root@slave1 ~]$ source /etc/profile
slave2机器：同slave1
 
16）修改/usr/local/src/hadoop目录的权限
 
slave1机器:
[root@slave1 ~]# chown -R hadoop:hadoop /usr/local/src/hadoop/
slave2机器：同slave1
 
17）切换到hadoop用户
 
master机器：
[root@master ~]# su - hadoop
上一次登录：二 8月 25 09:46:50 CST 2020pts/0 上 
slave1机器：同master
slave2机器：同master