保姆 丨 Hadoop 部署

0x00 前言

       Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。

▲ Hadoop生态系统

0x01 环境说明

0x02 准备工作

文中使用CentOS-7系统在三个虚拟机环境下进行示范，过程使用本地主机与虚拟机交互。首先要在Windows主机下载实验过程需要使用的环境。

ⅠXshell 7：

https://www.xshell.com/zh/xshell-download/

ⅡHadoop-3.3.3：

https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/stable/hadoop-3.3.3.tar.gz

Ⅲjdk-18_linux-x64_bin：

https://download.oracle.com/java/18/latest/jdk-18_linux-x64_bin.tar.gz

0x03 配置hosts文件(三个节点)

Ⅰ通过root执行命令

su root

Ⅱ配置虚拟机hosts文件

vi /etc/hosts

Ⅲ写入各个节点IP和主机名

192.168.1.10 centos-a
192.168.1.11 centos-b
192.168.1.12 centos-c

Ⅳ分别检测三个节点是否互联

ping -c 3 centos-x

0x04 SSH免密登录(三个节点)

SSH为建立在应用层基础上的安全协议。SSH是较可靠，专为远程登录会话和其他网络服务提供安全性的协议。

Ⅰ生成密钥文件

ssh-keygen -t rsa -P ''

Ⅱ在.ssh目录中生成authorized_keys文件(仅在主节点执行)

touch /root/.ssh/authorized_keys

Ⅲ通过SSH复制三个节点生成的id信息

ssh-copy-id centos-a
ssh-copy-id centos-b
ssh-copy-id cnetos-c

Ⅳ查看密钥文件是否成功配置

cat /root/.ssh/authorized_keys

Ⅴ验证免密登录是否成功

ssh centos-b

0x05 Xshell7连接虚拟机(三个节点)

Xshell7可以在Windows界面下用来访问远端不同系统下的服务器，从而比较好的达到远程控制终端的目的。

▲ Ⅰ打开Xshell7选择新建

▲ Ⅱ修改常规项并连接虚拟机

▲ Ⅲ接受并保存

▲ Ⅳ输入主机名并确定

▲ Ⅴ输入虚拟机密码并确定

▲ Ⅵ虚拟机连接成功

0x06 Xshell7文件上传(三个节点)

Ⅰ通过root执行命令

su root

Ⅱ创建software文件夹

mkdir /usr/local/software

Ⅲ下载文件互传工具

yum -y install lrzsz

Ⅳ打开software文件夹

cd /usr/local/software

Ⅴ利用lrzsz文件互传工具

rz

Ⅵ上传jdk-18_linux-x64_bin文件

Ⅶ上传Hadoop-3.3.3文件

0x07 安装JDK(三个节点)

Ⅰ创建jdk文件夹以保存解压的jdk文件

mkdir /usr/local/jdk

Ⅱ解压jdk文件