Windows 构建 hadoop 分布式系统架构
最编程
2024-04-21 12:33:31
...
1、下载hadoop的安装包:http://hadoop.apache.org/->Releases->mirror site
2、解压安装包:将下载包解压到指定目录,并添加环境变量;解压出来一个目录:D:hadoop-3.1.0,将bin路径配置到环境变量中。
然后下载window相关支持工具类,https://share.weiyun.com/5RPjxnh,解压后把文件全部copy到D:hadoop-2.9.0bin目录,将hadoop.dll再复制到c:/windows/System32目录
3、修改配置文件
配置Java_home环境变量
文件地址:D:hadoop-3.1.0etchadoop下的D:hadoop-3.1.0etchadoophadoop-env.cmd
注意事项:hadoop配置不识别空格 需要加引号,"C:Program Files" Javajdk1.8.0_91
不然在后续操作会报错
去D:hadoop-2.9.0etchadoop找到下面4个文件并按如下最小配置粘贴上去:
core.site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/hadoop/data/dfs/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/hadoop/data/dfs/datanode</value>
</property>
</configuration>
mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
5、进入到bin目录,运行hdfs namenode -format
6、进入sbin目录:start-all.cmd
7、访问 http://localhost:8088/cluster
推荐阅读
-
企业级项目实战品达物流TMS(资料齐全)SpringCloud+SpringBoot+Vue+Mybatis-Plus+Docker19套JAVA企业级大型项目实战前后端分离/微服务/云原生/分布式/高并发/高可用/中间平台策略项目架构、百亿级项目实战、金融项目实战JAVA项目、物联网项目、项目面试实战、秒杀项目实战、租房项目实战、在线教育项目实战、权限系统实战、股票交易项目、短信平台实战、房源平台项目实战、工作流项目实战。
-
[Hadoop 3.3.6 全分布式环境构建]
-
案例:分布式 LAMP 架构构建 Discuz 论坛(编译和安装) - Mysql 的编译和安装(192.168.10.4 主机)
-
分布式系统架构设计原理与实践》:分布式系统的数据分区策略
-
分布式系统架构设计原理与实践》:了解分布式系统中的时间和顺序问题
-
分布式系统架构设计原理与实践》:分布式系统的安全性
-
分布式系统架构设计原理与实践》:从单体到微服务的演变
-
开发人员实用软件架构》:分布式系统入门
-
构建未来的跨境电子商务平台:系统架构和关键技术
-
Hadoop+Hbase 分布式集群架构 "完成