云上 Hadoop 的部署架构
最编程
2024-04-21 12:11:43
...
云上Hadoop的部署结构
在云上部署Hadoop是比较灵活的,可以根据不同的业务目标部署Hadoop集群,笔者总结了在云上的大体部署结构。
经典模式
经典模式2
存储计算分离
在一些常见的业务模式下,用户需要的离线分析只需要在晚上一段时间内完成即可。这样,在半夜启动一个集群,分析OSS已经存放的数据非常合适。
tips: HADOOP-12756 Hadoop会支持读取阿里云的OSS
第一个图的做法是,提供一个OSSFileSystem。第二个图的做法是,底层的HDFS直接代理走到OSS中,把HDFS做成无状态的,这么做的好处就是HDFS可以做一些类似alluxio的功能 ,且对上层完全透明。(目前还没有实现)
云数据共享
用户数据可以放在 OSS或者永久集群中。
VPC模式
混合云模式
以上的部署结构,都可以混合使用,满足客户自身的需求。
HBase技术交流社区 - 阿里官方“HBase生态+Spark社区大群”点击加入:https://dwz.cn/Fvqv066s
推荐阅读
-
K8s:Prometheus 服务架构和基本抓取数据服务的部署
-
Ubuntu 20.04 下的 Django 框架构建、部署、在线项目
-
Hadoop 运行模式 (II)、SSH 未加密登录配置、生成公钥和私钥、群集配置、群集部署规划、默认配置文件、核心配置文件、HDFS 配置文件、YARN 配置文件、MapReduce 配置文件、分发配置的
-
超越感官,沉浸赛场--大型体育赛事云端实践精选 - 第 4 章:2020 年东京奥运会:数字智能与虚拟领域--50 亿人观看 "云上奥运",*媒体背后的数字智能力量(第二部分)
-
在谷歌云上轻松部署开放式大语言模型
-
基于云的 SDN 架构 sdn 和云计算
-
开源!一键部署,免费使用!直接在 Kubernetes 上运行的大数据平台!-标题问题 3:最大的亮点是什么?
-
架构师日记 - 软件工程中的组织文化 | 北京东方云技术团队
-
详细介绍 hadoop 的 hdfs 架构
-
Hadoop 的基本概念和架构