蓝鲸智能云系统简介 1 (20210802)
蓝鲸智云体系介绍1(20210802)
- 蓝鲸智云体系介绍1(20210802)
- 品牌介绍
- IaaS PaaS SaaS
- 对比蓝鲸体系
- 蓝鲸发行版本
- 整体架构
- PaaS平台
- 蓝鲸PaaS平台
- 各组件依赖及用途
- PaaS的周边组件
- Redis
- Redis介绍
- 四种模式
- Consul
- Consul介绍
- 主要功能
- RabbitMQ
- 介绍
- 消息发送模式
- 镜像模式
- Elasticsearch
- 介绍
- 概念
- PaaS-Agent
- 各组件依赖及用途
- GSE平台
- 概念&能力
- 术语
- 任务执行
- 文件传输
- 支持的OS类型
- 各组件依赖及用途
蓝鲸智云体系介绍1(20210802)
品牌介绍
IaaS PaaS SaaS
IaaS 基础设施即服务
PaaS 平台即服务
SaaS 软件即服务
工作量:I>P>S
对比蓝鲸体系
蓝鲸发行版本
社区版
永久免费开放
一键式快速部署
活跃的用户社区
完善的产品文档
企业版
企业定制化服务
原厂方案咨询
高可用维护保障
金融级安全防护
整体架构
PaaS平台
蓝鲸PaaS平台
【作用】
1.面向普通用户
提供了通用的基础服务,如登录认证、消息通知、其他产品的快捷入口(工作台)
2.面向开发人员
PaaS 平台为一个应用从创建到部署,再到后续的维护管理提供了完善的自助化和自动化服务,如日志查询、监控告警、运营数据等,从而使开发者可以将全部精力投入到应用的开发之中。
3.面向系统管理员
提供了用户管理(含角色管理)、服务器基本信息维护、第三方服务可视化管理、API 权限控制等功能,更好地维护和管理平台的可用性
各组件依赖及用途
PaaS的周边组件
Redis
Redis介绍
KEY-VALUE类型的内存数据库,整个数据库都加载在内存当中进行操作,定期通过异步操作把数据库数据flush到硬盘上进行保存。
纯内存操作,Redis的性能非常出色,每秒可以处理超过10万次读写操作。
虽然是内存数据库,但是其数据可以持久化,而且支持丰富的数据类型。
读写速率:CPU > 内存 > 磁盘
和MySQL比较
MySQL上层再加个redis,加快效率
四种模式
单机模式
单机模式顾名思义就是安装一个 Redis,启动起来,业务调用即可。例如一些简单的应用,并非必须保证高可用的情况下可以使用该模式。
【优点】
部署简单;
成本低,无备用节点;
高性能,单机不需要同步数据,数据天然一致性。
【缺点】
可靠性保证不是很好,单节点有宕机的风险。
单机高性能受限于 CPU 的处理能力,Redis 是单线程的。
主从复制模式
只要主从服务器之间的网络连接正常,主服务器就会将写入自己的数据同步更新给从服务器,从而保证主从服务器的数据相同。数据的复制是单向的,只能由主节点到从节点,简单理解就是从节点只支持读操作,不允许写操作。
【优点】
Master/Slave 角色方便水平扩展,QPS 增加,增加 Slave 即可;
降低 Master 读压力,转交给 Slave 节点;
成本低,无备用节点;
主节点宕机,从节点作为主节点的备份可以随时顶上继续提供服。
【缺点】
没有解决主节点写的压力。
整个主从切换过程需要人工干预。
哨兵模式
在主从复制的基础上,哨兵实现了自动化故障恢复。
1、监控:Sentinel 会不断地检查你的主服务器和从服务器是否运作正常
2、提醒:当被监控的某个 Redis 服务器出现问题时, Sentinel 可以通过 API 向管理员或者其他应用程序发送通知
3、自动故障迁移:当一个主服务器不能正常工作时, Sentinel 会开始一次自动故障迁移操作
【优点】
哨兵模式是基于主从模式的,所有主从的优点,哨兵模式都有
主从可以自动切换,系统更健壮,可用性更高
【缺点】
还是没有解决主节点写的压力。
主节点的写能力,存储能力受到单机的限制。
主从切换需要时间,可能会丢失数据
Redis Cluster
Redis Cluster 采用无中心结构,每个节点都可以保存数据和整个集群状态,每个节点都和其他所有节点连接。 Cluster 一般由多个节点组成,节点数量至少为 6 个才能保证组成完整高可用的集群,其中三个为主节点,三个为从节点。三个主节点会分配槽,处理客户端的命令请求,而从节点可用在主节点故障后,顶替主节点。
【优点】
无中心架构
节点间数据共享,节点可动态添加或删除,可动态调整数据分布。
高可用性,部分节点不可用时,集群仍可用。通过增加 Slave 做备份数据副本。
实现故障自动 failover,节点之间通过 gossip 协议交换状态信息,用投票机制完成 Slave 到 Master 的角色提升。
【缺点】
数据通过异步复制,无法保证数据强一致性。
集群环境搭建复杂。
Consul
Consul介绍
HashiCorp公司推出的开源工具,用于实现分布式系统的服务发现与配置。与
其他分布式服务注册与发现的方案,Consul的方案更"一站式",内置了服务注册与发现框架、分布一致性协议实现、健康检查、Key/Value存储、多数据中心方案,不再需要依赖其他工具(比如ZooKeeper等)。
(充当DNS服务器)
主要功能
1.服务的注册和发现
2.Key value形式存储数据,配置文件处理
3.健康检查
4.多数据中心
RabbitMQ
介绍
MQ是 message queue 的简称,是应用程序和应用程序之间通信的方法。RabbitMQ是一个由erlang语言编写的、开源的、在AMQP基础上完整的、可复用的企业消息系统。
AMQP:advanced message queuing protocol ,一个提供统一消息服务的应用层标准高级消息队列协议,是应用层协议的一个开放标准,为面向消息的中间件设计。
消息发送模式
1.简单队列
生产者发送消息,消费者获取消息。一个队列对应一个消费者。
2.工作队列
一个生产者多个消费者。多消费者并行处理消息,提升处理速度。
3.发布/订阅模式
将消息发送到交换机,队列从交换机获取消息,队列需要绑定到交换机
4.路由模式
5.主题模式
镜像模式
非常经典的 mirror 镜像模式,保证 100% 数据不丢失。在实际工作中也是用得最多的,并且实现非常的简单,一般互联网大厂都会构建这种镜像集群模式。
mirror 镜像队列,目的是为了保证 rabbitMQ 数据的高可靠性解决方案,主要就是实现数据的同步,一般来讲是 2 - 3 个节点实现数据同步。对于 100% 数据可靠性解决方案,一般是采用 3 个节点。
Elasticsearch
介绍
Elasticsearch 是一个非常强大的搜索引擎。它目前被广泛地使用于各个IT公司。Elasticsearch 是由 Elastic 公司创建。
同时,Elastic 公司也拥有 Logstash 及 Kibana 开源项目。这个三个开源项目组合在一起,就形成了 ELK 软件栈。他们三个共同形成了一个强大的生态圈。简单地说:ElasticSearch 负责数据的存储;Logstash 负责数据的采集,处理(丰富数据,数据转换等);Kibana 负责数据展,分析及管理。
概念
集群(cluster):由一个或多个节点组成, 并通过集群名称与其他集群进行区分。
节点(node):单个 ElasticSearch 实例。
索引(index):一组文档的集合。
分片(shard):索引通常都会分解成不同部分, 而这些分布在不同节点的数据就是分片。
副本(replica):ES 默认为一个索引创建 5 个主分片, 并分别为其创建一个副本分片. 也就是说每个索引都由 5 个主分片成本, 而每个主分片都相应的有一个 copy
集群节点、分片和副本
数据逻辑结构图
PaaS-Agent
各组件依赖及用途
GSE平台
概念&能力
蓝鲸管控平台,是整个蓝鲸平台的底层管控系统,是蓝鲸所有其他服务的基础,是蓝鲸服务体系与用户机器的连接器。
在整个蓝鲸体系中,蓝鲸管控平台作为蓝鲸的底层管控通道,没有提供独立的接口供用户直接访问调用,而是通过蓝鲸 ESB 能力向上提供服务,供上层平台或者 SaaS 去实现场景赋能。
蓝鲸管控平台主要提供了三种类型的服务能力:文件传输能力、实时任务执行能力、数据采集与传输的能力。
术语
GSE: General Service Engine
Agent: 蓝鲸平台Agent, 部署在目标上的代理程序。(有且只有一个GSE)
TaskServer: 任务及控制服务端
FileServer: 文件传输控制服务端(BT协议)
DataServer: 数据传输服务端
DB Proxy: Redis 集群管理模块
ApiServer: 对外提供api的服务程序
AlarmServer: 告警服务程序
ProcMgrServer: 进程管理服务程序
SyncDataServer: 数据同步服务程序
DataOpsServer: 数据传输服务运营监控程序
TransitServer: 跨云数据转发程序
Agent: 强大的执行代理(所有平台共用一个GSE Agent,有且只有一个)
TaskServer: 海量的管控能力
FileServer: 高效的BT传输
DataServer: 大数据处理能力
任务执行
支持多种脚本类型:如 shell, bat, powershell, ksh, python , pert 等。
指定用户执行:Linux 及其他类 Linux 系统支持按指定用户执行任务;为 Windows 操作系统的限制,只有开启校验机器密码功能的用户才能指定用户执行任务,否则都以 SYSTEM 用户执行任务。
有害操作:能够对高危操作进行预警,高危操作的定义及干预措施提供选项供用户配置。
多个TaskServer共同写入,百万级并发
文件传输
支持三种传输模式:
•BT 模式:对于 > 10KB 的文件,GSE平台自动启用 BT 作为首选的传输方式。
•直传模式:对于 < 10KB 的文件,将直接使用 TCP 数据流进行直接传输。(类似点对点)
•混合模式:在 BT 模式下,如果发生 BT 传输持续性失败,则会尝试使用直传模式进行传输 BT 文件分片,当 BT 传输恢复时,则自动切换到 BT 模式。
文件最大效果越明显,传输目标越多越快
支持的OS类型
各组件依赖及用途
上一篇: 构建和使用蓝鲸平台