为数十亿美元的时间线数据建立一个监控系统,我有一个小窍门!
摘要:本文为你带来如何使用华为云数据库GaussDB(for Influx) + Grafana搭建亿级时间线数据的监控系统。
本文分享自华为云社区《HDC.Cloud2021|如何使用华为云GaussDB(for Influx) + Grafana搭建亿级时间线数据的监控系统》,原文作者:心机胖 。
随着云计算规模越来越大,以及物联网应用逐渐普及,在物联网(AIoT)以及运维监控(AIOps)领域,存在海量的时序数据需要存储管理。我们日常在生活中经常见到城市的空气质量、风力和温度等数据,都需要用到时序数据库,再通过监控系统和大数据处理系统利用时序数据库的数据查询和计算分析功能将业务监控和分析结果实时展现出来。读完本文你将很快学会使用华为云数据库GaussDB(for Influx) + Grafana搭建亿级时间线数据的监控系统。
在真实的场景中,监控系统主要负责监控指标的采集、展示、分析和告警,其作用在于监控业务整体的运行情况。系统采集的指标通常和业务运维是强相关的,比如通用指标有服务器资源数据(CPU,内存,磁盘空间,带宽,网络时延),比如业务相关指标,以视频会议的应用为例,包括创建会议事件相关信息,会议接入相关信息,接口调用状态信息等。
指标数据采集与存储
指标数据是典型的时序数据,适合采用时序数据库进行存储。GaussDB(for Influx)为华为云时序数据库服务,购买即可使用,无需安装部署。
采集业务相关指标数据通常有写时序数据库和写日志两种方法,其中写时序数据库最为直接,适合于中小型应用。大型企业级应用通常采用写日志的方式,由Kafka对日志进行收集和聚合,再利用Telegraf取出Kafka数据并写入时序数据库。
Telegraf采集Kafka数据的简单配置如下:
[[inputs.kafka_consumer]]
## Kafka brokers.
## 这里设置Kafka brokers的IP地址
brokers = ["192.168.100.10:9092"]
## Topics to consume.
topics = ["telegraf"]
......
## Data format to consume.
## Each data format has its own unique set of configuration options, read
## more about them here:
## https://github.com/influxdata/telegraf/blob/master/docs/DATA_FORMATS_INPUT.md
## 这里设置数据格式,其他格式参考 DATA_FORMAT_INPUT.md,Logfmt为日志格式。
data_format = "Logfmt"
Telegraf写入时序数据库的配置如下:
# Configuration for sending metrics to InfluxDB
[[outputs.influxdb]]
## The full HTTP or UDP URL for your InfluxDB instance.
##
## Multiple URLs can be specified for a single cluster, only ONE of the
## urls will be written to each interval.
# urls = ["unix:///var/run/influxdb.sock"]
# urls = ["udp://127.0.0.1:8089"]
## 这里设置华为云GaussDB(for Influx)的配置的ELB IP地址或者节点内网IP地址
urls=[“https://rwuser:password@IP:8635”]
## The target database for metrics; will be created as needed.
## For UDP url endpoint database needs to be configured on server side.
## 设置数据库名称(默认telegraf)
database = "telegraf"
...
...
## HTTP Basic Auth
## 这里设置GaussDB(for Influx)数据库用户名和密码,实际密码替换password
username = "rwuser"
password = "password"
## HTTP User-Agent
# user_agent = "telegraf"
## UDP payload size is the maximum packet size to send.
# udp_payload = "512B"
## Optional TLS Config for use on HTTP connections.
# tls_ca = "/etc/telegraf/ca.pem"
# tls_cert = "/etc/telegraf/cert.pem"
# tls_key = "/etc/telegraf/key.pem"
## Use TLS but skip chain & host verification
## 这里设置跳过ssl验证
# insecure_skip_verify = true
以上配置中,中文注释的部分是必须设置的。GaussDB(for Influx)的用户名默认为rwuser,不可更改。配置时,选择时序数据库的其中一个节点内网ip或者ELB ip替换urls中的IP,用GaussDB(for Influx)实例的密码替换password,如果密码包含如下特殊字符,需换成 ASIIC 码形式输入。
~ : %7E,! : %21,@ : %40,# : %23,$ : %24
% : %25,^ : %5E,& : %26,* : %2A,? : %3F
例如密码:“Huawei@123”,转换后为 “Huawei%40123”。
在应用程序中直接写入GaussDB(for Influx)有所不同,需要借助驱动程序帮助完成。以Python为例:
第一步:安装数据库驱动
pip install influxdb
# Debian Or Ubuntu系统上使用如下命令
sudo apt-get install python-influxdb
第二步:连接GaussDB(for Influx)
# Python
from influxdb import InfluxDBClient
## 使用GaussDB(for Influx)的ELB IP或者实例节点的IP替换填写host,用户密码填写password,
## 并指定连接数据库database。
client = InfluxDBClient(host='localhost', port=8635, username='rwuser', password='password', database='telegraf', ssl=True, verify_ssl=False)
第三步:数据写入
json_body = [
{
"measurement": "my_tab",
"tags": {
"host": "server01",
"region": "us-west"
},
"time": time.strftime("%Y-%m-%dT%H:%M:%SZ", time.localtime()),
"fields": {
"used_cpu": cpu_used_rate,
"used_mem": mem_used_rate
}
}]
client.write_points(json_body)
Java语言的驱动程序, 可以参考https://github.com/influxdata/influxdb-java
Grafana数据展示
Grafana是一个跨平台、开源的数据可视化平台。用户配置连接的数据源之后,Grafana可以在网络浏览器里显示数据图表和警告。
服务端启动Grafana后,通过浏览器访问:
## 这里的IP可以是云上服务器的弹性IP,也可以是本地自建服务器的Ip地址。
http://IP:3000
登陆Grafana的首页如下图所示。
1.展示数据第一步:创建数据源,点击如下图中的红框位置。
选择InfluxDB,因为GaussDB(For Influx)完全兼容InfluxDB
填写如下参数:
- URL: https://rwuser:password@IP:8635 。 IP为数据库实例的内网ip(参考2.1步骤(1)), 用rwuser密码替换password(参考1.1步骤(6)),如果密码包含如下特殊字符,需换成 ASIIC 码形式输入。
~ : %7E,! : %21,@ : %40,# : %23,$ : %24
% : %25,^ : %5E,& : %26,* : %2A,? : %3F
例如密码:“Huawei@123”,转换后为 “Huawei%40123”。
- Auth:打开选项Basic auth 和skip TSL Verify。
- Basic Auth Details:
User:rwuser
Password:购买数据库实例时设置(参考1.1步骤(6)),如“nJa#w7f3”。
- InfluxDB Details:
Database:telegraf(也可以填写其他自己创建的数据库)。
User:rwuser
Password:购买数据库实例时设置(参考1.1步骤(6)),如“nJa#w7f3”。
- 点击“保存”(save)。
数据展示第二步:创建数据看板
点击首页DASHBOARDS创建看板,或者侧边“+”快捷按钮。
重点配置项(详细参见截图红框部分):
-
- Visualization:Graph
- 展示时间范围:last 1 hour
- 数据更新时间间隔:1m
- 数据源名称:InfluxDB-DataSource
查询语句配置如下(以展示服务器CPU利用率为例,从时序数据库的表cpu中查询usage_user,按1m的分组时间间隔求平均值,时间线是cpu=cpu-total):
FROM autogen cpu Where cpu = cpu-total
SELECT field (usage_user) mean ()
GROUP BY time (1m) fill (0)
面板中的每个图都是可以编辑的,也可以设置告警。
总结
随着云计算和物联网的发展,数据规模急剧增加,监控系统的核心在于时序数据库,一个高可用、高性能、企业级的时序数据库对监控系统的稳定起决定性作用。
GaussDB(for Influx)是一个云原生存储与计算分离架构的时序数据库,支持亿级时间线,具备高可靠、高性能,非常适合DevOps场景下的海量时间线数据的存储,是监控系统最佳的选择。
作为华为ICT基础设施业务面向全球开发者的年度盛会,华为开发者大会2021(Cloud)将于2021年4月24日-26日在深圳举行。本届大会以#每一个开发者都了不起#为主题,将汇聚业界大咖、华为科学家、*技术专家、天才少年和众多开发者,共同探讨和分享云、计算、人工智能等最新ICT技术在行业的深度创新和应用。智能时代,每一个开发者都在创造一往无前的奔腾时代。世界有你,了不起!
点击链接,了解大会详细信息:https://developer.huaweicloud.com/HDC.Cloud2021.html
点击关注,第一时间了解华为云新鲜技术~
推荐阅读
-
为数十亿美元的时间线数据建立一个监控系统,我有一个小窍门!
-
Grid++Report 锐浪报表开发常见问题解答集锦-报表设计 问:怎样在设计时打印预览报表? 答:为了及时查看报表的设计效果,Grid++Report 报表设计应用程序提供了四种查看视图:普通视图、页面视图、预览视图与查询视图。通过窗口下边的 Tab 按钮可以在四种视图中任意切换。在预览视图中查看报表的打印预览效果,在查询视图中查看报表的查询显示效果。如果在报表的记录集提供了数据源连接串与查询 SQL,在进入预览视图与查询视图时会利用数据源连接串与查询 SQL 从数据源中自动取数,否则 Grid++Report 将自动生成模拟数据进行模拟打印预览与查询显示。注意:在预览视图与查询视图中看到的报表运行结果有可能与在你程序中的最终运行结果有差异,因为在报表的生成过程中我们可以在程序中对报表的生成行为进行一定的控制。 问:怎样用 Grid++Report 设计交叉表? 答:Grid++Report 没有提供专门实现交叉表的功能,其它的报表构件提供的交叉表功能一般也比较死板和功能有限。利用 Grid++Report 的编程接口可以做出灵活多变,功能丰富的交叉表。示例程序 CrossTab 就是一个实现交叉表的例子程序,认真领会此例子程序,你就可以做出自己想要各种交叉表,并能提取一些共用代码,便于重复使用。 问:怎样设置整个报表的缺省字体? 答:设置报表主对象的字体属性,也就是设置了整个报表的缺省字体。如果改变报表主对象的字体属性,则没有专门的设置字体属性的子对象的字体属性也跟随改变。同样每个报表节与明细网格也有字体属性,他们的字体属性也就是其拥有的子对象的缺省字体。 问:怎样在打印时限制一页的输出行数? 答:设定明细网格的内容行的‘每页行数(RowsPerPage)’属性即可。另外要注意‘调节行高(AdjustRowHeight)’属性值:为真时根据页面的输出高度自动调整行的高度,使整个页面的输出区域充满。为假时按设计时的高度输出行。 问:怎样显示中文大写金额? 答:将对象的“格式(Format)”属性设为 “$$” 及可,可以设置格式的对象有:字段(IGRField)、参数(IGRParameter)、系统变量(IGRSystemVarBox)与综合文字框(IGRMemoBox),其中综合文字框是在报表式上设格式。 问:能否实现自定义纸张与票据打印? 答:Grid++Report 完全支持自定义纸张的打印,只要在报表设定时在页面设置中选定自定义纸张,并指定准确的纸张尺寸。当然要在最终输出时得道合适的打印结果,输出打印机必须支持自定义纸张打印。Windows2000/XP/2003 操作系统上可以在打印机上定义自定义纸张,也可以采用这种方式实现自定义纸张打印。 问:怎样实现 0 值不打印? 答:直接设置格式串就可以,在“数字格式”设置对话框中选定“0 不显示”,就会得到合适的格式串。也可以通过直接录入格式串来指定 0 不显示,但格式串必须符合 Grid++Report 的规定格式。另一种实现办法是在报表获取明细记录数据时,在 BeforePostRecord 事件中将值为零的字段设为空,调用字段的 Clear 方法将字段置为空。 问:怎样实现多栏报表? 答:在明细网格上设‘页栏数(PageColumnCount)’属性值大于 1 即可。通过 Grid++Report 的“页栏输出顺序”还可以指定多栏报表的输出顺序是“先从上到下”还是“先从左到右”。 问:如何实现票据套打? 答:Grid++Report 为实现票据套打做了很多专门的安排:报表设计器提供了页面设计模式,按照设定的纸张尺寸显示设计面板,如果将空白票据的扫描图设为设计背景图,在定位报表内容的输出位置会非常方便。报表部件可以设定打印类别,非套打输出的内容在套打打印模式下就不会输出。 问:Grid++Report 有没有横向分页功能? 答:回答是肯定的,在列的总宽度超过打印页面的输出宽度时,Grid++Report 可以另起新页输出剩余的列,如果左边存在锁定列,锁定列可以在后面的新页中重复输出,这样可以保证关键数据列在每一页都有输出。仔细体会 Grid++Report 提供的多种打印适应策略,选用最合适的方式。Grid++Report 的多种打印适应策略为开发动态报表提供了很好的支持。 问:怎样实现报表本页小计功能? 答:定义一个报表分组,将本分组定义为页分组,在本分组的分组头与分组尾上定义统计。页分组就是在每页产生一个分组项,在每页的上端与下端都会分别显示页分组的分组头与分组尾,页分组不用定义分组依据字段。 报表运行 问:怎样与数据库建立连接? 答:如果在设计报表时指定了数据集的数据源连接串与查询 SQL 语句,Grid++Report 采用拉模式直接从数据源取得报表数据,Grid++Report 利用 OLE DB 从数据源取数,OLE DB 提供了广泛的数据源操作能力。如果 Grid++Report 的数据来源采用推模式,即 Grid++Report 不直接与数据库建立连接,各种编程语言/平台都提供了很好的数据库连接方式,并且易于操作,应用程序在报表主对象(IGridppReport)的 FetchRecord 事件中将数据传入,例子程序提供了各种编程语言填入数据的通用方法,对C++Builder 和 Delphi 还进行了专门的包装,直接关联 TDataSet 对象也可以将 TDataSet 对象中的数据传给报表。 问:打印时能否对打印纸张进行自适应?支持表格的折行打印吗? 答:Grid++Report 在打印时采用多种适应策略,通过设置明细网格(IGRDetailGrid)的‘打印策略(PrintAdaptMethod)’属性指定打印策略。(1)丢弃:按设计时列的宽度输出,超出范围的内容不显示。(2)绕行:按设计时列的宽度输出,如果在当前行不能完整输出,则另起新行进行输出。(3)缩放适应:对所有列的输出宽度进行按比例地缩放,使总宽度等于页面的输出宽度。(4)缩小适应:如果列的总宽度小于页面的输出宽度,对所有列的输出宽度进行按比例地缩小,使总宽度等于页面的输出宽度。(5)横向分页:超范围的列在新页中输出。(6)横向分页并重复锁定列。 问:如何改变缺省打印预览窗口的窗口标题? 答:改变报表主对象的‘标题(Title)’属性即可。 问:利用集合对象的编程接口取子对象的接口引用,但不是自己期望的结果。 答:Grid++Report中所有集合对象的下标索引都是从 1 开始,另按对象的名称查找对象的接口引用时,名称字符是不区分大小写的。 问:怎样在运行时控制报表中各个对象的可见性?即怎样在运行时显示或隐藏对象? 答:在报表主对象(GridppReport)的 SectionFormat 事件中设定相应报表子对象的可见(Visible)属性即可。 问:报表主对象重新载入数据,设计器中为什么没有反映新载入的数据? 答:应调用 IGRDesigner 的 Reload 方法。 问:怎样实现不进入打印预览界面,直接将报表打印出来?