ELK查询技巧与数据汇总方法
查询表明细:
ELK的KQL样例,显示时间请选择最近15天:
样例1:查询ol_lc 表增删改查,不是jy2_rw的账号明细
KQL:(ol_lc or oc.ol_lc) and (select or update or delete or insert or replace) and not User.keyword=jy2_rw
样例2:查询ol_lc表,不是ems_rw账号只读的SQL执行时间在2月24号的明细
KQL: (ol_lc or oc.ol_lc) and select and not User.keyword=ems_rw and Timestamp.keyword <="2021-02-24 23:59:59" and Timestamp.keyword >="2021-02-24 00:00:00"
样例3,查询ol_lc表,oc写主库d8t的edu_rw账号明细
KQL: (ol_lc or oc.ol_lc) and edu_rw and d8t
KQL建议:
只读: (表 or oc.表) and select (可以过滤 show columns from 表)
写: (表 or oc.表) and (update or delete or replace or insert)
读写: (表 or oc.表) and (update or delete or select or replace or insert)
说明: 如不加上 oc.表, 如查ol_lc: SQL中有oc.ol_lc是查不出来的,切记。
KQL官网帮助文档: https://www.elastic.co/guide/en/kibana/current/kuery-query.html#kuery-query
汇总表
表在各实例的账号调用情况,方法如下:
ELK--Visualize–创建可视化–选择"数据表",如下图:
选择"数据源": logstash-myaudit*,跳动聚合分析页面。
在右边选择下列,对聚合的字段汇总计数:
其中:
数据Tab:
1,指标,选择"计数"
2,存储桶,
子聚合:选择“词” 字段:选择“user.keyword” 排序依据:选择“计数”,降序:大小改成:10000(或更大),定制标签:填写:用户
子聚合:选择“词” 字段:选择“Name.keyword” 排序依据:选择“计数”,降序:大小改成:10000(或更大),定制标签:填写:名称
选项Tab:
每页最大行数改成: 10000(或更大)
百分比列改成:计数 (如需做百分比分析)
输入KQL如:ttachment and select,显示日期:选择最近15天, 表在各实例账号调用情况,能快速出来:
KQL可以根据实际情况灵活使用,如果不想查以前,在KQL里加上时间限制。
该结果,能通过点击“原始”或者"格式化"导出csv,根据列表提供的实例名找到对应具体数据库实例。
推荐阅读
-
紧急模式问题处理 - 图 1 紧急模式 根本原因分析 应急模式提供了尽可能小的环境,即使无法进入应急模式,也可以在其中修复系统。在应急模式下,系统只安装根文件系统供读取,不尝试安装任何其他本地文件系统,不激活网络接口,只启动一些基本服务。 进入应急模式的原因通常是 /etc/fstab 文件中存在错误,导致文件系统挂载失败。 文件系统中存在错误,导致。 约束和限制 本节适用于 Linux 操作系统紧急模式。程序涉及修复文件系统。修复文件系统有丢失数据的风险,因此请先备份数据,然后再执行修复操作。 处理方法 输入根密码,然后进入修复模式。 在应急模式下,根分区以只读模式挂载。要修改根目录中的文件,需要执行以下命令以读写模式重新挂载根分区。# mount -o rw,remount / 请执行以下命令首先检查 fstab 文件是否有误,然后尝试挂载所有未挂载的文件系统。# mount -a 如果挂载点不存在,请创建一个挂载点。 如果不存在此类设备,请注释或删除挂载行。 如果指定了不正确的挂载选项,请将挂载参数更改为正确的参数。 如果没有发生错误,但出现 UNEXPECTED INCONSISTENCY;RUN fsck MANUALLY 消息(通常是由文件系统错误引起的),请跳至第 7 步。 执行以下命令打开 /etc/fstab 以修改相应的错误。# vi /etc/fstab /etc/fstab 文件包含以下字段,以空格分隔:[文件系统] [dir] [type] [options] [dump] [fsck] 表 1 /etc/fstab 参数 说明 参数 说明 [文件系统] 要挂载的分区或存储设备。 文件系统]列建议以 UUID 的形式写入。执行 blkid 命令可查询设备文件系统 UUID。 参考格式如下: # <device> <dir> <type> <options> <dump> <fsck>; UUID=b411dc99-f0a0-4c87-9e05-184977be8539 /home ext4 defaults 0 2 使用 UUID 的好处是,它们与磁盘顺序无关。如果你在 BIOS 中更改了存储设备的顺序,或重新插入了存储设备,或者因为某些 BIOS 可能会随机更改存储设备的顺序,那么使用 UUID 会更有效率。 [文件系统] 文件系统]的挂载位置。 类型 挂载设备或分区的文件系统类型,支持多种不同的文件系统:ext2、ext3、ext4、reiserfs、xfs、jfs、smbfs、iso9660、vfat、ntfs、swap 和 auto。 设置为自动类型后,挂载命令会猜测所使用的文件系统类型,这对 CDROM 和 DVD 等移动设备非常有用。 选项 挂载时要使用的参数,有些参数是特定文件系统特有的。例如,默认值参数使用文件系统的默认挂载参数,ext4 的默认参数为:rw、suid、dev、exec、auto、nouser、async。 有关更多参数,请执行以下命令查看 man 手册:# man mount
-
MAX_LEN) {
int pivot = partition(arr, left, right);
quicksort_optimized(arr, left, pivot - 1);
quicksort_optimized(arr, pivot + 1, right);
} else {
// 使用插入排序处理小数组
}
}
```
- 合并相同值进行分割:在每次划分后,我们将与枢轴相等的元素聚集在一起,以降低后续迭代中的重复处理。例如:
原序列: 1 4 6 7 6 6 7 6 8 6
- 选取枢轴(6)并划分:1 4 6 7 1 6 7 6 8 6
- 划分结果(未处理相等项):1 4 6 6 7 6 7 6 8 6
- 处理相等项后的划分结果:1 4 6 6 6 6 7 8 7
- 下次划分得到的子序列:1 4 和 7 8 7
通过这样的优化,我们可以明显减少迭代次数,从而提高排序效率。">
改进版快速排序:针对部分有序列的策略与优化技巧" - 随机选枢轴:当数据部分有序时,传统快速排序通过固定枢轴可能导致效率低下。为此,我们采用随机选取枢轴的方法,代码如下: ```c int SelectPivotRandom(int arr[], int low, int high) { srand(time(0)); int pivotPos = (rand() % (high - low)) + low; swap(arr[pivotPos], arr[low]); return arr[low]; } ``` - 优化小数组交换:针对小且部分有序的数组,快速排序不如插入排序高效。因此,当待排序序列长度小于等于10时,我们会切换至插入排序: ```c #define MAX_LEN 10 void quicksort_optimized(int *arr, int left, int right) { int length = right - left; if (length > MAX_LEN) { int pivot = partition(arr, left, right); quicksort_optimized(arr, left, pivot - 1); quicksort_optimized(arr, pivot + 1, right); } else { // 使用插入排序处理小数组 } } ``` - 合并相同值进行分割:在每次划分后,我们将与枢轴相等的元素聚集在一起,以降低后续迭代中的重复处理。例如: 原序列: 1 4 6 7 6 6 7 6 8 6 - 选取枢轴(6)并划分:1 4 6 7 1 6 7 6 8 6 - 划分结果(未处理相等项):1 4 6 6 7 6 7 6 8 6 - 处理相等项后的划分结果:1 4 6 6 6 6 7 8 7 - 下次划分得到的子序列:1 4 和 7 8 7 通过这样的优化,我们可以明显减少迭代次数,从而提高排序效率。
-
总结一下将 MS SQL Server 行数据转化为列的技巧与方法
-
在多台数据库服务器间执行SQL查询与跨表格数据更新的方法
-
汇总Java中常用数据库连接技巧与方法指南
-
在Django中提升查询效率的技巧与方法
-
日常使用的加密与解密技巧方法汇总
-
两种实现方法:REM + LESS + 媒体查询与REM + flexible.js的适应性布局技巧
-
玩转Excel:实用函数与技巧系列六 - 汇总计算与统计数据详解(第二部分)
-
如何在JavaScript中停止各种循环(for, forEach, map, for...in等):实用技巧与方法汇总