【CS.DB】深度解析：ClickHouse与Elasticsearch在大数据分析中的应用与优化

《深入对比：在大数据分析中的 ClickHouse和Elasticsearch》

---

在现代大数据分析中，ClickHouse和Elasticsearch作为两大非关系型数据库的代表，各具特色与优势。本篇文章深入比较了两者的架构设计、查询性能、数据存储方式以及应用场景。通过详细的技术解析和实战案例，我们探讨了如何根据业务需求选择合适的平台，优化系统性能，并提出了针对大规模数据集的性能调优策略。无论您是需要高效分析和报表的ClickHouse，还是需要强大实时搜索和日志分析的Elasticsearch，本篇文章将为您提供全面的技术指导和战略建议。

1 介绍

• 主题：《深入对比：在大数据分析中的 ClickHouse和Elasticsearch》
• 概览
  • 1 介绍
  • 2 深入非关系型数据库的世界
  • 3 ClickHouse架构深掘
  • 4 Elasticsearch架构解析
  • 5 核心技术对比
  • 6 应用案例与场景匹配
  • 7 性能挑战与优化策略
  • 8 结论与战略建议
  • 9 互动问答

---

2 深入非关系型数据库的世界

• 非关系型数据库的种类与核心优势
• ClickHouse与Elasticsearch的定位与核心功能

–

2.1 非关系型数据库的种类

类型	代表技术	存储方式	主要特点	适用场景
键值存储	Redis	键值对存储	读写性能高，支持数据持久化	缓存，高速查询场景
文档数据库	MongoDB	文档形式存储	数据模型灵活，支持复杂的嵌套数据结构	需频繁变更数据结构的应用
列存储数据库	Clickhouse	列式存储	优化读操作，高效进行大规模数据处理	大数据分析，在线分析处理（OLAP）
搜索引擎	ElasticSearch	倒排索引	支持复杂查询和实时分析，优化文本搜索	全文搜索，实时数据分析
图数据库	Neo4j	图结构	优化路径查询，能高效处理复杂的网络结构	社交网络，推荐系统等
宽列存储	Cassandra	列族存储	扩展性强，高可用性，适合写密集型应用	分布式数据管理，实时监控系统
时间序列数据库	InfluxDB	时间序列数据	高效处理时间标记数据，优化时间序列查询和存储	监控，物联网，实时分析
对象存储	Ceph	对象存储	数据自动分散，支持大规模存储	大数据存储，云存储服务

note: 对应于上表每种数据库的“现实应用举例”列内容：

• 文档数据库 (MongoDB)：社交媒体内容存储，电商平台的用户数据和产品目录
• 列存储数据库 (ClickHouse)：金融行业的交易分析，互联网公司的用户行为日志分析
• 键值存储 (Redis)：高访问负载的网站的会话管理，实时排行榜
• 图数据库 (Neo4j)：欺诈检测系统，知识图谱的构建和查询
• 搜索引擎 (Elasticsearch)：新闻网站的文章搜索引擎，电商平台的商品搜索和筛选
• 宽列存储 (Cassandra)：通信公司的呼叫记录分析，大型社交网络的消息数据存储
• 时间序列数据库 (InfluxDB)：能源监测系统的实时数据分析，物联网设备的数据监控
• 对象存储 (Ceph)：云服务提供商的大规模文件存储，医疗影像的存储和备份

OLAP (Online Analytical Processing)
对应于上表每种数据库的“现实应用举例”列内容：

• 文档数据库 (MongoDB)：社交媒体内容存储，电商平台的用户数据和产品目录
• 列存储数据库 (ClickHouse)：金融行业的交易分析，互联网公司的用户行为日志分析
• 键值存储 (Redis)：高访问负载的网站的会话管理，实时排行榜
• 图数据库 (Neo4j)：欺诈检测系统，知识图谱的构建和查询
• 搜索引擎 (Elasticsearch)：新闻网站的文章搜索引擎，电商平台的商品搜索和筛选
• 宽列存储 (Cassandra)：通信公司的呼叫记录分析，大型社交网络的消息数据存储
• 时间序列数据库 (InfluxDB)：能源监测系统的实时数据分析，物联网设备的数据监控
• 对象存储 (Ceph)：云服务提供商的大规模文件存储，医疗影像的存储和备份

–

2.2 列存储数据库（如ClickHouse）

定义与底层原理： 列存储数据库将数据按列而非行存储，这意味着每一列的数据都被存放在一起。这种存储方式使得数据库可以高效地进行大规模的读操作，尤其是在执行聚合查询如计数、求和等操作时非常高效。

区别突出点： 列存储的优势在于IO优化和数据压缩方面，特别适合用于OLAP和大数据分析，与传统的行存储数据库在性能上有显著差异。

–

2.3 搜索引擎（如Elasticsearch）

定义与底层原理： 搜索引擎数据库使用倒排索引技术来优化文本搜索查询。它们支持全文搜索、复杂查询以及数据的实时分析，常见于需要处理大量文本数据的应用场景。

区别突出点： 搜索引擎的特点是能够处理和索引大量非结构化文本，提供复杂的搜索查询能力，与传统的关系数据库在文本处理上有本质的区别。

–

2.4 核心优势的归纳

• 可扩展性：大多数非关系型数据库支持水平扩展，易于处理大规模数据集。
• 灵活性：不严格要求固定的数据模式，可以动态调整数据属性。
• 专用性能：每种类型的非关系型数据库都针对特定的数据操作或查询优化，如文档数据库优化了文档的读写，列存储数据库优化了列间的聚合查询等。
• 高可用性与容错性：通过数据分片和复制，提高了数据的可用性和服务的稳定性。

---

3 ClickHouse架构深掘

• 列存储的内部机制：数据存储、读取优化
• 向量引擎的工作原理：如何提高查询处理速度
• 数据分片与复制：保证数据的高可用性与扩展性

–

–

3.1 列存储的内部机制

• 数据存储：
  • ClickHouse将数据以列的形式存储，每一列的数据独立存放，这样可以大幅减少读取不需要的数据的情况，尤其是在执行大规模的分析查询时。列存储和行存储有什么区别?
  • 列存储允许使用不同的数据压缩技术，针对每种类型的数据选择最优的压缩方法，从而减少存储空间需求并提高读取效率。
• 读取优化：
  • 在查询执行时，只需读取相关的列数据，避免了传统行存储数据库中的无用数据读取，显著提高查询性能。
  • 利用先进的索引策略（如稀疏索引），进一步提高查询速度，尤其在处理大数据集时更显优势。什么是稀疏索引? 和密集索引的区别?

–

3.1.1 列存储?

MySQL 行存储模式: 在 MySQL 中，数据是按行存储的。假设有一个用户表 users，包含如下字段：

CREATE TABLE users (
    user_id INT,
    user_name VARCHAR(50),
    age INT,
    email VARCHAR(100)
);

在行存储模式下，每一行的数据会被存储在一起：

user_id	user_name	age	email
1	Alice	25	alice@example.com
2	Bob	30	bob@example.com
3	Carol	22	carol@example.com

–

ClickHouse 列存储模式: 在 ClickHouse 中，数据是按列存储的。相同的用户表 users 会存储为独立的列：

user_id: [1, 2, 3]
user_name: ["Alice", "Bob", "Carol"]
age: [25, 30, 22]
email: ["alice@example.com", "bob@example.com", "carol@example.com"]

• 优势一 —— 更好压缩: 同类型的数据存储在一起，压缩效果更好

  • 比如年龄列中的数据都是整数，容易压缩

• 优势二 —— 高效的 I/O 操作: 读取列数据时，只需读取相关的列，而不需要读取整个行。

  • 如，要查询所有用户的年龄，只需读取 age 列，不需要读取其他列的数据。vs 在MySQL中, ‘SELECT user_name, age FROM users;’, 当业务需要频繁查询用户基本信息时, 需要读取整行数据，然后提取出 user_name 和 age 列，这会涉及大量的 I/O 操作。

–

MongoDB 的数据存储方式不同，它是文档存储，即每个文档是一个独立的 JSON 对象：

{
    "_id": 1,
    "user_name": "Alice",
    "age": 25
}

–

3.1.2 稀疏索引（Sparse Index）?

假设我们有一个表 users，其中包含 user_id, user_name, 和 age 列。数据按列存储, 假设数据存储在磁盘上的文件结构如下：

• user_id 文件：包含 [1, 2, 3, …]
• user_name 文件：包含 [“Alice”, “Bob”, “Carol”, …]
• age 文件：包含 [25, 30, 22, …]

为了查找 user_id = 1 的 user_name 和 age，
‘SELECT user_name, age FROM users WHERE user_id = 1;’
查询步骤如下：

1. 查找 user_id 列：
   • 读取 user_id 列的文件，从头开始查找 user_id = 1。
   • 找到 user_id = 1 位于第 0 行。
2. 定位其他列的数据：
   • 使用找到的行号（第 0 行），从 user_name 列和 age 列的文件中读取相应行的数据。
   • 读取 user_name 列的第 0 行，得到 “Alice”。
   • 读取 age 列的第 0 行，得到 25。

–

特性	密集索引（MySQL）	稀疏索引（ClickHouse）
定义描述	密集索引是为数据库表中的每个记录创建一个索引条目。每个键值在索引中都有一一对应的条目，提供非常快速的查找速度	稀疏索引仅为每个数据块（或页）的第一个记录创建索引条目。查找时先通过稀疏索引找到数据块，然后在块内顺序查找
索引特点	每行数据都有索引项	每隔一定数量的行记录一个索引项
查找速度	精确查找，B+ 树通常为 O(logF N) 时间复杂度，F 是分支因子	通过稀疏索引定位范围，然后进行范围扫描
存储开销	索引存储开销大	索引存储开销小
适用场景	高频率点查询和单行查询	大规模数据查询和批量分析
数据定位	通过索引直接定位到具体的数据行	先通过稀疏索引定位范围，再进行扫描
查询性能	点查询性能高	批量查询性能高
实现复杂性	实现和维护简单	实现和维护较为复杂
批量查询性能	批量查询性能较低，需要读取大量不相关数据	批量查询性能高，只读取相关列数据
存储结构	索引文件按主键排序，每个索引项指向具体的数据行	索引文件记录某个行的关键值及其在数据文件中的位置
点查询示例	查询 user_id = 1 的 user_name 和 age，通过主键索引直接定位到行	查询 user_id = 1 的 user_name 和 age，先通过稀疏索引定位范围，然后扫描具体行
批量查询示例	统计所有用户的平均年龄，需要读取所有行数据，包括不相关列数据	统计所有用户的平均年龄，只读取 age 列数据，通过向量化处理加速计算
I/O 操作	I/O 操作较多，特别是批量查询时	I/O 操作较少，只读取相关列数据

–

“Dense indexes have an index entry for every search key value (and hence every record) in the file.”

“Sparse indexes have index entries for only some of the search values, usually the first record of each block.”

总结

• 密集索引(Dense Index)：适合点查询和高频率的单行查询，查找速度快，但索引存储开销大，批量查询性能较低。
• 稀疏索引(Sparse Index)：适合大规模数据查询和批量分析，存储效率高，但点查询性能相对较低。

–

3.2 向量引擎的工作原理

• 向量化查询：
  • ClickHouse的向量引擎允许在单个操作中处理数据列的多个值，而非逐行处理。这种向量化的处理方式可以充分利用现代CPU的SIMD功能，实现数据处理的并行化。
  • 通过减少CPU周期中的闲置和上下文切换，向量引擎大幅提升了查询处理速度。

–

3.2.1 SIMD 技术如何优化查询性能 (ClickHouse)

SIMD（Single Instruction, Multiple Data） 技术允许在一个 CPU 指令周期内对多个数据进行并行处理。ClickHouse 利用 SIMD 技术实现高效的向量化查询。以下是一个形象的解释：

1. 数据加载：
   • ClickHouse 从列式存储中加载数据，例如一列包含1000个整数。
2. 向量化处理：
   • 传统查询处理方式是逐行处理，即一个循环处理一个数据项。SIMD 技术则通过加载多个数据到寄存器中，并对这些数据执行相同的操作。
   • 例如，使用 AVX2 指令集，一个 256 位寄存器可以容纳 8 个 32 位整数。这样可以在一个指令周期内对 8 个整数进行加法运算，而不是逐个处理。
3. 并行计算：
   • 在 SIMD 技术的支持下，ClickHouse 的查询处理器可以同时对多个数据进行计算，比如过滤、聚合等操作，大大提升了查询性能。

–

示例：

假设有一个查询需要对一列数值进行求和，传统方式是逐行累加：

int sum = 0;
for (int i = 0; i < n; i++) {
    sum += data[i];
}

使用 SIMD 技术，可以一次处理 8 个数值：

#include <immintrin.h>  // 包含 AVX 指令集的头文件

int sum_array(int* data, int n) {
    // 初始化一个 256 位的寄存器 sum，用于存储最终的结果, `_mm256_setzero_si256` 函数将寄存器所有位设为 0。
    __m256i sum = _mm256_setzero_si256();

    // 使用 AVX2 指令集一次处理 8 个 32 位整数
    for (int i = 0; i < n; i += 8) {
        // 将 8 个整数加载到寄存器 values 中
        __m256i values = _mm256_loadu_si256((__m256i*)&data[i]);
        // 对寄存器 `values` 中的 8 个整数进行并行加法运算，将 values 中的值累加到 sum 中
        sum = _mm256_add_epi32(sum, values);
    }

    // 将寄存器 sum 中的 8 个整数合并为一个结果, 存储到数组 `result` 中
    // 将寄存器 sum 中的 8 个整数合并为一个结果 // 使用 256 位寄存器分解成 128 位寄存器进行水平加和
    __m128i sum_low = _mm256_castsi256_si128(sum);
    __m128i sum_high = _mm256_extracti128_si256(sum, 1);
    sum_low = _mm_add_epi32(sum_low, sum_high);

    // 使用 128 位寄存器分解成 64 位寄存器进行水平加和
    sum_low = _mm_add_epi32(sum_low, _mm_shuffle_epi32(sum_low, 0x0E));
    sum_low = _mm_add_epi32(sum_low, _mm_shuffle_epi32(sum_low, 0x01));

    // 提取最终的和
    int total_sum = _mm_cvtsi128_si32(sum_low);

    return total_sum;
}

–

3.2.2 ANN 流程 (Elasticsearch)

ANN（Approximate Nearest Neighbor） 是一种用于快速找到与查询向量最相似的向量的方法。Elasticsearch 使用 ANN 技术进行向量化查询，例如使用 HNSW（Hierarchical Navigable Small World）算法。

1. 向量索引构建：
   • 首先，对所有文档中的向量进行索引构建，创建一个近似最近邻索引结构，例如 HNSW 图。
   • HNSW 图包含多个层，每一层都有较少的边，最高层是稀疏图，底层是稠密图。
2. 查询阶段：
   • 当有一个查询向量时，算法从最高层开始搜索，逐层向下。
   • 每层中，算法会找到距离查询向量最近的几个向量（节点），然后在这些节点的邻居中继续搜索，直到达到底层。
3. 近似搜索：
   • 通过逐层搜索和局部优化，快速找到与查询向量最相似的几个向量。这种方法比精确最近邻搜索更快，适合处理大规模向量数据。

–

假设我们有一组文档向量，构建 HNSW 图如下：

Level 2:  A--B--C
Level 1:  D--E--F--G
Level 0:  H--I--J--K--L

查询向量 Q 的搜索过程：

1. 从最高层 Level 2 开始，找到与 Q 最接近的节点，例如 A。
2. 从 A 的邻居开始搜索，找到与 Q 最接近的节点，例如 B。
3. 转到 Level 1，继续从 B 的邻居中找到最接近 Q 的节点，例如 E。
4. 逐层向下，直到 Level 0，找到最终的近似最近邻节点。

–

3.3 数据分片与复制

• 数据分片：
  • ClickHouse通过将数据水平划分为多个分片来实现扩展性。每个分片可以部署在不同的服务器上，从而分散负载和优化资源利用。
  • 分片机制允许并行处理查询，各分片同时处理数据查询的不同部分，极大提高了处理速度和系统的扩展性。
• 数据复制：
  • 为了保证高可用性，ClickHouse支持数据的自动复制。在多个节点之间同步相同的数据分片，即使在部分节点发生故障时也能保证数据不丢失，并继续提供查询服务。
  • 复制机制基于ZooKeeper来协调数据一致性和状态同步，确保系统的稳定性和数据的一致性。