FFA 2021 口译 - 实时计数仓库

▼ 关注「 ApacheFlink 」视频号，遇见更多大咖 ▼

12 月 4-5 日，Flink Forward Asia 2021 重磅开启，全球 40+ 多行业一线厂商，80+ 干货议题，带来专属于开发者的技术盛宴。

其中，实时数仓专场邀请腾讯、快手、美团、科大讯飞、理想汽车、蚂蚁金服、SmartNews、智慧芽、十荟团等多位数仓技术专家分析实时数仓的应用实践及平台智能化的探索与思考。

▼ 扫码了解完整大会议程 ▼

（大会官网）

美团实时数仓平台建设 2021 新进展

姚冬阳｜美团大数据部实时数仓、实时计算平台负责人

实时数仓的开发平台建设能为公司各业务线实时数据需求提供标准化的开发流程，提升数据交付的效率和质量。近年来，美团在公司内部推广基于 Flink SQL 的实时数仓开发模式。在推广的过程中，我们发现 SQL 开发方式存在语义、变更、测试、监控、排查等方面的痛点。

在本次报告中，我将和大家分享一下我们团队在解决以上问题过程中的思考和体会。

快手实时数仓保障体系研发实践

李天朔｜快手实时计算数据团队技术专家

实时计算作为快手数据一个重要的应用输出场景，尤其是在春晚大型活动实时大屏、公司实时看板核心指标、运营产品能力建设等场景扮演着重要的角色。随着业务场景愈加丰富，整体实时链路也愈加复杂。复杂链路和丰富场景对于实时质量、时效、稳定性能力建设有了更大的挑战，

本次分享将介绍快手在实时数仓资源、质量、时效和稳定性等几个方面的优化实践。

Apache Flink 在腾讯大数据的实践

龙逸尘｜腾讯大数据高级工程师

Apache Flink 已经成为实时计算的事实标准，腾讯大数据使用 Flink 满足内部用户超大规模的实时计算需求。本次分享主要介绍 Apache Flink 在腾讯大数据的实践和优化，包括如下几个方面：

1. 背景介绍。 介绍 Flink 在腾讯大数据的发展过程、现状与痛点；
2. 容器化实践。 介绍腾讯大数据的容器化方案与最佳实践，以及大规模 Flink 任务调度的最佳实践；
3. 平台化实践。 介绍腾讯大数据在开发平台层、runtime层、生态层使用 Flink 的实践；
4. 实时数仓实践。 介绍腾讯大数据如何使用 Flink、Iceberg 和 ClickHouse 构建高性能的实时数仓；
5. 未来展望。

理想汽车基于 Flink 的

实时数据仓库 0-1 初步建设

胡晶明｜理想汽车数据开发

理想汽车由 2020 年开始进行实时数据仓库的建设并且不断演进迭代，涉及 ADAS 数据、GPS 数据、流量、销售等多个关键业务领域。实时数据仓库在其中扮演关键角色，提供了包括实时数据大屏，实时数据异常检测和推送，实时数据分析等应用场景,满足了业务对于实时数据的诉求，支撑了管理决策。

本次分享主要介绍理想汽车实时数据仓从 0-1 的在业务中实践和未来规划。

蚂蚁实时数仓体系升级实践

马年圣｜蚂蚁金服实时数仓架构师

随着蚂蚁各业务的快速发展，实时资产丰富度和稳定性的重要程度不断提高，如何快速构建实时数据应用并保证实时数据质量，对蚂蚁实时数仓体系提出了更高的要求。为构建蚂蚁统一的实时数据资产，我们定义实时数据开发规范，并将实时数据建模产品化；同时围绕实时任务稳定性和数据质量保障要求，推进实时开发和运维能力建设；最后聚焦实时数据分析和数据服务两大应用场景，打通实时数据消费链路；通过以上能力的构建，升级蚂蚁实时数仓体系。

本次议题将围绕升级背景、蚂蚁实时数仓架构、实时数据资产构建和逻辑化、实时稳定性保障、实时数据质量保障、未来规划六个方面展开介绍。

TiDB X Flink｜HTAP

为实时数据服务插上翅膀

曲明星｜智慧芽数据仓库架构师

随着业务场景的不断拓展和用户规模的迅速增长，业务运营过程中，智慧芽深度依赖对实时数据的分析和结果呈现，需要进行用户行为分析，提供实时大盘和特定场景的运营数据等。

智慧芽选用 TiDB + Flink 实时数仓方案拓展数据分析的能力版图，结合了 TiDB HTAP 与 Flink 两者的特性，应用于用户行为分析和追踪、租户行为分析等实时分析场景，并为业务运营大盘提供实时数据支撑。

Flink 在讯飞 AI 营销业务实时数仓实践

汪李之｜科大讯飞中级大数据工程师

1. 业务简介： 交易平台、广告的生命周期；
2. 实时数仓架构： 数仓分层、数仓建模；
3. 场景实践： DWD 实践、DWS 实践、ADS 实践、流批混合；
4. 未来展望： 流批一体。

SmartNews 基于 Flink 的实时数仓建设

袁尤军｜SmartNews 数据平台首席架构师

1. Brief Introduction of SmartNews (SmartNews 简介)
2. Architecture of data platform in SmartNews (SmartNews 数据平台架构)
3. Usage of Flink in SmartNews (Flink 在 SmartNews 的应用简介)
4. Motivation: reduce latency of daily tables significantly (动机：显著降低日表的延迟)

• background (问题的背景)
• goals (目标)
• challenges (挑战)

How we address the challenges (我们如何解决这些挑战)

• Avoid small files (避免小文件)
• Streaming File Source over object store (基于对象存储的流式文件源)
• Integrate with Airflow (与 Airflow 的集成)
• Minimize latency (减少延迟)

Achievement & Future (成果和未来规划)

十荟团基于 Flink SQL 与 Zeppelin

构建实时数仓的实践

康琪｜十荟团高级大数据研发工程师、实时计算团队负责人，Apache Flink Contributor

1. 十荟团构建实时数仓的场景和必要性；
2. Flink SQL 和 Zeppelin 简介，以及为实时数仓建设带来的便利；
3. 十荟团实时数仓整体架构介绍与实际应用示例；
4. 数仓平台化建设：统一接入开发、元数据管理、数据血缘、作业监控与报警；
5. Flink SQL 增强开发：扩展 Connector、MySQL/TiDB Catalog、Formats 优化、维表 join 优化、UDF 复用等；
6. 未来规划：流批一体、数据湖集成、自动化运维。

---

以上为  Flink Forward Asia 2021  实时数仓专场内容节选，了解更多大会详情可扫描下方二维码。

Flink Forward Asia 2021 赞助与合作

---

首届 Flink Forward Asia Hackathon 正式启动，10W 奖金等你来！

欢迎进入赛事官网了解详情：

https://www.aliyun.com/page-source//tianchi/promotion/FlinkForwardAsiaHackathon

更多 Flink 相关技术问题，可扫码加入社区钉钉交流群～

▼ 关注「 Flink 中文社区 」，获取更多技术干货 ▼

   戳我，报名 FFA 2021 大会！