应对快速变化业务模型的O2O数据仓库实践手段
▲点击进入中国数据库技术大会报道专题
O2O这个增长迅猛,快速变化的行业,对如何建立数据仓库提出了很多挑战——快速变化, 快速处理, 快速应用是三个最核心的需求。美团作为国内最大的本地服务电子商务公司,在支撑前线的数据仓库设计上面临哪些挑战?又有哪些方案?美团数据仓库架构师徐章,他目前负责美团数据仓库的建设和数据仓库工具的开发。他介绍了美团数据仓库的架构和核心工具,以及在数据建模和管理上的探索、实践和创新。
▲美团数据仓库架构师徐章
数据仓库的构建离不开业务场景
解析团购行业的特点:1、团购?业低?利,要求?效率,百度8%,美团5%。2、业务复杂. 订单、财务、供应链、客服等,近20个业务部?,关系复杂需求多。3、业务变化快. ?业?速发展,形式不断更新。
团购行业对数据仓库的要求:快速建模: 全?地覆盖所有业务、业务模型灵活变更: 可?且响应周期短、?便使?: 每个?都能使?数据资源。
快速粗放式增长之痛:1、指标管理混乱: 重复定义, ?径不?致, 变更困难。2、元数据过于松散: 找不到数据, 业务知识零散。3、依赖关系过于复杂: 层次过深, 指标来源不明。4、规范执?困难: ??审核,建模?法论难以贯彻,还容易将精?耗费在业务?关的细节上。
数据仓库的构建思路
1、形式化模型定义:精确表达业务逻辑、?处定义,各处复?、模型即?档。
2、简化处理层级
3、模型驱动数据?产
总线图的方法
多维度模型视角主要包括:1、按事实?度(纵向): 星型多维。2、按主题组织(横向): 维度层级组合合并
模型元素:1、实体/事实: 名称,物理表名,属性/度量列表;2、属性: 名称,对应字段/表达式,属性字典;3、度量: 聚合?法; 4、层级关系: 各层级属性
简化处理层级:目标
模型驱动?动化?作流:1、??成聚合表流程。2、?动创建主题表流程。3、?动部署上线并注册任务调度。
驱动数据?产:聚合计划:1、选定事实。2、指定维度层级组合。3、?成Hive SQL (Multi Groupby)
驱动数据?产:主题定义:1、选定维度层级组合。2、指定事实列表。3、?成Hive SQL (FULL OUTER JOIN)。
达成的效果:1、关注于业务建模, ?具执?规范和?产。2、业务知识和指标查找变得可能。3、减少混乱的指标定义带来的沟通?作。4、快速响应模型变更。5、便于快速铺开到新的产品线(电影,酒店,外卖…)
经验总结
最后,美团数据仓库架构师徐章总结了自己的经验,主要包括了三点:1、元数据管理的形式: 档< wiki < 字典系统< 形式化模型。2、对开放数据产的态度: 平衡治和统。3、动化,助化,平台化。
作者:景保玉
来源:IT168
原文链接:O2O数据仓库实践:应对快速变化业务模型
推荐阅读
-
应对快速变化业务模型的O2O数据仓库实践手段
-
澎湃新闻对话腾讯丁珂:从 "治已病 "到 "治未病",企业需快速构建 "安全免疫力"--丁珂指出,对企业而言,安全不是成本而是生命线 丁珂指出,对企业而言,安全不是成本而是生命线,也是商业 "硬币 "的另一面。在数字智能化的新阶段,发展驱动安全建设已成为普遍共识,企业需要转变安全思维,从被动建设到主动防御,构建一套新的安全范式和框架,以更加积极、主动的安全观来提升数字安全免疫力,以 "治未病 "的理念取代 "治已病",前置安全,快速构建 "安全免疫力"。对 "已病",前置预判,及时应对处置安全风险,才能维护品牌价值,保障健康发展。 与此同时,安全建设还普遍存在 "不知道往哪投、怎么投 "的痛点。对此,腾讯安全提出,企业可以按照数字安全免疫模型的框架进行安全全局部署,重点在业务安全、数据安全、安全运维管理、边界安全、终端安全、应用开发安全等薄弱环节的关键领域注入 "免疫增强针"。 今年进入公众视野的AIGC还在产业化、产品化的过程中,但大量攻击者已经利用它生成攻击脚本、钓鱼邮件,甚至伪造身份进行诈骗。"人工智能本身是否安全,会不会让网络更不安全? 腾讯安全研究认为,AIGC的风险主要集中在 "无法解释 "和 "无法追踪 "的特点上,但这在技术上是能够找到应对方法的。丁珂谈到,AIGC作为生产力的巨大提升,确实会带来更复杂的攻防态势和更大的防御难度。但任何新技术都要经历这样的周期。而法律法规也会随着技术的演进而不断更新,使新技术的发展更加规范和健全。 丁珂认为,随着我国网络安全法律法规体系的不断完善,合规性将给企业推进网络安全带来很大的推动力,并很直观地展现在需求端。未来,伴随着数据要素市场的建立或企业对数据价值的挖掘,也将带动数据安全市场的快速增长。 对于腾讯安全的商业逻辑和运营,丁珂表示,不谋求建立竞争壁垒,而是期望与生态共同发展,腾讯安全希望通过能力开放,实现安全与业务相伴的生态模式。 谈到未来,丁磊表示,安全领域已经进入加速发展期,在蓝海中会持续关注很多新的业务领域,希望孵化出新的商业模式,腾讯安全团队也会持续关注并抓住机会做好产品。 以下为采访实录(在不改变原意的基础上略有删减): 冲浪新闻:当前,以人工智能、大数据等新技术为驱动的第四次工业革命正向纵深推进,给人类生产生活带来深刻变革。而互联网作为新技术的载体,面临的安全挑战不仅数量越来越多,形式也越来越复杂。从互联网安全从业者的角度,腾讯观察到近年来国内外网络安全形势发生了哪些变化?这些变化呈现出怎样的趋势?