数据资产管理系统和标准
背景介绍
数据资产管理(DAM,Data Asset Management)是指规划、控制和提供数据及信息资产的一组业务职能,包括开发、执行和监督有关数据的计划、政策、方案、项目、流程、方法和程序,从而控制、保护、交付和提高数据资产的价值。数据资产管理需要充分融合业务、技术和管理,以确保数据资产保值增值。《数据资产管理实践白皮书》
数据资产管理是一种数据管理方法,确保数据资产在整个组织中得到高效、有序和安全合规的使用,能够更好的发现数据价值。通常的,数据价值难以有效发挥的原因主要有:
- 缺乏统一数据视图:企业的数据散落在各个业务系统,无法快速识别有价值的数据信息及数据关联信息;
- 数据孤岛普遍存在:不同的数据标准和管理制度,导致业务系统中很难畅通的数据共享;
- 数据质量不高:导致业务分析不准确,难以基于数据进行高层决策;
- 缺乏安全的数据环境:容易造成数据泄露和数据滥用;
- 缺乏数据价值体系:对数据服务和数据应用缺乏合规指导,没有找到释放数据价值的“最优路径”;
为更大的挖掘数据资产价值,需要做到如下:
- 全面掌握数据资产现状:对数据进行全面盘点,形成数据地图,为业务应用和数据获取夯实基础;
- 提升数据质量:通过建立一套切实可行的数据质量监控体系,设计数据质量稽核规则,加强从数据源头控制 数据质量,形成覆盖数据全生命周期的数据质量管理,实现数据向优质资产的转变;
- 实现数据互联互通:制定企业内部统一的数据标准,建立数据共享制度,完善数据登记、数据申请、数据审批、 数据传输、数据使用等数据共享相关流程规范,打破数据孤岛,实现企业内数据高效共享;
- 提高数据获取效率:提升数据的获取和服务效率,让数据随时快速有效就绪,缩短数据分析人员和数据科学家的数据准备时间,加快数据价值的释放过程;
- 保障数据安全合规:通过制定完善的数据安全策略、建立体系化的数据安全措施、执行数据安全审计,全方位进行安全管控,确保数据获取和使用合法合规,为数据价值的充分挖掘提供了安全可靠的环境;
数据资产管理在大数据体系中的定位:位于数据应用和底层大数据平台中间,处于承上启下的重要地位。通过数据资产管理,可以更有效、更规范、更安全的基于数据平台进行数据应用开发。
数据管理体系
数据管理有相应的理论标准体系作为指导思想,对数据管理领域进行详细的划分,目前主要指导标准的协会有:
- DAMA(Data Management Association ) :国际数据管理协会
- DGI(Data Governance Institute ) :数据治理研究所
- IBM Data Governance Council:IBM数据治理协会
- CMU/SEI(Software Engineering Institute):美国软件工程研究所
- CCSA(China Communications Standards Association):中国通信标准化协会
DAMA车轮图
DAMA车轮图是由数据管理协会提出的,用于描述和指导数据资产管理的最佳实践模型,一共11个职能域。它是一个框架,用于展示数据管理的各个方面。车轮图的中心是数据治理,表明数据治理是所有数据管理活动的核心。围绕数据治理的是一系列数据管理领域,包括元数据、数据质量、数据架构、数据建模和设计、数据存储和操作、数据安全、数据集成和互操作性、文档和内容管理、参考和主数据、数据仓库和商业智能。
DMM成熟度模型
DMM(Data Management Maturity)数据管理成熟度模型是由CMMI研究所制定的,用于帮助组织评估和改进其数据管理实践的成熟度。DMM模型包含六个关键的职能域,每个职能域都包含一系列的过程区域,这些过程区域定义了实现数据管理成熟度所需的具体实践和活动:
- 数据治理:确保数据资产得到适当管理的一系列流程和责任,涉及制定和执行数据政策、程序、标准和规则等;
- 数据管理战略:制定一个全面的数据管理战略,该战略与组织的业务目标紧密对齐,优先考虑数据相关的业务需求;
- 数据质量:确保组织的数据是准确、完整、可信和适用于业务使用的,能够监控数据活动的质量;
- 数据操作:指日常的数据管理活动,包括数据的存储、备份、恢复、处理和维护,用于数据生命周期管理;
- 支持过程:确保数据管理活动得到适当的支持和资源,例如,数据管理规划、项目管理、资源管理;
- 平台与架构:为数据管理提供技术支持的基础设施,包括数据平台、数据仓库、数据库等
DMM模型的成熟度级别主要分为:
- 可执行级别(Performed):组织的数据管理实践是被动的、非正式的、不连贯的,以数据孤岛形式存储;
- 管理级别(Managed):组织已经开始建立数据管理的标准流程,但这些流程可能还不是完全一致或完全实施的;
- 已定义级别(Defined):组织已经开发并维护了一套标准的数据管理流程,并且这些流程被全面实施;
- 量化管理级别(Measured):在这个级别,组织使用量化的方法来控制和改进数据管理流程的效果;
- 优化级别(Optimized):*别的组织不断优化其数据管理流程,以实现持续改进和适应新的业务目标和技术挑战;
CCSA管理架构
CCSA TC601 数据资产管理体系架构如图所示,主要包括表格8个职能域:
- 数据标准管理:为数据标准的制定和实施的一系列活动,数据标准指保障数据的内外部使用和交换的一致性和准确性的规范性约束,通常可分为基础类数据标准和指标类数据标准,例如元数据标准是基础类标准
- 数据模型管理:设计企业数据模型,并在信息系统建设和维护过程中,严格按照数据模型管理制度,数据模型从抽象层次上描述了数据的静态特征、动态行为和约束条件。具体内容包括三方面:数据结构、数据操作和数据约束
- 元数据管理:数据资产管理的重要基础,是为获得高质量的、整合的元数据而进行的规划、实施与控制行为
- 主数据管理:运用规则、应用和技术,用以协调和管理与企业的核心业务实体相关的系统记录数据
- 数据质量管理:运用相关技术来衡量、提高和确保数据质量的规划、实施与控制等一系列活动
- 数据安全管理:对数据设定安全等级,按照监督要求,通过评估数据安全风险、制定数据安全管理制度规范、进行数据安全分级分类
- 数据价值管理:对数据内在价值的度量,可以从数据成本和数据应用价值两方面来开展
- 数据共享管理:开展数据共享和交换,实现数据内外部价值的一系列活动
CCSA数据资产管理的组织架构以及角色职责,实现数据认责机制,保证数据资产管理各环节的工作有效落地,通过数据角色职责开展数据认责相关工作。其中数据角色包括:
- 数据决策者:负责领导数据资产管理工作,管理重大工作内容和方向
- 数据管理者:负责牵头制定资产管理的政策、标准、规则、流程、协调冲突等,监督落地情况
- 数据提供者:配合指定相关数据标准、制度和规则;按标准要求提供相关数据规范,是数据质量的主要责任者
- 数据开发者:负责数据开发,执行数据标准和数据质量内容,负责从技术角度解决数据质量问题
- 数据消费者:数据资产管理平台的使用者,负责反馈数据效果,是数据资产管理的需求发起人
元数据标准
MOF元模型标准
MOF元模型标准指的是“元对象设施”(Meta-Object Facility,简称MOF)标准,由对象管理组织(Object Management Group,简称OMG)制定。作为模型的基础描述规范,可以描述不同类型的模型标准,为不同类型的模型管理建立基础。
- M0层:实际数据层,数据库中存储的具体信息、对象
-
M1层:模型层,对应元模型实例,即
元数据
,对M0层数据的结构化描述,例如具体的表定义 - M2层:元模型,如CWM模型,定义了M1层模型的结构和语义,例如定义元数据的类别:库、表、字段
- M3层:元元模型,也是MOF自身所在的层次,定义了M2层元模型的结构和语义。提供了构建元模型的语言和工具,例如包、类等
MOF对应的示例说明:
CWM公共仓库元模型
CWM(Common Warehouse MetaModel)公共仓库元模型,是OMG定义的数据仓库和业务分析领域元数据交换开放式行业标准,在数据分析领域为元数据定义公共的元模型和基于 XML 的元数据交换。帮助数据仓库平台和数据仓库元数据存储库之间轻松实现数据仓库和业务分析元数据交换。
对象模型(ObjectModel)提供了在所有其他CWM包中创建和描述元模型类的基本构造。对象模型是UML的一个子集,它只包括创建和描述CWM所需的那些特性。定义只包含CWM所需的东西的UML子集允许CWM利用UML的概念和建模能力,而不需要用UML的全部能力。CWM 模型的目的是最大限度的重用对象模型(Object Model,UML 的一个子集),并在可能的地方共享通用模型结构。
数据治理框架
数据治理框架的核心在于:定义最优路径挖掘数据价值,治理思路的借鉴和参考。常用的数据治理框架主要包括三类:DAMA数据治理、DGI数据治理、IBM数据治理。
DAMA数据治理
数据治理作为数据管理的顶层设计,指导和统筹整体的数据管理活动,是数据资产管理行使权力和控制的活动集合。该框架提供数据管理理论和分层实现。
DGI数据治理
DGI数据治理框架是由DGI(数据治理研究所)提出的数据治理模型。旨在为组织提供一个结构化的方法来设计和实施数据治理计划,确保数据管理活动能够支持组织的业务目标。该框架偏向实践操作,定义数据数据治理流程,涵盖数据治理why-what-who-when-how 经典问题。
- WHY:组件1、组件2,定义数据治理的愿景,可量化目标等
- WHAT:组件3、组件4、组件5、组件6,确定数据规则、决策权、职责、控制权,确保数据合规使用
- WHO:组件7、组件8、组件9 确定相关的组织架构与各利益相关者
- WHEN:组件10,明确数据治理的成熟度级别
- HOW:组件10,包含数据治理全生命周期过程中的重要活动执行
IBM数据治理
IBM数据治理提供具体数据治理的14个实施步骤,并分别进行测量考核,保证在数据治理过程中可度量、可控制。这些步骤不一定是线性的,组织可能需要根据自身的具体情况和需求来调整步骤的顺序和重点。关键在于确保数据治理活动能够支持组织的业务目标,同时满足数据质量、合规性和安全性的要求。通过这个框架,组织可以更有效地管理其数据资产,从而提高运营效率、降低风险并增强决策能力。
总结
数据资产管理是指对组织内部的数据进行识别、分类、管理和优化的过程,以确保数据作为一种重要的战略资产得到有效利用和保护。数据资产管理具备完善的框架体系和标准定义,本文分别从背景介绍、体系介绍、元数据标准、治理框架 四部分进行说明。数据资产管理的核心是数据治理,围绕数据治理展开各职能域的数据管理工作。
我正在参与2024腾讯技术创作特训营最新征文,快来和我瓜分大奖!
推荐阅读
-
数据资产管理系统和标准
-
用于 Docker 的数据管理、网络通信和 dockerfile
-
Oracle 项目管理系统 HSE 安全系统和目标管理
-
下行链路同步信道和信号 |5G 无线系统设计与国际标准,第 X 部分
-
35 岁实现财务*,腾讯程序员手握2300万提前退休?-1000万房产、1000万腾讯股票、加上300万的现金,一共2300万的财产。有网友算了一笔账,假设1000万的房产用于自住,剩下1300万资产按照平均税后20-50万不等进行计算,大约花上26-60年左右的时间才能赚到这笔钱。也就是说,普通人可能奋斗一辈子,才能赚到这笔钱。在很多人还在为中年危机而惶惶不可终日的时候,有的人的35岁,就已经安全着陆,试问哪个打工人不羡慕?但问题是有这样财富积累必然有像样的实力做靠山。没有人可以不劳而获。 看到这里,肯定有人说,那么对于普通人来说,卷可能真就成了唯一的出路。但是卷也有轻松的卷,“偷懒”的卷法,对于程序员而言,刨除掉一时无法改掉的开会传统占用的大部分时间,如何把有限的时间和精力放在真正重要的架构设计、需求设计上,而不是重复的造*,编码、改bug、手动测试。因此在科技改变生活的今天,学会使用AI工具成为程序员们的必备技能。 以全栈式全自动的软件开发工具飞算SoFlu软件机器人为例,作为全球首款面向微服务架构设计和最佳实践的软件机器人,SoFlu软件机器人改变了原来手工编码的作业模式,通过可视化拖拽方式以及参数配置就能实现等同于编写复杂代码的业务逻辑,在设计业务逻辑时就完成了微服务应用开发,做到“业务即图,图即代码”,实现“软件开发,十倍提效”。 而作为飞算SoFlu软件机器人的一个重要组成部分,FuncGPT(慧函数)支持所有类型函数创建。通过自然语言描述Java函数需求,实时生成高质量、高可读性的Java函数代码。生成代码可直接复制到IDEA,或一键导入Java全自动开发工具函数库。 FuncGPT(慧函数)具有五大核心能力: ● 自然语言:通过自然语言即可生成函数,降低软件开发门槛。 ● 秒级函数开发:全自动秒级开发函数,秒级完成,效率千倍提升。 ● 一站式函数开发应用:函数生成即可直接应用,效率、安全有保障。 ● 质量可靠:生成的函数代码符合业界规范、具备良好的可读性,符合最优解。 ● 灵活生成:可以根据开发人员的具体需求生成并支持调整和修改。 以“将文件流转换为File对象”这个需求为例,以下是FuncGPT(慧函数)秒级生成的代码: / 类名:FileConverter // 函数名:convertStreamToFile // 函数功能:将文件流转换为File对象 // POM依赖包:无 import java.io.File; import java.io.FileOutputStream; import java.io.IOException; import java.io.InputStream; public class FileConverter { /** * 将文件流转换为File对象 * @param inputStream 文件流 * @param filePath 文件路径 * @param fileName 文件名 * @return 转换后的File对象 * @throws IOException 如果发生I/O异常 */ public static File convertStreamToFile(InputStream inputStream, String filePath, String fileName) throws IOException { File file = new File(filePath + File.separator + fileName); // 创建File对象 try (FileOutputStream outputStream = new FileOutputStream(file)) { // 创建文件输出流 byte buffer = new byte[1024]; int bytesRead; while ((bytesRead = inputStream.read(buffer)) != -1) { // 从文件流读取数据并写入文件 outputStream.write(buffer, 0, bytesRead); } } return file; // 返回转换后的File对象 } } // 函数示例 // 将文件流转换为File对象示例 // 入参:inputStream,文件流 // 入参:filePath,文件路径 // 入参:fileName,文件名 // 出参:file,转换后的File对象 // 调用示例: // InputStream inputStream = new FileInputStream("example.txt"); // String filePath = "C:\\Users\\User\\Documents"; // String fileName = "example.txt"; // File file = FileConverter.convertStreamToFile(inputStream, filePath, fileName); // System.out.println(file.getAbsolutePath); // 输出结果:例如,将文件流转换为File对象后,文件的绝对路径为:C:\Users\User\Documents\example.txt // 则输出结果为:C:\Users\User\Documents\example.txt 通过分析,不难发现以上代码:
-
位、字节、WORD、DWORD 的区别和联系 - Unicode 和 ANSI 的区别就像输入法中 "全宽 "和 "半宽 "的区别一样。 由于不同的 ANSI 编码有不同的标准(不同的字符集),对于给定的多字节字符串,我们必须知道它使用的是哪种字符集,才能知道它包含哪些 "字符"。对于 UNICODE 字符串来说,无论环境如何,它所代表的 "字符 "内容始终是相同的。Unicode 有一个统一的标准,定义了世界上大多数字符的编码,因此拉丁文、数字、简体中文、繁体中文和日文都可以存储在一个编码中。统一码是一个统一的标准,定义了世界上大多数字符的编码。 比特(Bit)和字节(Byte)的区别:例如USB2.0 标准接口的传输速率为 480Mbps,有一些人误认为是每秒 480 兆比特,同样网络带宽为 2MB,就容易误认为是每秒 2 兆比特。其实,480Mbps 应该是 480 兆比特/秒或 480 兆字节/秒,它等于 "60 兆字节/秒";同样,2MB,应该是 256 兆字节/秒。 Bit 和 Byte 译为 "比特",都是数据计量单位,比特="位 "或 "比特"。 Byte = 字节,即 1byte = 8bits,两者的换算关系为 1:8。 Mbps = mega bits per second(兆位/秒)是速率单位,因此 2M 带宽应为 2 兆位/秒,即 2MBps。MB = 兆字节(Megabytes,兆字节)是单位量,1MB/S(兆字节/秒)= 8MBPS(兆字节/秒)。 通常所说的硬盘容量是指 40GB、80GB、100GB,其中的 B 是指 Byte 也称为 "字节"。 1 KB=1024 字节 1 MB=1024 KB=1024*1024 字节 1 GB=1024 MB=1024*1024*1024 字节 例如,以前所谓的 56KB MODEM 转换过来的 56KBps 除以 8 就是 7Kbyte,所以真正从网上下载文件存在硬盘上的速度也是每秒 7Kbyte;也就是说,用 B 表示传输速度一般指 Bit;用 B 表示容量一般指 Byte。比特、字节、WORD、DWORD 的本质。
-
前端和后端协调的低代码开发--APICloud Studio 3 API 管理工具与数据云 3.0 结合使用教程
-
基于 Java、SpringBoot、Vue、Python 爬虫、Hadoop 大数据旅行推荐管理系统
-
删除系统中多余的财务和贸易数据
-
客户关系管理系统的好处:提高客户满意度和业绩