数据是组织最重要的资产
ruby | 如何进行数据资产盘点?

ruby | 如何进行数据资产盘点?

摘要:在当今数字化时代,数据被认为是企业最宝贵的资产之一。而要实现对数据的有效管理和利用,建立一个清晰的数据资产目录是至关重要的。本文将介绍一些有效的方法,帮助企业进行数据资产目录的梳理,以实现精准管理。主要包括如下内容:

  • 为什么要梳理数据资产目录?
  • 如何构建数字资产目录?
  • 数据治理工具如何承载数据资产目录?

01 为什么要梳理数据资产目录?

没有数据资产目录会有哪些问题?

没有数据资产目录管理工作的支撑会导致许多问题:

1、数据消费者将不知道组织内有哪些数据可用,也无法联系到相应的数据负责人。

2、数据中心可能存在大量数据,但缺乏整体数据蓝图和有效的指引,使得寻找有意义的数据只能依靠人工经验进行指引。

3、组织内可能存在多个数据源,缺乏统一的途径来准确识别数据源。

4、没有适当的流程来请求和获取目标数据,数据消费者将难以使用数据。

5、数据可能分散存储和多次更新,导致数据冗余增长,需要不断扩容和维护能力提升,并且成本不断上升。

数据资产目录的价值

梳理数据资产目录的目的是为了实现精准管理和有效利用企业的数据资产。以下是梳理数据资产目录的重要原因:

1.了解数据资产:通过梳理数据资产目录,企业能够全面了解自身所拥有的数据资产。这包括数据的来源、类型、格式、质量等信息。了解数据资产的情况有助于企业更好地评估其价值和潜在用途。

2.提高数据可用性和可访问性:一个清晰的数据资产目录有助于数据的组织和管理。通过分类和命名规范,企业内部的相关人员能够快速找到所需的数据,提高数据的可用性和可访问性。这样,企业能够更高效地利用数据进行业务决策和创新。

3.支持决策和创新:准确、可靠的数据资产目录提供了基础数据的透明性和可信度。这使企业内部的决策者能够更有信心地基于数据进行决策,并在市场竞争中获得优势。此外,数据资产目录也为创新提供了基础,使企业能够基于现有数据资产进行新的洞察和发现。

4.管理数据风险:数据资产目录有助于企业更好地管理数据风险。通过清晰地了解数据资产的特征和质量,企业能够更准确地评估数据的可靠性和合规性。这有助于企业遵循合规要求,降低与数据相关的法律、道德和安全风险。

总之,梳理数据资产目录的目的是为了实现精准管理和有效利用企业的数据资产。通过清晰地了解数据资产、提高数据可用性和可访问性、支持决策和创新,以及管理数据风险,企业能够更好地利用数据为业务增长和竞争优势提供支持。

02 如何构建数据资产目录?

资产目录的构建

数据资产目录的建设分为四个环节,包含准备阶段、数据资源盘点与构建、资产发布、资产运营。其中,前三个环节为数据资产目录的构建过程、最后一个环节为数据资产目录的使用和管理过程。如下图:

– 准备阶段

准备阶段,在精益数据治理的过程中,首先是进行数据应用场景的分析,形成资产蓝图。

基于资产蓝图,确定数据资产的分类,是按照业务视角对企业数据资产的梳理和分解,例如:数据域-数据主题-数据子主题-数据对象,(注:三级目录不限于三级,但一般建议控制在五级之内为宜)。

例如作为营销分析的数据,数据域为营销域,根据分析的目的具体分为产品分析,转化分析,体验分析、粘性分析等,划分不同的数据主题,再根据分析详细的具体维度划分为数据子主题,例如产品分析分为不同产品类型的产品分析,可以分为不同品类的子主题。

同时需要建立这些数据资产的数据标准。便于后期进行资产构建的时候标准化。

– 数据资源盘点和构建

在这个阶段,主要是进行元数据的采集,可以通过元数据的采集,获取整体数据资源的盘点,了解整体数据资源是图。

此时获取的数据资源是为经过治理的原始数据资源,需要通过数据标准进行批量的对比,通过质量规则进行定期的校验,符合标准的数据资源则可以进行资产的构建过程。不满足的数据标准的可以进行元数据的修订等,进行元数据的基本信息的补齐。

– 资产发布

在这个阶段,通过之前定义的数据域-主题域-子主题域,建立数据资产目录,如果在目录的基础上还需要定义数据是什么可以通过数据标签的方式,对数据进行打标签。

创建好资产目录和数据标签之后,将标准化后的数据资源挂载到固定的资产目录和数据标签下,同时数据资产目录可以在数据市场展示,也可以通过搜索的方式检索数据资产。

– 资产运营

在这个阶段,通过发布出来的资产,应用到具体的应用场景,由场景进一步反馈数据质量,以及其它数据需求。通过逐步的数据治理,将更多的数据资源变成数据资产,提升数据共享使用率。发挥数据价值。

数据资产目录应用:构建好数据资源目录后,需要进一步体现数据资产的价值,对于库表、文件等常见数据资产,可以开放数据查询、下载、交换、分析以及API服务。资产的价值在于向数据消费者的提供各类数据,资源管理者可以通过构建数据资产服务门户, 满足不同消费者的服务需要,也便于对资产的持续管理。

03 数据治理工具如何承载数据资产目录?

数据资产目录管理已经变成了数据治理工作中不可或缺的一个环节,建设数据资产目录除了需要相应的组织和机制支撑,当然也离不开技术工具支持。

1、元数据采集:收集和记录数据资产的元数据信息,包括数据的来源、格式、结构、含义等。

2、元数据列表和修改:提供一个可视化的列表界面,展示所有的元数据信息,并支持对元数据进行修改和更新。

3、资产目录:建立一个层次化的分类目录结构,以便组织和管理所有的数据资产。用户可以通过目录浏览方式快速定位所需的数据资产。

4、数据标签:为数据资产添加标签和关键词,以便快速搜索和过滤数据资产。标签可以基于数据的内容、用途、所涉及的业务领域等进行分类。

5、资产发布:提供发布和分享数据资产的功能,允许授权用户进行数据共享,同时设置权限和访问控制,确保数据的安全性和隐私保护。

6、数据标准:制定和维护数据规范和标准,包括数据命名规则、数据格式规范、数据编码规范等,以确保数据的一致性和可查询性。

7、数据质量:监控和评估数据的质量,包括数据准确性、完整性、一致性等指标,提供数据质量报告和数据质量度量工具。

8、数据安全:确保数据的安全性和合规性,包括数据访问权限控制、数据加密、数据备份和恢复等安全措施,保护数据免受未经授权的访问和不当使用。

这些功能模块可以相互关联和互动,共同构建一个完整和高效的数据资产目录,帮助组织更好地管理和利用数据资产。

数据资产运营需要的功能模块主要包括:

1、数据市场:数据市场是一个平台,用于将数据供应商与数据消费者进行连接,数据供应商可以在这个平台上发布自己的数据资产,而数据消费者可以在平台上搜索、浏览并购买适合自己需求的数据。

2、数据探索:数据探索功能模块允许用户在数据资产目录中进行搜索、浏览和发现数据资源。用户可以根据关键字、数据类型、数据提供商等多个维度进行搜索,并获得与其查询条件相关的数据结果。

3、数据地图:数据地图帮助用户可视化地了解数据资产的位置和关系。通过数据地图,用户可以清晰地了解数据资源的组织结构、依赖关系和数据流动情况,从而更好地理解数据的价值和可用性。

4、数据共享(API/数据同步):数据共享功能模块提供了各种方式来实现数据的共享,包括API接口和数据同步等。数据供应商可以通过API接口将数据分享给其他系统和应用程序,而数据同步则可以保持数据的实时或定期同步更新,从而实现数据共享和数据流动。

这些功能模块可以帮助组织有效管理数据资产,提高数据的可发现性、可访问性和可重用性,从而推动数据资产的价值最大化和数据驱动的决策。

在建设和运营数据资产目录时,确实需要具备长线思维并协调业务与技术人员的参与。下面是一些关键点,可以帮助企业成功实施和落地数据资产目录:

1、定义明确的目标和愿景:明确企业希望通过数据资产目录实现的目标和价值,并激励团队共同努力。这有助于为整个过程建立长期的思维框架,并持续推动创新和改进。

2、跨职能团队合作:组织一个跨职能的团队,包括业务和技术人员,他们共同参与目录的建设和运营过程。业务人员了解数据的价值和需求,而技术人员则负责实施和维护目录。这种合作有助于确保业务需求与技术实现之间的对齐,并促进长期的持续改进。

3、持续迭代和创新:数据资产目录需要与企业的业务需求保持同步。通过持续迭代和创新,基于实际需求和反馈进行调整和改进,以确保目录的长期可用性和价值。

4、落地执行和输出价值:确保目录的实际执行和输出价值,而不仅仅是一个理念或框架。为数据资产目录设定指标和关键绩效指标,评估其运行和效果,并及时调整和改进。这有助于保持团队的动力和推动力,并确保目录真正发挥价值。

总之,对于数据资产目录的建设和运营来说,持续的长线思维、协调的团队合作、持续的迭代创新以及落地执行和输出价值是非常重要的。这将有助于企业在数据驱动的时代中保持竞争优势并实现持续增长。

文章来源:“ruby的数据漫谈”微信公众号

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注