傅一平|数据治理的真经

傅一平|数据治理的真经

数据治理直接成就业务很难,而企业数据一致性的数据治理是我认为最接近业务的一次,因此叫取了数据治理的“真经”。

我们做这次企业数据一致性治理主要有四个旅程碑,体现了做企业数据治理的主要工作,分别是:

1、明确工作的总体思路

2、完成问题分析和汇报

3、督促各部门进行整改

4、做好常态化运营工作

接下来,我将以PPT的形式展示这些里程碑的主要成果,呈现我们在本次数据治理中的完整历程,希望能为大家提供有益的启示。

阶段一、明确工作的总体思路

此次汇报旨在向领导阐明企业数据一致性工作的总体思路,包括业务背景、工作思路和具体计划等。

1、业务背景

此次企业数据治理需求直接源于管理层,即跨领域数据不一致所导致的经营风险。这为我们的数据治理工作奠定了高起点,获得了公司的高度重视。

2、总体思路

领导特别指定由数据治理团队来统筹推进此项工作,因为我们已构建起了企业级数据治理体系,无论是在顶层设计、组织保障、流程运营还是平台建设等方面,都具备了良好的基础,例如数据责任人制度等,这是一个很高的起点。

我对做成这个事情是有信心的,虽然它是一个跨多个部门的课题,但只要解决了顶层设计的问题,对于学习型团队,业务、技术和数据都不是事,这与3-4年前刚开始推行数据治理时的畏难情绪已有天壤之别。

3、具体举措

(1)顶层设计

此次数据治理工作引入了一些新的内容,因此在顶层设计方面进行了相应调整,包括增加了数据责任人相关职责。

(2)组织保障

要跨部门做事,一定要把工作组建立起来,理顺生产关系,这也是我最为重视的一环。仓促上马的数据治理项目往往因相关领导未达成共识,导致一线工作人员承担巨大的沟通和执行成本。我曾经较为忽视这一环节,导致许多工作推进缓慢,常会抱怨下属未提前说明,后来发现这也是自身的问题。因此,每次部署数据治理工作,我都会预判一线执行可能遇到的沟通障碍,提前与所有利益相关方进行沟通。

(3)流程运营

数据治理绝非一蹴而就,后续必须形成PDCA的闭环运营,每一步都要扎实推进,因此特意写了这页PPT。

问题发现环节,我们希望能形成常态化的业务问题搜集机制,大家在碰到数据一致性问题的时候,第一时间就能想到我们数据治理团队,这样业务驱动的问题就解决了。

问题诊断环节,应由数据治理团队牵头,融通各方数据,分析业务问题,协同各部门确认问题根因。这一环节对数据治理团队的业务能力要求极高,也最为耗时。

优化改进环节,就是要基于问题诊断的结果给出改进举措,这个环节主要是协同各部门确认责任,并要各方给出时间计划。这一环节往往也是向公司领导汇报的关键节点,涉及责任分配和资源需求。

运营监控环节,主要是基于前期诊断分析得出的不一致数据稽核规则,形成监控、预警和修复的闭环体系,确保建立长效机制。

(4)平台支撑

构建数据不一致平台旨在维护数据不一致的稽核策略和规则,实现监控、预警和修复流程的自动化,降低运营成本。

4、工作计划

我们要向公司表明企业数据一致性问题是个系统性问题,要做的事情很多,无法一蹴而就,因此给出了一个三年的规划,2023年解决重要而紧急的问题,包括X等关键业务的数据一致性问题,2024年扩大业务范围并自动化整个过程,2025年以后希望能带来额外的业务价值。

在这次汇报中,我们还明确了先行启动公司最为关注的X业务数据一致性治理工作

阶段二、完成问题分析和汇报

根据第一次会议要求,我们花了一个月时间对X业务数据不一致情况进行了分析,得到了初步的结论,这次主要汇报问题分析进展和解决建议。

1、现状分析-业务发展情况

我们首先对X业务本身的重要性进行说明,让领导知道做这次数据治理的价值。很多数据治理工作价值不显性化,就是选择的业务太小了,因此要尽量优先选择公司战略性、现金流业务。

2、现状分析-业务流程现状

跨域系统间的交互环节是产生数据不一致的高危风险点,因此一定要对跨领域的长流程先进行分析,精准的定位问题所在,而其中理解业务流程、业务活动和相关角色是最关键的。我们的团队把这个流程的细节搞清楚,花了至少2个礼拜时间,用流程图是为了让领导直观理解问题根子所在。

3、现状分析-数据不一致情况

为了核实问题,我们先要融通各方不一致数据,然后统一比对,给出实际差异。这种融通工作对于我们并不是难事,因为有企业级数据治理体系的保障,大家都愿意直接开放数据接口。但有些企业不一定能做到,往往是双方各自统计,自说自话,一来一回反复拉扯,没有持续性可言。整改一段时间后,问题重现。我们希望尽快给出实际差异数据,看是否跟最初暴露的问题数据相吻合。有时候业务问题暴露的时候是这个数据,但经过实际数据分析发现可能言过其实或者更加严重,这些都需要通过重新获取数据来证实的。各方须就问题涉及的不一致数据量和严重程度达成共识,这是数据分析的起点。

4、原因分析-结果总览

整个数据分析过程相当漫长,我们需要对不一致的清单数据逐一核实,找出每条记录不一致的原因,并对这些原因进行分门别类。仅内部汇报就多达5次,而且极度依赖相关部门的配合。

报告最终给老板呈现的时候,则是非常简洁的,下图是我们经过1个月的分析后给出的根因表,包括不一致的原因,数量等等,大家看表一目了然。分析过程再曲折万分,但结果一定要是非常直接。

5、原因分析-详细情况

基于总分结构,需要对以上列出的每个原因给出详细描述、业务影响评估、建议优化措施及责任部门等等。业务影响评估是让老板知道由于不一致导致的收入损失或者成本提升到底有多少,这是老板决策的重要依据。

优化措施则是相关责任部门给出的解决方案,往往需要经过多次研讨才能确定,有些还需要上会决策。以下示例了部分内容:

6、后续工作计划

最后,需要根据数据不一致原因分析结果,明确责任方和整改时间计划,如下表所示。

可以看到,X业务的数据不一致主要从五个方面来进行优化:

  • 业务流程优化:主要解决由于业务处理规则不明确导致的不一致,如双方测试流程不规范。
  • 数据标准确定:主要解决双方数据标准不统一导致的不一致,如速率的计算方式不同。
  • 系统功能优化:主要解决系统功能BUG导致的不一致,如实例未及时更新订购表数据。
  • 存量数据修复:主要是明确主数据,然后对多方存量的不一致数据进行修复。
  • 取数口径统一:主要是对后续双方取数的口径进行统一,降低沟通成本。

这是数据分析后最重要的工作,没有这临门一脚,数据分析的价值等于0。阶段三、督促各部门进行整改在第二次汇报完毕后,各部门需要按照汇报的结果分头开展整改工作,数据治理团队主要做好整体统筹推进,最主要的工作就是协调各方就具体方案达成共识,解决执行中的各种问题,汇总通报各方进展,并适时推动上会。下面是一个通报邮件的示例:

X业务数据不一致后续涉及到业务流程优化、系统功能优化、数据修复等五大类19项优化工作,本周新增完成1项优化,累计已完成6项优化工作,具体进展情况如下:一、本周新增完成1、针对预办理业务带宽数据提前送C系统的数据进行修复:经与X部沟通,此部分数据目前修复会对客户感知造成影响,因此明确不再修复。二、本周推进中工作1、速率标准不同数据修复(责任方:A、C部门):预计X部下周提交修复清单后修复。2、针对在途工单一致性审计取数口径优化(A部门):已梳理A和C部门保持一致的口径方案,待下周发各方评审。3、建立常态化监控修复机制(A部门):常态化稽核监控和修复流程方案梳理中,待下周发各方评审。4、针对存量的A系统带宽实例未更新的数据进行修复(A部门):已完成XX条存量数据的修复,待A系统优化程序上线之后,将二次对数据进行核实和修复。各项工作的详细进展请见在线文档:https://docs.qq.com/XXXX

在这之后,我们又分2次向公司领导汇报了X业务的数据一致性治理进展,直到问题基本解决。在这期间还同步推进了其他两个专题的治理,下面是针对三个专题做的总结汇报的一页。

阶段四、做好常态化运营工作

为确保数据一致性治理工作取得实效,我们一方面开始落实常态化运营工作,包括:

  • 建立与各系统的自动化接口
  • 构建一套监控报表指标体系
  • 对不一致情况进行监控预警
  • 督促和推动各部门持续优化

通过这种循环迭代的方式,我们能够巩固数据治理成果。另一方面,我们计划将企业数据一致性治理平台纳入下一年度的投资建设计划,从而推进整个运营流程的自动化。希望于你有所启示。

文章来源:与数据同行微信公众号

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注