在这篇博文中,我想挑战一个根深蒂固的关于数据质量和主数据管理的概念。
我与技术专业人员进行过很多次对话,希望在他们的组织中实现MDM。在最初的对话中,首先提出的问题是一个复杂的问题,伪装成一个简单的问题——我如何从干净的数据开始?
听:如果你试图开始你的主数据实现与清理大师数据-你永远不会开始!
相反,您需要接受两个基本数据管理的基本现实。首先,您的主数据没有明确的权威来源(如果有的话,你不会有问题)。第二:数据质量是“房屋前面”的工作。IT部门可以在其工具箱中具有数据集成,数据分析,第三方参考数据和匹配算法,但它们只能做得那么多。IT工具是后台工具,它在阴影中发生IT数据清理。当他们弄错了时,他们会得到非常错误的,全面错误(并且解释很难理解)。
这个事件序列很简单,使业务能够获得所有权,并提供了一条清晰的起步路径。
- 容纳您的数据——为了让业务人员管理和管理他们自己的数据——他们需要用自己的眼睛去看它,他们需要看到所有的数据,甚至是他们不喜欢的数据。为了做到这一点,你必须:
- 在MDM集线器中的数据和其源之间的数据之间保持明确的关系 - 不要试图减少记录量。联邦方法对MDM做得最好。
- 将合理化/映射降到最低——避免在加载数据时清理数据。如果MDM工具集已经准备好为您轻松地完成这些工作,那么在ETL代码中完成这些工作是很浪费的。
- 采取“顺其自然”的方法——避免在项目的这个阶段对数据进行限制,因为这只会使数据远离您的系统。我们想要输入数据。
- 建立治理一旦你将所有的数据加载到一个联邦数据模型中,你就有机会开始解决这些差距
- 首先,进行一些基线测量。你的数据有多不完整?
- 接下来,开始开发可以在MDM Hub中实施的规则。这些规则应该是业务用户能够理解的。理想情况下,您的工具集将规则集成到管理体验中,这样在中心声明的规则就可以随时供它们使用。一旦您有了一个健康的规则体,验证数据并采取另一个基线度量
- 现在,您的数据管理团队可以上班,您将有真正的指标与您正在进行数据遵从性的进展。
- 提升您的数据 - MDM Toolsets自动化改进来自不同系统的主数据的过程。他们以三种方式做到这一点:
- 标准化您的数据 - MDM工具有助于数据管制建立标准并检查数据
- 比赛您的数据- MDM工具可以帮助数据管理员从多个系统中找到类似的记录,并建立记录集群的分组。这个团队成为了“黄金唱片”——没有一个消息来源可以成为老板!
- 协调您的数据- MDM工具可以帮助数据管理员决定哪些源是最权威的,并可以自动协调分组中的数据
那些一开始使用MDM的方法是“清理数据并保持数据干净”的组织,往往连开始都做不到。或者更糟的是,他们花费大量时间和金钱要求IT部门清理数据,然后在6个月后放弃项目。清洁,然后加载是错误的顺序:翻转的脚本并坚持这些原则。
- 设计一个联合MDM数据模型,简化主数据的身份管理。
- 确定主数据的位置,并理解最初希望治理的属性。
- 将主数据带入源系统中存在。
- 删除加载数据的限制。
- 建立一些基线测量。
- 设计你最初的规则集。
- 使用MDM管理工具自动化标准化,匹配和协调。