CIO:主数据管理那些事儿
任何一个好的MDM一定会形成一个完整有效的制度,只有这样才能真正意义上叫做主数据管理,否则即使再好的系统也将无意义...
1
什么是主数据管理(MDM)
主数据管理-或者称为管理主数据。这包括建立和维护主数据的一些管理性的应用。例如,客户数据整合(CDI,customer data integration),产品信息管理(PIM,product information management),以及用来管理类似数据主题的其他应用。
2
主数据管理的业务目的
通过对没有MDM的IT环境进行分析,我们可以很容易的理解MDM的业务目的。
分析结果可以总结为下面的四个主要问题:
1
数据冗余
没有MDM功能,企业内的每一个系统、应用、甚至业务部门都会收集自己版本的核心业务实体数据。最好的例子就是对客户数据的收集。客户的关键属性如客户名称和地址信息在企业内各个角落都被重复的记录着。非常遗憾的是,在这个收集客户信息的过程中,很少会产生相同或者一致的结果。这导致了一个很严重的问题(除了存储成本之外),数据冗余导致数据质量过差。根据The Data Warehousing Institute的一份报告(Data Quality and the Bottom Line, by Wayne Eckerson)显示,由于数据质量过差,企业每年的总共损失超过$600 billion,而且其中的大部分成本是因为冗余、低质量的主数据引起的。这也引起了下面提到的第二个主要问题。
2
数据不一致
由于企业内主数据的不一致,导致企业大量的资源浪费,包括时间、金钱和人力资源等的浪费。判断企业内一个客户的真正地址或姓名是到底什么并不能增加企业的收入。而且非常不幸的是,因为没有一个存储机制用来保存比对过的客户数据,这种对客户数据进行一致处理的过程需要重复出现。
3
业务低效
凌乱的主数据会导致各种业务低效的情况发生,如低生产力,低效的供应链管理,不一致的客户待遇,客户不满意,浪费市场部门的努力等。一个客户服务代表需要综合几个操作型系统去判断一个客户的真正状态,这不仅是低效的,而且有可能会由于信息的不全使客户产生不满意而逐渐失去这个客户。企业内的各种工作都显示出,凌乱的主数据管理严重降低了企业的效率。
4
业务变化
企业内经常发生各种变化,如引入新的产品和服务,公司合并与吞并,新技术出现并成熟。这些企业内的各种变化都会导致企业主数据的变化,如果没有一套机制来管理这些变化,企业在数据冗余、数据不一致和业务低效等方面的问题就会不断加剧。
3
主数据管理系统与数据仓库系统的关系
主数据管理系统与数据仓库系统是相辅相成的两个系统,但二者绝不是重复的,也不是互斥的。它们有很多共同之处:
- 二者对企业都具有相同的价值,可以减少数据冗余和不一致性、提升对数据的洞察力,二者都是跨部门的集中式系统;
- 二者都依赖很多相同的技术手段,都会涉及到 ETL 技术、都需要元数据管理、都强调数据质量;
- 二者建设手段类似,都需要数据治理的规范作为指导、都需要不同系统、不同部门的协作、需要统一的安全策略。
- 处理类型不同:主数据管理 (MDM) 系统是偏交易型的系统,它为各个业务系统提供联机交易服务,系统的服务对象是呼叫中心、B2C、CRM 等业务系统;而数据仓库是属于分析型的系统,面向的是分析型的应用,是在大量历史交易数据的基础上进行多维分析,系统的使用对象是各层领导和业务分析、市场销售预测人员等;
- 实时性不同:与传统的数据仓库方案的批量 ETL 方式不同,主数据管理系统在数据初始加载阶段要使用 ETL,但在后续运行中要大量依赖实时整合的方式来进行主数据的集成和同步;
- 数据量不同:数据仓库存储的是大量的历史数据和各个维度的汇总数据,可能会是海量的,而 MDM 存储的仅仅是客户和产品等信息。
4
主数据管理项目实施难点
- 业务系统需进行部分改造工作,以实现与主数据管理平台的对接
- 协调相关资源配合完成系统改造工作
- 放开系统数据库权限,由主数据管理平台直接操作系统相关数据表
- 建立系统临时表,手工完成临时表数据往正式表同步的操作。
应对策略:
- 下大力度执行历史数据清洗工作,一次性完成数据的标准化和一致性
- 建立标准数据与历史数据映射关系,逐步完成数据清洗工作。
- 设立数据断点,对于系统新产生的数据严格遵循标准,忽略历史数据
5
主数据系统实施方法论
主数据项目的本质是一个系统间针对客户信息的整合项目,根据以往的经验,大致分成基础实施、双向同步、多渠道访问、全企业采用等 4 个阶段,如下图所示
基础实施阶段
- 安装 MDM
- 完成主数据建模
- MDM 初始数据加载:根据期望的实施方法和策略,将数据从各个业务系统中抽取出来,经过清洗、转换、标准化之后加载到主数据存储库中,在这个阶段主要用到的是 ETL 的相关技术和工具。
- 使 MDM 的 700 多个业务服务能被其他系统实时连接和使用。
基础实施阶段
- 为数据集成搭建基础框架, 为企业提供了转向以客户为中心的能力和价值。
- 后续的阶段主要是在此基础上推动全企业更多的应用和系统来使用这些价值,带来更多的业务增长。
- 所以第一阶段的基础实施对企业来说是至关重要的,也是主数据管理项目能否带来业务价值的关键。
双向同步阶段
- 通过实时或批处理方式,帮助逐步实现业务系统和 MDM 系统的双向数据更新和同步。
- 这个阶段阶段主要用到的是 EAI/SOA 的相关技术和工具
多渠道访问阶段
- 整合 WCC 与已有的渠道或新的前台系统,实现多渠道访问。
- 添加新的客户数据属性和客户为中心的业务流程。
全企业采用阶段
- MDM 成为企业唯一的记录客户信息的来源,促进对客户的洞察力和了解。
- 促进全企业整合,支持端到端的业务流程。
6
主数据管理在实际应用中面临很多问题
责任与权力
主数据管理面对整个企业设定,这就需要高层领导介入负责,如果仍然是单个部门去协调其后果和没有主数据管理没区别。如果说出现数据不一致或者其他情况时,仍然需要各部门配合查找原因并解决,这同样需要领导去协调。处理流程
设计初始就应该对企业进行完整的分析,包括实施中一些流程的处理。例如当一个客户的定义发生改变时,如添加客户的属性或者删除客户的记录等问题发生时,应该以什么样的流程来进行处理。制度
任何一个好的MDM一定会形成一个完整有效的制度,只有这样才能真正意义上叫做主数据管理,否则即使再好的系统也将无意义推荐
- CIO:主数据管理(MDM)的一些概念
- CIO雷万云:主数据管理平台建设是持久战
- CIO:主数据管理(MDM)知多少
- IT版《成都》,听哭了多少人...
63846文章,6658文档,尽在ciozj.com CIO之家
CIO之家-践行,见未来
- 微信号:imciow 网站: www.ciozj.com
- CIO必备公众号 | CIO最有影响力公众号之一
关注 CIO之家
微信扫一扫关注公众号