【御数经验谈】电信大数据质量管控要素浅谈

背景说明移动互联时代，人们可以通过智能机、个人电脑等各种终端设备，随时随地浏览网页，上传或下载、发布或共享图...

移动互联时代，人们可以通过智能机、个人电脑等各种终端设备，随时随地浏览网页，上传或下载、发布或共享图片、视频、音频、文本等各种多媒体文件，大量移动互联网用户的点击量、浏览轨迹、日志、图片、视频、音频等多媒体信息都会被记录，随着时间的推移，这些庞大的、复杂的、多样的数据为跟踪用户轨迹、分析用户喜好等提供了数据基础，从而满足精准用户画像、精准用户营销的市场需求。海量积累对企业数据存储和管理，并从数据中提取有价值信息提出了巨大挑战。

数据质量是有效分析和利用大数据的前提，是大数据产生跨区域、跨行业的价值保障。电信运营商在客户发展、存量客户保有、移动互联网市场布局同样面临着如何利用电信大数据深挖数据价值，支撑企业精细化运营的压力。大数据时代要求下的电信数据质量重要性不言而喻，首先：电信相对其他行业信息化程度更高，其所需存储、处理的数据量惊人，数据来源和数据结构繁多复杂，为大数据的分析和应用带来很多挑战。其次：电信要想充分发挥大数据所赋予的机遇和优势，前提是必须拥有可靠、准确、及时的高质量数据，只有从高质量的数据中提取有价值的信息，才能做出更加精准、更加符合市场和客户需求的决策。

本文重点从组织、管理、制度及流程等视角讨论如何有效开展数据管理工作，保障成果落地，从而全面提升企业数据质量。如引言中所提到的，电信的数据来源和结构繁多复杂，系统间数据冗余、数据不一致情况突出，从质量提升目标来看，核心应重点关注数据一致性、数据可靠性、数据完整性、数据标准、数据安全等，通过数据管理强化标准及监管机制，构建企业数据质量管理体系，提升企业数据管理能力。从数据治理在国内外的成功实践可看出，成功的数据管理都离不开企业高层管理者的重视和支持。电信行业数据质量管控也不例外，只有得到了企业高层管理者的高度重视，数据质量体系规划、管控措施等才能得到大力推动，以此有效保障大数据质量的各项规章制度顺利贯彻和落实。如果缺少高层管理者的支持，企业对大数据质量管理重视程度就会有所降低，大数据质量管理工作措施、规章制度、流程管控等就无法得到全面、有效的保证及落实，从而大大的影响了大数据价值的发挥，不利于企业竞争能力的提升。

因此，电信企业应该在高层管理人员的领导和带领下，加强大数据质量意识，建立以执行、管理、决策为导向的数据质量管控组织，制定组织管理目标，建立数据质量管控关键角色岗位，明确人员组成，保证数据质量管控工作通过组织有效推进落实。数据是企业基础战略资源。提升数据质量，一方面有利于保障企业各项业务规范、稳定运行；另一方面，为落实企业科学决策和透明化管控提供了重要保障。从数据质量管理体系建设、数据生命周期管理，建设数据标准体系三个方面，明确企业数据质量管控工作目标、工作组织与职责、工作内容，有效提升数据质量完整性、规范性、准确性以及数据的一致性，保障数据质量管控工作有效开展。

数据质量是基础，制定数据质量管理框架，从政策依据、制度指导、流程细则三个方面，识别主数据、重点关注系统间数据协同，以数据完整性、规范性、准确性、数据一致性为数据质量管控工作目标，打破部门间、系统间数据质量管控工作壁垒，建立横纵双向数据质量管控机制；构建数据质量问题从主动识别、有效管控到绩效考核兼顾的端到端管理机制，优化部门间数据质量管控流程，结合组织管理保障强化部门各阶段数据管控职责。

大数据是企业决策的基础，但是冗余数据、错误数据不会对企业产生任何益处反而增加企业数据管理成本，浪费企业存储资源。从建立基础数据标准加强电信主数据管理，建立指标数据标准加强电信业务数据管理规范两方面构建电信数据标准体系，在数据标准体系规划、数据标准制定、标准执行、标准监控及管理机制方面确保数据标准化工作有效推进，有效支撑数据质量管控工作可持续开展及长远发展。

数据量大、数据增长速度快、数据多样性是大数据的主要特点，如来自移动电话的通信数据、GPS定位数据、语音、网络点击数据、网络浏览图片、视频等，数据多样性及复杂度对数据存储及数据处理提出了很高的要求，建立围绕数据采集、数据录入、数据存储、数据迁移、数据使用、数据废弃的全生命周期管理机制、规范各类应用系统数据生命周期管理机制、优化存储结构、减少系统资源浪费，提高系统运行的整体效率和效果刻不容缓。开展电信内部数据质量管控工作，搜集业务部门数据质量热点问题，根据组织保障，依据数据质量管控制度，制定数据质量管理策略，从理论指导和工具支撑两方面提供数据质量问题解决方案或数据质量检测IT支撑，建立数据质量认责机制，从数据使用，数据所有，数据管理，数据开发4个维度分别明确各业务部门、厂商角色职责，全面提升数据监控，提高数据质量问题处理时效性，同时提高数据质量问题处理规范性，形成数据质量知识库，保证数据质量管理规范相关制度能有效执行。结合电信业务及数据管控要求，制定可实施的管理办法，从需求管理过程、数据质量管理规范、数据模型管理规范、元数据管理规范、数据标准管理规范，数据生命周期管理规范几方面规避因数据管理不一致而引起的数据质量问题。

标准规范制定的关键是充分尊重公司业务数据的个性化，广泛听取包括一线人员在内的意见，要实现标准的可用及好用，不能仅由少数专家确定，通过搜集意见、归纳总结的方法实现标准规范制定。如：针对电信业务订购数据标准化，首先需搜集各分公司业务订购数据段构成，各相关维度字段的取值及含义，再次归纳总结分析共性字段构成和个性字段构成，分析共性维度取值及个性化维度取值，最后根据已有总结的字段构建及结合业务专家意见综合未来业务应用需要，制定业务订购数据标准规范。结合大数据分析建立的应用能够为企业提供更准确的预测信息、更好的决策基础以及更精准的干预政策，帮助企业占领市场先机，然而如果数据质量不高，所有的一切都将只是空中楼阁。除了科学的组织保障、完善的制度指导，还需要信息化的IT支撑，帮助企业主动识别，有效预警，提高数据质量问题处理效率。

提高企业数据质量问题主动识别及预警机制，提供包括数据质量规则校验、数据加载校验在内的数据清洗、数据转换，实现对冗余数据、不规则数据的清洗及转换处理；提供数据质量监控及告警机制，便于维护人员及时识别、精准定位数据质量问题，提高数据质量问题处理效率。

建立数据标准管理平台，从标准执行、标准监控、标准维护三个方面，监控数据标准落地情况。配套数据标准绩效考核，为数据标准在企业内部执行提供落地保障。

大数据是 IT 领域重大的技术变革，在过去数据规模较小的情况下，关系型数据库就能满足企业数据存储的需要，但是在大数据时代，电信数据量发展迅猛，不仅包含结构化数据，还有越来越多的非结构化的数据，且随着技术的发展、市场的需求，越来越多的新数据会不断接入的电信IT系统数据库中，建立IT化的数据生命周期管理平台，从数据存储、数据变更、数据发布、数据归档下线层面一方面实现企业对数据的全生命周期监控，另一方面也可根据不同数据制定不同管理策略，最大化发挥电信数据价值。数据质量是数据分析和数据变现的基础。数据质量问题带来了数据不可信，直接导致了数据价值低；企业没有准确数据，不但无法进行正常业务的使用，更不利于企业做出正确的企业决策。高质量的数据是企业业务创新的关键，大数据时代无论是数据变现实现数据价值，还是大数据分析支撑企业决策，一切依赖数据，数据是基础，质量是关键。

作者简介

王宁，御数坊咨询顾问，信息工程大学。主要从事BI、数据治理、数据质量等咨询工作，先后为电信，电网等行业提供数据治理相关项目的咨询工作。

    关注 御数坊