事实表明糟糕的数据将会扼杀优秀的人工智能

本文介绍了有助于确保企业的人工智能系统不会由于数据质量问题而受到阻碍的五个规则数据科学家指出，数据准备对于任何一个人工智能系统的成功都至关重要即使是最好最复杂的分析技术采用低质量集成度低设计草率或基本上不相关的数据，最终的结果也是不可靠的

分析和探讨人工智能和机器学习用途的文章有很多，但关于人工智能系统基础高质量的数据的文章则很少以下介绍有助于确保企业的人工智能系统不会由于数据质量问题而受到阻碍的五个规则有些企业很难知道哪些数据对其业务重要，所以使用尽可能多的数据构建人工智能系统，人们会发现重要的见解隐藏在其中但是，企业的人工智能系统采用大量无关或糟糕的数据，最终将面临失败一篇名为机器学习系统中隐藏的技术债务的文章指出，未充分利用的数据提供很少或没有增量收益的数据，将使人工智能系统受到不利的影响，其后果有时是灾难性的剔除无关数据使人工智能系统更易于测试运行扩展和维护

企业遇到的问题是哪些数据子集是包含所有或几乎所有信号的精简数据集？这可能不容易确定有一些数据科学技术可以确定特定数据功能的重要性，但它们不一定能说明全部情况虽然有些数据可能非常重要，但仅限于某些情况或者一些数据可能只有在与其他数据结合使用时才重要弄清楚使用哪些数据以及要消除哪些数据是一个棘手但关键的步骤，在企业急于实现人工智能的过程中，这一步常常被忽略在设计人工智能解决方案的原型或创建实验时，数据通常有着不同的来源数据集成和准备可能是临时的，只要人工智能系统做好了准备，企业就可以利用适合其目的的所有自动化和控制来实现特定的流程工业实力

在某些情况下，人工智能开发人员从更加简单便捷的来源获取数据，但这不一定是最好的来源例如在一个案例中，开发了一个来自未经协调和处理的数据模型，其结果证明该模型与公布的财务数据完全不一致对于概念证明，这样的错误可能是可以接受的但在实施之前，其数据应该来自支持良好的平台，这些平台需要具有控制能力强可靠性和可用性高的特点

通常情况下，必须将来自不同来源的数据汇集在一起，然后为采用人工智能的目的进行整合和组合考虑这些组合来自不同系统的客户数据产品数据和交易数据将这些数据放在一起进行建模是一个重要的步骤这可能会以快速的方式进行实验，但在实施之前，需要对流程进行适当的设计和测试

然而在设计良好的人工智能系统之前，允许使用实验人工智能系统的诱惑是强烈的，必须加以抵制当然，只是定期使用的人工智能(例如用于月度报告)可能需要更少的数据，以便在业务运营中持续使用人工智能的高风险使用(例如损失预测信贷批准欺诈检测)比低风险使用(例如营销活动客户细分潜在客户优先级)要求更严格在商业环境中，完美的数据是罕见的因此，不可避免地存在需要修补数据中的漏洞需要清理的数据中的错误或需要在使用前解决不一致的问题

数据达到100%准确率的成本可能很高，有时甚至无法实现但在某些情况下则要求完全准确，例如使用人工智能来预测贷款损失，那么其记录贷款损失的历史数据最好是100%完整的但对于欺诈检测模型来说，如果额外的2%的数据会阻碍模型的实施，那么达到98%的准确率就足够了，这将为企业减少大量欺诈损失对于市场营销而言，85%的准确率已经足够了

企业需要决定数据质量良好的程度但需记住的是，这是一把双刃剑建立在低质量数据上的人工智能系统最终在使用中变得不可靠，但也看到模型风险管理阻碍了人工智能模型的实施，因为数据质量问题影响人工智能的价值的情况令人担忧

每个用例都有所不同，在确定数据良好的过程中必须有一些步骤明确声明数据质量级别并且需要实施控制措施(例如数据质量指标)，以证明已达到阈值或在低于某些最低质量标准时发出警告更多的模型由于数据变更管理不善而失败，而不是其他原因数据中的某些意外变化或数据在某处中断，将导致人工智能会产生不可靠的结果，有时甚至非常糟糕

大多数企业都制定了数据变更管理流程这一流程旨在传达和分析数据更改的影响但人工智能系统的应用让这变得更加困难人工智能和数据管理交织在一起；数据可以影响人工智能，人工智能也可以影响数据在通常情况下，数据变更管理由企业首席数据官负责，人工智能变更管理由首席分析官负责，或者模型风险管理由首席风险官负责，而这些部门并没有充分或有效地沟通

数据变更管理和模型变更管理必须紧密联系在一起必须分析数据更改对人工智能的潜在影响，并且必须分析人工智能更改对其数据输出的消费者的潜在影响这两者都不能孤立地进行管理

还有两种方法可以处理这个问题：一种选择是将数据变更管理和模型变更管理合并在一起，但这对大多数企业来说难以做到第二种选择是制定正确的政策和程序，例如在实施之前分析数据更改对人工智能的潜在影响

为此，必须有一个完整的人工智能注册表，其中包括人工智能使用的数据信息(模型元数据)否则几乎不可能确定哪个人工智能受到数据更改的影响同样，模型风险应该是一个因素，与只影响低风险模型的数据更改相比，高风险模型将得到更严格的潜在影响分析数据的质量问题可能并不明显，而且数据流从表面上看似乎都在正常运行如果没有设计良好的警报系统，数据问题可能会被忽视例如一家银行的信用模型运行了数周时间，但在任何人意识到出现问题之前就已经丢失了关键数据

即使是细微但出乎意料的数据变化也可能导致模型性能下降更糟糕的是由于流程故障而突然丢失数据，这样的事件很常见

被忽视的数据问题比快速发现的数据问题造成的损害更大例如，证券定价错误可以通过多个系统蔓延，并且持续的时间越长，修复起来就越困难，成本也越高建立正确的警报系统，可以发现数据问题并采取行动，降低因数据处理中断而导致人工智能系统故障的风险

这需要采用正确的工具现有的应用程序监控系统通常不足以监控数据流它们甚至可能提供虚假的安全感，表明一切正常，而实际上企业的数据中存在重大漏洞或高度异常的情况企业可以从简单的数据质量指标开始，例如完整性检查(是否获得了所有数据?)和一致性检查(是否与总账或基础贷款或存款系统等记录系统相匹配?)

当出现问题时，企业需要制定故障转移计划，例如在研究和纠正错误时暂时让人工智能离线运行数据是优秀人工智能系统的重要基础数据科学家通常不会独自承担上述所有任务他们需要来自数据治理数据工程和IT团队的正确支持采用正确的控制措施，可以帮助企业避免在人工智能系统由于无法预见或未被发现的数据问题而出现的严重错误

版权声明：本文为企业网D1Net编译，转载需在文章开头注明出处为：企业网D1Net，如果不注明出处，企业网D1Net将保留追究其法律责任的权利

（来源：企业网D1Net）

如果您在企业IT网络通信行业的某一领域工作，并希望分享观点，欢迎给企业网D1Net投稿

投稿邮箱：editor@d1net.com

点击蓝色字体
关注

企业网D1net旗下信众智是CIO（首席信息官）的智力资源分享平台，也是国内最大的CIO社交平台

信众智让CIO为CIO服务，提供产品点评咨询培训猎头需求对接等服务也是国内最早的toB共享经济平台

同时，企业网D1net和超过一半的央企信息部门主管联合成立了中国企业数字化联盟，主要面向各地大型企业，提供数字化转型方面的技术政策战略战术方面的帮助和支撑

阅读原文

    关注 企业网D1net