利器双配战力加倍——使用Azure 数据工厂和数据服务打造现代数据平台

在云计算、大数据和人工智能蓬勃发展的今天，现代数据资产管理和数据价值的挖掘、再造，已成为企业高层决策者，尤其是CIO、CTO、CDO们，重点关注和实施的战略问题。

最近，中国版Azure即将发布两款数据服务利器：Azure 数据工厂（Azure Data Factory, ADF），和Azure 数据库托管实例（Azure SQL Database Managed Instance, SQL DB MI）。这是很多使用全球版Azure的客户和开发者翘首期盼的两款利器，如今正式在中国版Azure推出。

Azure 数据工厂（ADF）是基于云的数据集成服务，用于在云中创建数据驱动型工作流，以便协调和自动完成数据移动和数据转换；将复杂的混合提取-转换-加载 (ETL)、提取-加载-转换 (ELT) 和数据集成项目，部署到托管云服务平台，加快数据集成，缩短上市时间，极大提升工作效率。

中国古训：“工欲善其事，必先利其器“。

古代武士通常佩戴两把利器，一长一短，正所谓：“一寸长，一寸强；一寸短，一寸险“。从某种意义上讲，ADF正是那把长刀，威力强大，大开大阖，适合数据团队和开发者纵横攻伐；而最新发布的 Azure SQL DB MI则是Azure 数据服务（ADS）所提供的短刀中的一把，灵巧锋利，为更加适合各种工作负荷及解决某些场景挑战而精心打造。

如今，数据团队和开发者又得新的利器双配，战力得以倍增，长攻短打，所向披靡。

敲黑板

您知道吗？

在过去12个月，共有超1千万个Azure 数据工厂项目被创建。
每个月，有近5亿个活动在运行。
每个星期，PB级的数据通过Azure 数据工厂在移动。

现在，让我们一起探索一下ADF这把长刀及和其他ADS短刀配合的刀法精要吧。

ADF之“长名单”

说到ADF这把长兵器的优势，首先要提到的就是ADF所支持的一长串的连接器的名单。

数据团队和开发者首先面临的一个挑战就是各种的数据源，既有企业组织的各种现有的业务数据，例如交易数据库、LOB应用数据、海量历史数据等；也有大量的外部数据源，例如互联网上的社交数据、舆情数据、开放数据、第三方伙伴数据等。这些数据构成了众多数据孤岛，难以形成统一的数据资产集合。

而Azure 数据工厂正是一款专为各项数据需求和技能级别构建的服务，目前Azure 数据工厂目前已支持的连接器达80多个，长长的名单列表，让您能够直观集成数据源，而且这些连接器免维护、无额外费用。

而且，这个名单还在不断增长中…

敲黑板

点名了，下面有没有您熟悉，或需要打通的数据源？

ADF 之“长管道”

数据集成项目往往具有业务场景多、数据集多、处理步骤多等特点。

例如，游戏行业公司需要汇集整理在线游戏所生成的日志，这些日志包括了玩家的基本信息、游戏进度、历史成绩、装备升级等信息，进一步了解玩家偏好、行为模式、人口统计信息等。同时，也可以进一步提高向上销售和交叉销售机会，推荐新游戏或新社群，增加社交互动等，并为玩家提供更好的游戏体验。

再比如，零售行业企业需要有众多业务数据系统，例如ERP、CRM、物流等，很多数据存储在关系型数据库系统中；此外，企业还通过电商、社交媒体等互联网平台，收集整理潜在客户、商机、舆情、价格变化、商圈、竞争、地理、气候等信息，通过精准营销、个性化营销、交叉销售等手段，推动企业业务发展，更好满足客户消费体验，增强和供应链伙伴的协同运作，降低企业运作成本等。

在Azure数据工厂中，“管道”是共同执行一项任务的活动的逻辑分组。数据工厂可以包含一个或多个数据管道。例如，管道可能包含一组引入和清理日志数据的活动，然后在 HDInsight 群集上启动 Spark 作业以分析日志数据。这样做的好处是，通过管道可以将活动作为一个集来管理，而非单独管理每个活动。

管道中的活动可以定义对数据执行的操作。例如，可使用复制活动将数据从本地 SQL Server 复制到 Azure Blob 存储。然后，使用在 Azure HDInsight 群集上运行 Hive 脚本的 Hive 活动，将 Blob 存储中的数据处理/转换为生成输出数据。

最后，再使用一个复制活动将输出数据复制到 Azure SQL 数据仓库，基于该仓库构建紧商业智能 (BI) 报告解决方案。

敲黑板

如何利用Azure数据工厂的“长管道“，打造一个“端到端“的解决方案？