2017大数据十大趋势

 

当然，你可以在Hadoop上执行机器学习和情绪分析，但人们常常会问的第一个问题是：交互式SQL（结构化查询语言，一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库系统）究竟有多快？毕竟，SQL相当于企业用户的“导管”——他们希望使用Hadoop数据来更快的获得可复用的BI仪表盘（一种向企业展示度量信息和关键业务指标即KPI现状的数据虚拟化工具），或者是进行一些探索性分析。

这种对速度的需求促使用户采用访问速度更快和执行效率更高的数据库，如Exasol、MemSQL，或者是类似于Kudu这种基于Hadoop的商店，当然还需要能够更快查询数据的技术。诸如SQL-on-Hadoop引擎（Apache Impala，Hive LLAP，Presto，Phoenix和Drill）和OLAP-on-Hadoop技术（AtScale，Jethro Data和Kyvos Insights）这样的数据查询加速器将进一步模糊传统数据库与大数据世界的边界。

2.大数据不再只是Hadoop

[/b]

专门基于Hadoop开发的工具已过时

3.相关组织将利用数据湖(DataLake)来实现价值

[/b]

数据湖就像一个人造水库



数据湖就像一个人造水库。首先你要建造一个水坝（构建一个集群），然后填满水（数据）。一旦建立了湖泊，你将开始因为各种目的而使用这些水资源（数据），如发电，饮用以及各种消遣（预测分析，机器学习，网络安全等）。

4.成熟的架构拒绝通用型框架

[/b]

Hadoop不再只是一个用于数据科学用例的批处理平台。

5.推动大数据投资的是数据的多样性，而不是体量和速

[/b]

Gartner将大数据定义为“三高”



Gartner将大数据定义为“三高”：高容量，高速率，高品类的信息资产。正如New Vantage Partners最近的一项调查结果所示：虽然三个特性都在凸显，但其中，多元化无疑正成为大数据投资的主导推动力。

随着企业寻求整合更多来源并关注大数据的“长尾”，这一趋势将更加明显。从自由模式的JSON到嵌入式的数据库（如关系数据库和非关系数据库），到非平面数据（如Avro，Parquet，XML），数据格式正在成倍增长，连接器变得至关重要，它将不同格式的数据变成统一的表达/它让不同格式的数据之间实现互通。在2017年，为零散的、不同的资源提供即时连接的能力，将成为评估一个平台能力的重要方面。

6.Spark和机器学习打通大数据的任督二脉

[/b]

Apache Spark曾是Hadoop生态系统的一个组件，现在正成为大数据平台企业的首选。

[b]7.物联网、云服务和大数据集结起来便是自助服务的新机遇

[/b]

在2017年，似乎一切都将有一个传感器把信息送回主体



IoT正在生成大量的结构化和非结构化数据，而且越来越多的数据部署在云服务上。数据通常是异构的，并且存在于多个关系和非关系系统中，如Hadoop集群、非关系数据库等。

虽然存储和管理服务的创新加快了数据获取的步伐、进程程，但访问和理解数据本身仍然是棘手的“最后一米”。因此，对于无缝连接和组合各种云托管数据源的分析工具的需求正在增长。这样的工具使企业实现了大数据库的即时调取和可视化管理，，从而帮助物联网投资者挖掘隐藏的机会。

------   【插播】   ------

Hadoop大数据技术案例

让Hadoop和其他大数据技术如此引人注目的部分原因是，他们让企业找到问题的答案，而在此之前他们甚至不知道问题是什么。包括谷歌，Facebook、LinkedIn还在内的诸多巨头，都在帮助Hadoop改善运营效率。具体包括包括：

情感分析： Hadoop与先进的文本分析工具结合，分析社会化媒体和社交网络发布的非结构化的文本，包括Tweets和Facebook，以确定用户对特定公司，品牌或产品的情绪。分析既可以专注于宏观层面的情绪，也可以细分到个人用户的情绪。

风险建模： 财务公司、银行等公司使用Hadoop和下一代数据仓库分析大量交易数据，以确定金融资产的风险，模拟市场行为为潜在的“假设”方案做准备，并根据风险为潜在客户打分。

欺诈检测： 金融公司、零售商等使用大数据技术将客户行为与历史交易数据结合来检测欺诈行为。例如，信用卡公司使用大数据技术识别可能的被盗卡的交易行为。

客户流失分析： 企业使用Hadoop和大数据技术分析客户行为数据并确定分析模型，该模型指出哪些客户最有可能流向存在竞争关系的供应商或服务商。企业就能采取最有效的措施挽留欲流失客户。

用户体验分析： 面向消费者的企业使用Hadoop和其他大数据技术将之前单一 客户互动渠道(如呼叫中心，网上聊天，微博等)数据整合在一起， 以获得对客户体验的完整视图。这使企业能够了解客户交互渠道之间的相互影响，从而优化整个客户生命周期的用户体验。

8.在最终用户驱动下，自助数据预处理走向主流

Hadoop数据如何走进企业用户，是当下最大的挑战之一。



Hadoop数据如何走进企业用户，是当下最大的挑战之一。自助服务分析平台的兴起改善了这一过程。但企业用户希望进一步简化数据分析的流程，尤其在处理多种数据类型和格式时，这一诉求更加明显。

敏捷的自助服务数据预处理工具不仅可以在源处预处理Hadoop数据，而且还使数据作为快照来用，从而进行简易便捷的进一步处理。

我们已经看到了的一大批面向终端用户的大数据预处理创新， Alteryx、Trifacta和Paxata。这些工具降低了后期Hadoop采用者和初学者的进入门槛，并将在2017年体现更大价值。

9.大数据成长：Hadoop增加了企业标准

Hadoop将逐渐成为企业IT环境的核心部分。