大数据占该市写稿

资讯 ※ 大数据是什么？

大数据是具有海量、高增长率和多样化的信息资产，它需要全新的处理模式来增强决策力、洞察发现力和流程优化能力。大...

大数据是具有海量、高增长率和多样化的信息资产，它需要全新的处理模式来增强决策力、洞察发现力和流程优化能力。

大数据通常都拥有海量的数据存储，此外，电信、医疗、金融、公共安全、交通、气象等各个方面保存的数据量也都达到数十或者上百PB级别。

非IT圈的朋友可能会问，EB和PB是什么鬼？这里列出一个计算公式：

1TB = 1024 GB

1PB = 1024 TB

1EB = 1024 PB

目前标配的个人电脑硬盘容量差不多1TB大小。做个很简单的比方：1EB就相当于1024 X 1024 = 1048576 块硬盘的储量，足以让一辆C-130大力神运输机往返运输数十次！

在传统的关系型数据库中，所存储的数据都是结构化的，例如：

但是在现实生活中，信息往往并没有严格的结构限制。比如一个电商网站需要记录如下用户行为：

用户张三，于某某时间在商品搜索栏搜索了“XX手机”一词，然后进入 XXX 商铺进行浏览，经过与店家沟通，讨价还价，最终以6000元的价格购买了升级款式手机一部。

诸如此类的用户行为数据属于非结构化数据，很难用关系型数据库存储。因此诸多No-SQL数据库（例如 HBase）成为了存储大数据的更好选择。

如果没有更加快速有效的海量数据解决方案，那么如此大量多样的数据不但没有带来更多价值，反而成为了系统的负担。关于这一点，谷歌公司率先提出的MapReduce模型为我们带来了新的道路。

MapReduce可以简单的理解成一种分治方法：把庞大的任务分成若干小任务，交给多个节点进行并行处理，然后再把所有节点的处理结果合并起来，从而大大提升了数据处理效率。

犯罪预测并制止犯罪行为

众所周知，在某个具体区域内，犯罪地点并不是随机分布的，而是集中于某些小范围的“热点地区”。比如，西雅图历时14年收集的犯罪数据表明，有一半的犯罪行为都集中在占该市4.5%的街道上。明尼苏达州明尼阿波利斯市的情况也差不多，半数报警电话都来自占该市3.3%的街道。28年间，波士顿市多达66%的街道抢劫案都高度集中于占该市8%的街道。了解这些热点地区以及这些地区可能发生哪些类型的犯罪行为，对城市的警力部署具有非常重要的参考价值，大大降低了当地的犯罪率。

人工智能：

比如文思海辉与中国最具影响力的财经媒体集团第一财经联合推出的新一代智能写稿机器人“DT稿王”,“DT稿王”是一款在DT(数据技术)时代帮助财经记者快速及时写稿的智能写稿系统，用机器代替人完成实时监控信息源，利用文本解析和信息抽取技术实现自动信息抽取，采用机器学习算法并融合第一财经编辑记者团队的经验、智慧，以模板和规则知识库的方式根据实时抽取的信息做出判断，输出相应的模板及规则知识库内容从而产生新闻，以此应对海量、高速、多样的大数据产生的信息。这种具有学习能力的智能系统加上人脑创造力的辅助，使得“DT稿王”成为写稿机器人中的“尖子生”。

商业分析：

从大量的用户行为数据中挖掘出有价值的商业信息。典型代表是著名社交公司LinkedIn，他们通过用户之间的关联关系，绘画出学校、公司、人才之间庞大而复杂的信息网络。不仅如此，LinkedIn还通过大量求职者和招聘方的信息，分析出哪些公司正在迅速扩张，哪些公司正在流失人才，哪些公司之间正在展开人才市场的争夺。这些对于客户公司来说，都是无价之宝。