01基于位置的用户画像初探｜数据爬取及可视化系列_【自在园O设计Mix科技实验室】

技术干货｜｜魔都MrNice好好先生餐厅火爆背后的思考...

研究了1个月的nodejs爬虫，数据提取，mongodb数据库，数据可视化等等内容，我终于写了第一篇关于数据的文章，哈～

这个系列的文章会从：

技能

数据来源

数据可视化的套路

交互设计

等方面进行更新

今天首发的是系列文章：关于数据爬取及可视化的

第一篇｜基于位置的用户画像初探

第一篇先谈谈总的思路，及尝试一些数据研究的方法。第一个练手的研究内容，我选取了最近魔都热门的一个餐厅：

Mr Nice好好先生餐厅

爆红的拿破仑领军西餐甜品店，打遍上海无敌手，高大上，低调奢，新店开了不少，菜品依然创意无限。梦幻摩天轮拿破仑，真是味蕾视觉双享受！意式奶冻，草莓冻膏，口感馥郁柔滑。还有食肉控最爱的猪肋排拼盘，更多应季而变的创意菜品俘获一众吃货的心。

数据来源：前几天发现百度指数蛮好用的，直接输入关键字就可以得到相关的数据，都是基于网民的搜索行为的。

百度指数http://index.baidu.com/

但是百度还没有收录，当然我也没到要去购买的程度，仅仅是研究啊哈～

所以主要从大众点评上获取数据。

大众点评的点评大数据http://dpindex.dianping.com/dpindex

相关指数：先看看人气指数：

最近30天，人气不足啊，主题餐厅是不是都这样？火爆一阵子，没有持久度。

价格还是算亲民的。

商户风云榜上，6家分店排在首位啊～

研究目标

那么，位于商户风云榜首，到底是什么人喜欢到这种餐厅呢？

我决定研究下到过该餐厅消费过的用户，我设定了简单的2个目标：

某个用户的活动范围有多广？
某个用户是在周末活动多一点，还是工作日比较多？

对研究目标的补充说明：

我选择的是“是什么”的角度，而不是探讨原因的“为什么”角度，做大数据研究，需要转变下思维，从“为什么”到“是什么”。

我们没有必要，也不太可能从数据中知道为什么，因为世间万物的关系太复杂了，其实知道”是什么“就够了，要解读数据，让数据自己”发声“告诉我们正在发生的现象。

有一个典型的例子：

沃尔玛是世界上最大的零售商，掌握了大量的零售数据。通过分析，沃尔玛发现，每当季节性飓风来临之前，不仅手电筒销售量增加了，而且蛋挞的销量也增加了。因此，当季节性暴风来临时，沃尔玛会把库存的蛋挞放在靠近飓风用品的位置，以方便顾客。

看到这里，马上有人问”为什么飓风一来，人们都要买蛋挞“？

这个“为什么”，可能是极难分析、且复杂的，而且即便研究出来，意义真的很大吗？对沃尔玛来说，只要知道“飓风来了，快摆蛋挞，准备大赚一笔”就行了，这就是注重的相关关系。

研究思路：

拉取商户的用户列表，获取用户的页面↓
提取用户标签，及评论过的地点，日期↓
假设评论发表时，用户正在该地点活动↓
从标签，我们可以看出，Mr Nice好好先生餐厅的顾客们的其他爱好是什么↓
通过，用户点评过的地点，以及发表评论的时间，了解他们的行为习惯

数据收集及可视化：

点评网并没有直接的展示用户的位置轨迹，于是需要我们自己动手去搜集数据，处理数据，下面是通过编程实现的思路。

用casperjs爬取商户的所有评论页面↓
通过nodejs中的cheerio解析网页，提取用户id↓
根据用户id爬取用户的所有点评地点的经纬度信息，及日期↓
通过百度地图，显示用户去过的地点，并用echart展示了下活动在一周中的分布情况。

关于casperjs、nodejs、echart相关的技术使用心得，将在另一篇文章中总结。

下图是商户的评论页，有10669条评论，手动去收集肯定是不现实的啊，本次采用了casperjs来抓取～

将从上面这一页获取的用户id清单，爬取每一用户的点评信息，如下图所示。

这个也是数据量比较大，全交给电脑去自动获取啦～然后存进数据库里，这里选择了mongodb数据库，配合express，还有前端展示，边研究边处理。

研究所得

讲了这么多理论的废话，下面进入正题哈：

本次爬取了一点点用户的数据，作为研究，因为我还不知道到底可能得出什么样的结论，所以得一步步来，试试用这些数据能不能得出一些有意思的结论。然后再决定是否大量爬取。

抽取一个光顾过MrNice餐厅的

用户A的数据看看，看来用户A是典型的吃货。