2015年11月27日零售行业大数据落地、BI工具选型、RFM分析微信直播记录

公告FridayBIFly周五BI飞起来，天善商业智能BI社区每周五下午举办问答社区在线答疑活动，每周...

Friday BI Fly 周五BI飞起来，天善商业智能BI社区每周五下午举办问答社区在线答疑活动，每周五晚上举办行业、厂商工具、技术相关的微信在线直播活动。

下周微信直播话题

1. 大数据分析背景

2. Hadoop 应用、分布式架构

3. 日志系统在 Hadoop 的应用及实现

2015年11月20日 Friday BI Fly 微信直播主题

- 零售行业大数据落地



主持人：加入本群的同学们，感谢大家参加由天善智能举办的 Friday BI Fly 活动，每周五微信直播，每周一个话题敬请关注。

【群规】本群为BI 行业、技术、工具交流和学习群。不准发广告，只能发红包，发广告者一律移除微信群。

本次微信直播讨论内容：

1、零售行业的大数据平台如何落地，落地前如何做阶段规划、应对挑战？

2、零售企业如何要上BI选用什么工具比较好。

3、RFM分析在零售行业的应用。Seng

15年BIDW工作经验，擅长BIDW系统整体架构搭建，擅长OBIEE

环境应用和数据仓库数据处理，对Oracle DB 优化有独到心得。

最近开始从事大数据，机器学习方面工作。

个人专栏：http://www.flybi.net/people/seng

博客专栏：http://www.flybi.net/blog/seng



Andrea Zhou

BI 资深顾问，专注时尚及零售行业数据分析和商业智能建设。11年商业智能系统建设经验，服务客户包括政府、烟草、制造、高科技等。在零售管理、供应链管理等方面颇有心得。

个人专栏：http://www.flybi.net/people/andrea_zhou

博客专栏：http://www.flybi.net/blog/fashionBI



百分百

03年出师后投身于零售行当，奈何天资愚钝，多年毫无建树，仅在连锁商超和供应链上略有所得，甚憾，逢机缘，遂逐流师于BI，望开化智商，愈解愈惑，迄今探索未止。

个人中心：http://www.flybi.net/people/百分百

博客专栏：http://www.flybi.net/blog/100A

话题一：1、零售行业的大数据平台如何落地，在落地前如何做阶段规划，如何应对挑战？

主持人：下面我们进行第一个话题的分享：1、零售行业的大数据平台如何落地，在落地前如何做阶段规划，如何应对挑战？

我先来谈谈我的想法。

如果把我们所谓的项目细分为目标--计划--行动来看，就会发现都会呈现一个螺旋式上升，不断迭代的过程。若我们要做一个大数据平台的项目，不外如是。先确定我们这个项目的目标，不要贪图大而全，可以根据自上而下或者自下而上的规则，选定一个目标，然后制定出相应的计划，然后按照计划去逐步施行，

在这个过程中，不断根据实际情况进行迭代、微调。

而这个目标的确定呢，一般都是为了解决企业目前的痛点来确定的。比如为了更及时的展示销售数据、为了更好的针对客户进行促销、为了提高供应商送货满单率、为了更好的提高配送中心的周转效率等等。

我们就以为了提高报表数据展示效率为项目目标，大体分解下怎么规划，怎么落地。

一般来说我们定义了一个目标后，都会有一个时间限定范围，还有一个可衡量目标成功或者失败的标准。既然是痛点，不可能说我3~5天就

解决了，也不可能说我要拖到3~5年。这些时间范围都是不适合的。拿我们上面说的提高报表数据展示效率来说，这个得定性定量，例如需要在3个月内将现在的
平均每页面数据展示有30s提高至15s以内。那么 这个目标确定后，就需要围绕这样的一个目标，制定相应的计划出来 。

虽然目标的时间限定为3个月，但你的计划不能按照3个月来，一般会进行目标拆分和迭代，比如找到目前速度最快和最慢的页面，在现有情况下，确认耗时最长是那些部分，然后针对该部分，有什么手段或者方式可以提高，需要多少时间可以达到效果等等，针对不同的问题和方法，以时间为轴列出相应的整改计划，然后分出优先级，不断迭代，不断调整。

对于BI平台或者说大数据平台呢，一般我们可以按结合业务的深度不同分为3个阶段：

第一个阶段数据报表阶段，主要是用BI工具展示业务数据，是最浅层次的应用，大多数企业都还停留在这个阶段。

第二个 阶段是业务分析阶段，是对数据进行一定程度的理解和运用。是开始出效果的阶段。通过利用BI工具在展示数据报表的同时，利用工具对业务进行分析，根据历史数据和现阶段的业务情况，以提供在业务流程，运营管理方面的指导。

第三个阶段也就是数据运营阶段，通过深层次的分析使用数据，根据数据挖掘、数据分析的结果，去指导运营活动，根据前者的结果，提供业务运营方向或者说决策。

当然这三个方面不是独立划分的，随着业务的开展，是一个螺旋式上升和互相促进前行的过程。

关于第一个主题的分享，我就分享到这。有请其它2位大拿！
百分百兄介绍了一下落地实施的几个阶段， 那我就从大数据的角度说说。

大数据平台有3个层面：
(1)采集更多的数据
(2)更大/更快/更实时的数据处理能力
(3)更多的使用用户和即时处理/查询能力

先说(1)采集更多的数据，我主要说一下线下的零售门店数据。

对门店来说有个衡量公式：收入=客流(门外客流*进店率)*成交率*客单价

这里不同的指标对应的是门店零售不同的主要环节，可以用来定位不同的过程存在的问题。

以往这个公式里面只有收入和客单价是可以获得的，但是新的技术如客流的采集技术和利用wifi的数据可以用来预估门口的客流。其中wifi的数据不能只是本公司数据，要和外部的数据公司结合，对客流人群做更多地了解,特别是线上数据。

一个公司的数据作用是有限的，如何对客户更了解，一定是要合作的，最近阿里这方面的动作就比较多。如果能拿到这些数据，特别是开店的时候，还是很有用的。当然里面存在数据质量问题，wifi监听到的mac地址，对山寨厂商可能是重复的，需要特别注意。

现在能提供这部分数据采集手段的公司都很多了，技术也成熟了，不过如何外部使用公司数据这部分还是难点。

接下来说说(2)更大/更快/更实时的数据处理能力。

采集更多的数据意味着数据量大增，特别是大量的过程数据,wifi、人脸识别、线上的大量日志啊，还有供应链方面，物流、仓库内操作数据。这个已有传统的BI平台就可能不是最擅长了，就需要需要新的大数据平台处理。

同时对分析数据的实时查询要求也越来越高，传统平台，业务系统和分析系统都要修改已有的架构。各类队列、stream技术就能帮助我们解决这些问题。

实时处理对整体数据处理能力反而是个提高，传统的ETL总是越来越慢，能做到mini batch处理，在能力上就提高很多。

这就需要大数据平台技术落地。

(3)更多的使用用户和即时处理/查询能力

现在分析能力越来越要求到终端业务，用户越来越多，数据量越来越大，这个要求即时处理/查询能力越来越高，而mini batch的数据处理觉得了不会有很多汇总。

落实到阶段规划上，还是先确认那些能解决业务问题？ 现有的技术能否做？

具体实施中 建议选择简单应用-测试和迭代-更大的业务目标，这点百分百兄说的很好，我就不多说了。
个人认为，并不是所有零售企业现阶段都适合追着热度去实施“大数据”。零售企业进行大数据规划的时候，首先可以审视下，自身企业内部数据（我们可以称之为小数据）的应用，是否已经充分。小数据的应用，譬如精细的分析商品运营和终端管理各个方面，可以参考BI建设相关内容。

在此之外，再结合自身情况，用大数据的思维来考虑发展，来做数据扩展，拥抱大数据。以数据多样性角度来看，通常，新数据的获取都是伴随着成本的付出。不同量
级的企业，投入的思路和力度上，相去甚远。大一点的，可以上百万千万级别的项目，或者自建团队，譬如大的mall，可以上WIFI定位、摄像头识别顾客和
动线等等。奢侈品品牌商的零售店，更加可以高科技全副武装。而中型及以下的企业，很多时候也只能望而兴叹了。

零售追求效率，通常而言，大多数零售企业并不是花钱极为大方的那一个群体。更多的企业投入相对保守。这种情况下，可以选取一些性价比高的方案，譬如，也同样是采集客流，现在也有类似saas的服务供应商了，这种情况下，成本可以大为削减。

另外，线下专卖店等零售，也可以去选用一些基于微信的应用，实现顾客的互动以及券的发放，转发，核销的全流程管理。

零售大数据的建设，依然是可以围绕着顾客为中心来开展，多触点，全渠道，精准营销，个性化推荐，个性化服务，仍然是有极强的意义的。同时也可以以商品为中心，从另外的线条展开来组织规划。
感谢三位嘉宾的精彩分享。同学们对此话题有何想法呢，是赞同呢，还是赞同呢，还是另有高见呢，又或者还有同学们想跟嘉宾们一对一的交流，直接@就好，你准备好了吗？
同学提问一：用报表做分析和用BI工具来分析有啥区别？

阿龙：我的行业远没到大数据平台这样的阶段。我倒是想问BI的第二阶段， 现在业务部门基本上是根据报表在做分析，分析的结果也会体现在运营中。这种与专家所说的利用BI工具进行分析有啥区别？

周剑：@阿龙 不管工具是什么，如果从报表中能够发现问题，洞悉原因，也即是分析，哪怕你用的是Excel，也是如此。

百分百：没有太大区别。是一个思维观念的问题。不管是BI平台还是所谓的大数据平台，其实根本都是为了业务服务的。不能说只要数据大，而是以大数据的思维去考虑问
题，去寻找问题的解决方法。大数据的不一定数据很大。像我现在的某为项目，大数据和传统BI用的底层数据都是一致的。只是使用的软件，技术不一样而已。

EXEC：说到底，数据的价值才有用，跟工具没关系。

Seng：解决业务问题是根本，如果已有工具无法解决目前的问题，才需要考虑新技术、新平台。

同学提问二：我们想上一个BI系统，是不是要先搭建一个大数据分析平台，比如hadoop，HDFS之类的，满足实时查询，动态查询？

人民日报媒体技术-牟瑞： BI系统不一定是hadoop，微软也有全套的BI解决方案。

Seng：传统BI系统 常见的就是etl + bi前端 + 数据库。

阿龙：数据化运营是要有基础的，我们远远未到上大数据平台的地步。

Seng：大数据平台本来就是包括传统技术的。和传统的相比，大数据也有etl、呈现数据、存储等概念，只是技术不一样而已，实时处理多了点，原来分析不说这个的，但是业务系统上原来就有啊。

同学提问三：企业要不要上大数据平台，该如何评估？

Seng： 企业要不要上大数据平台，该如何评估？ 目前的系统能不能满足业务需求，人员配套是否有？所以传统的BI人群， 包括我，估计会比较喜欢sqlon大数据。

人民日报媒体技术-牟瑞：全公司都会mysql，突然整一个hbase……，成本也会很高。

大米：公司只有sqlserver mysql...

百分百：技术储备，成本等等都影响到这些的。

EXEC：这些问题没有固定答案。有些现在是不要，但是趋势来了，眼光放的远。觉得要。

人民日报媒体技术-牟瑞：优先解决现有的业务问题，技术问题！同时关注各大新技术，流行技术。。。这样，当自己的业务问题，技术问题实在解决不了了，再根据实际问题，选择相应的技术。

大米：@人民日报媒体技术-牟瑞 说的很有道理。

话题二：零售企业如果上BI选用什么工具比较好呢？

我的理解就是选择适用的工具就好。问题决定了要采用的手段和方法，数据量多大？使用的人数多少？开发人员多不多？24*7服务嘛？

数据处理复杂？用户是分析型的还是结果型的？最重要的还是钱啊？当然公司的偏好这个是决定性的。具体落实还是建议从应用出发，过程和前面讨论百分百兄说的一样，建议选择简单应用-测试和迭代-更大的业务目标来进行。具体到工具，Excel能处理，就Excel吧。

传统的BI那一套能用就用吧。数据库+ETL+BI前端+好的实施团队+好的用户，就能基本解决传统问题。

再不行只能使用大数据平台。使用大数据平台传统的BI技能也是需要的。不过涉及到大数据，编程能力必不可少，可以结合自身团队考虑。

现在人也贵，我的建议还是要落实到分析用户，而不只是各级领导。要产生业务价值，才能更好的生存下去。如果从头开始，如果有资金，

我还是建议使用传统的工具。informaticakettle，bi工具要门考虑使用obieecognos.....，数据库还是建议oracle吧， 个人喜好。


我接着Seng的聊聊吧，企业要上BI，该选什么工具。这个问题真的很多次被问到。其实企业纠结最多的，还是在于前端工具，展现工具。这里以此举例说说。

工具的选择，就是“选型”啦，除掉一些场外因素，最终还是要基于两个字的好，“合适”。

首先看看，自己的需求是什么，工具（依此题，我指前端工具）有很多种，国内的国外的，功能看起来都很强大，但是归结起来，都会落实到几个方面：
报表、多维分析、即席查询、仪表盘、数据挖掘

然后再看看你的需要更侧重哪些方面，结合工具的特点，具体工具就不点名来说了。

然后，还得结合预算，只买对的不买贵的，对的也要买得起吧。或者，你可能会同时需要一款以上的工具来相互补充。

至于选择国内还是国外的，一般来说，国外的总体来说确实要好一些，但是也贵一些。这些年，国内一些工具也有了不错的发展，仍然是不点名，许多许多正在努力的产品和公司。有条件的话可以试试的。

还有 ，可以结合企业自身架构，做不做CUBE（涉及到是否要连多维的功能），数据仓库建得科学些(传统型，较慢)，还是要走敏捷路线。

总之，多方考虑，最终选择合适自己的，向刚才那位说的，企业要从一开始就走新的路线，其实也是不错的选择。只要合到了自己的规划，自己的愿景，就真真是好事。
工具，既然是工具，当然选择适合自己的就是最好的。例如：甲说那个45码的鞋子很好看，很好穿，我感觉穿了后整个人精神多了。乙听了，尝试了下，发现大了，原来乙自己穿38码的，换之 。丙听说了甲和乙的事情，想起来，哎哟，我也是38码的呀，应该比较合适，去尝试了下，发现穿了还可以，不挤脚，但和自己买的衣服不搭，自己黑色的衣服怎么能配一个粉红色的鞋子呢，换颜色……等等，诸如此类。

那么我们说回BI工具吧。例如你现在用微软的MSSQL。你确说要用BO进行BI软件选型，用sas进行数据挖掘等等，不是说不行，因为一般人的思路都不会是这样。肯定是根据现有的资源，然后在其接近的范围内进行最优化选择，因为成本是你无法忽略的因素。

比如用MSSQL的，肯定优先考虑用SSIS作为ETL工具，用SSRS进行BI数据展现等等。因为你用MSSQL的时候，你肯定积累了相应的人力资源和技术资源，这个时候让你选择其它成本比较高的软件，你所需的成本更会超过你的预期。

那么比如说一般我们用siebel做crm管理的，一般都会选择用oracle的 数据库，用biee作为BI工具等等。因为一个系列的东西，学习成本较 低。就熟不就生就是这个道理。

像现在的传统BI工具，在数据展现方面都有些弱项，你需要结合其它的技术来增强某些部分。比如图形展示的可以添加echarts、highcharts等

只有适合自己的才是最好的。我就补充这些。
同学提问一：为什么不一开始就走大数据＋商业智能，走2.0时代的道路？为什么非要上某某BI工具？

人民日报媒体技术-牟瑞：大数据+是需要成本的。。。

Seng：大数据的生态链不完整

盛开的石头：自建

Alex：@Seng 生态链不完整怎么讲？

周剑：自建，你养个人，搞一两年，就高就去了。

Seng：很多‘工具’目前还缺失，要自己开发。

阿龙：先把自己的数据用好就很不错了。

盛开的石头：选取别人闭源的东西成本高，还不一定适合自己。

盛开的石头：企业哪有那么多预算。

Seng：系统要长久用下去的，人员稳定性不能保证的，这个就要平衡了

人民日报媒体技术-牟瑞：大数据看起来是开源的，但是开发成本很高。

盛开的石头：如果你是做自有业务，那没得说，如果你给别人做解决方案，动不动就叫人先把几十万美元的东西买起，那合理吗？

大米：@周剑 是的

盛开的石头：@人民日报媒体技术-牟瑞 那是技术能力问题

周剑：@盛开的石头 都有的，每个企业都有选择的权利，只是现阶段，自建的确实少些。如果要问原因，其实可以找几个甲方企业的拉来聊聊，就能收集到一堆的原因。

盛开的石头：不要都觉得别人的就都好啊，还有企业为什么要上商业智能？别人已经有erp或者类似接近与商业智能的东西满足了业务运营，那么为什么非要上什么BI工具呢？

【小编有话说】：
技术的发展不是一蹴而就的，正是随着社会的发展、科技的发展，数据的形式越来越多，也越来越容易获取，才有了大数据的概念，数据的价值才凸显出来。

不同的企业发展阶段不一样，不能一概而论，大数据不是万能的，如果数据量根本没那么多，而且数据质量很差，在这种前提下谈大数据岂不是白搭？正像前面嘉宾说的，适合自己的才是好的，当现有技术不能解决你的业务问题时，再去考虑新技术，新平台。当然如果人力、财力充足，我们在新技术方向做一些探索、研究也是必要的，因为正是有了这些人才有了技术的更新换代。

商业智能以及大数据，都是一种概念，或者一系列技术，又或者说是思考问题的方式，工具都是辅助的，解决问题才是目的，所以不要以为只有上了某某BI工具，才叫在做BI。

ETL可以用工具也可以写存储过程，分析展现可以用工具也可以自己代码开发。
我们不是为了用工具而用工具，工具只是从开发、维护等角度节省人力或缩短周期，用不用工具又或者用什么工具，跟一个企业的应用场景、现有技术储备、现有人力安排，以及其他相关系统（比如数据库用哪家的）的影响性等等都有关系，总之，还是那句话，适合的才是最好的。
咱们现在5个群近2000人同时直播，这么壮观的事儿你造吗？为了更容易区分，咱们的群都给编上号了，到了自由讨论时间，各个群是这样的：

话题三：3、RFM分析在零售行业的应用

主持人：马上要开始下一个话题了，3、RFM分析在零售行业的应用。弱弱地问一下，RFM是什么？好紧张，我得赶紧百度一下，不然让同学们笑话我怎么办！


百度百科：RFM模型是衡量客户价值和客户创利能力的重要工具和手段。该模型通过一个客户的近期购买行为、购买的总体频率以及花了多少钱三项指标来描述该客户的价值状况。

我理解所有分析包括RFM分析的最终目的是增加客户忠诚度和提高收入。

由于线上的数据和会员信息（包括线下的）可获得数据不断变多，客户信息不只局限于RFM模型，用户画像的不断丰满，对最终的用户分析和了解有很高作用。

在开始阶段，RFM分析可以通过最基本的数据，分析自己想要的用户群，在此基础上做活动。
基于RFM，可以做很多很多的扩充，广义上讲，都可以视作用户的标签属性。有兴趣的朋友可以去看看合生元的案例。在这里就不多说了。

另外，基于RFM，可以去分析对用户分类，指定合适的目标。譬如分为N类，有的类别是去吸引他尝试消费高单价的货品。有的类顾客，目标是力争让他多消费一两个其他品类。

诸如此类，细分而精准的个性化服务。既服务好了顾客，也能让企业达成目标。

广义上扩展RFM及其他属性后，在CRM的领域，可以有非常多而且实效的应用，譬如发券-领小样-购买，譬如不在乎钱的，等等等等。有许多例子。
这个只能补充了，其实也就是应用方面。各种分析模型或者方法，无外乎提高销售，降低成本。根据企业目前的目标来针对不同的客户群体进行不同的促销销售行为。例如想提高R和F都比较高的客户的M的指标，就需要以提高客单价， 提高连带销售为目标。

像星巴克，就很好利用会员做好销售。新会员送券，然后买二送一等等活动培养客户习惯，提高客户黏性。
涨姿势了，同学们你们呢？直播活动之外如果有问题或直播活动中没及时回复的问题都可以提问到天善的问答社区http://www.flybi.net/，嘉宾们都是我们问答社区的专家哦。大家学习了一晚上了，放松一下，来吧，千人抢红包啦，红包雨噼里啪啦的。

另外预告一下，我们下周微信直播的话题有：

1、大数据分析背景。

2、Hadoop应用、分布式架构。

3、日志系统在Hadoop的应用及实现。

感兴趣的朋友快来报名吧。

每周 Friday BI Fly 微信直播参加方式，加个人微信：liangyong1107 并发送微信：行业+姓名，参加天善智能微信直播。

    关注 天善智能