清明时节雨纷纷 增量同步欲断魂

【清明节增量同步奋战记】清明节到来，如此好天气，小伙伴们大概都忙着出游、聚会了，而我们也安排了一次“聚会”，...



——清明节增量同步奋战记清明到来，天气超好，小伙伴们都忙着出游、聚会了，而我们也安排了一次“聚会”，众英豪聚于公司，准备迎接令江湖人闻风丧胆的“增量同步”！

说起这事儿，小编的苦水估计能吐到2017年，每次开始都曾满满信心、过程却举步维艰，为了那最终的皆大欢喜、我们付出了多少个日日夜夜！

那，“增量同步”到底是个啥？为啥我们要一年2、3次的去虐自己呢？

这里的增量同步，不是指发布增量产品，而是说二代和FM两个母库间的数据同步，是内业成果向外业成果以变化增量的方式所做的一次同步。

一方面确保外业拿到最新的内业数据，另一方面也提高内业精编作业数据源的鲜度、降低重复作业带来的内耗，最终目标就是确保各条出品线的数据鲜度。

怎么看，这件事都不得不做，而且要做的漂亮！

纵使你虐我千百遍，我仍要待你如初恋！



滔滔江水般的苦水咽下去，先来说说清明时节的“增量同步”，与之前的几次有什么不同？

为这次增量同步做了哪些准备？

1. 规格升级：练级必备；
2. 消除一个隐患：由于POI发展历史悠久，各种库外作业种类诸多，且流程管理不善，容易导致问题频发，而此次，终于又有一枚POI外戚被整合了，深度信息收入FM。使得本次可以同步取消对该类信息的处理，Good news！
3. 填了三个坑：名称、地址和电话原来上线时存在设计方面的考虑不周，3月份软件层面已近重新梳理数据流并改善完毕，本次需要修正存下来的数据，要提前准备好各种脚本；
4. 实际数据演练：测试小伙伴们提前一个月就开始拿来真实数据演练，提前识别可能遇到的数据问题；
5. 一次又一次的梳理工程表，确保不遗漏任何一个脚本。

看，填了三个大坑、消除了一个隐患，保证了数据质量。

要知道，这4个问题都直接影响了质量，以往版本我们只能靠检查去识别、再去分析、处理，隐患大大滴！这次终于从根儿上切除啦，此处应有掌声！

看来看去，小编和我的战友们都对这次增量充满了信心，坑都被填了，隐患没有了，实际数据也演练了，过程应该是顺利滴，我们是不是可以嗨皮的过个清明节了？！



然而，现实总是无情的。。。。

清明节，你挖坟了吗？3天3夜的奋战！

当小伙伴们如约来到公司，迎接我们的怎么就是一个又一个的坑呐，窗外蓝天白云，屋内阴雨连连。真是前人挖坑，后人挖坟呀！

首先冲上来打击我们的，是一个同步程序的批处理原则出了问题，导致很多POI无法进入更新范围，简直就是惊悚片！幸亏我们有检查程序站住了岗，及时发现了它。时间紧迫，容不得有半点疏忽！企划+研发迅速给出应急措施，及时修正了批处理，赢了第一场歼灭战！

批完数据已经一天过去，增量正式跑上已经是夜里2点，运维和研发的同事们一刻也不停息的在往前跑，连续值班不敢合眼，到第二天晚上（17个小时以后），程序终于跑出来了！！！

小编立即组织业务团队开始紧锣密鼓的分析，而分析的越深入、越感到恐慌，纳尼？

坑爹啊，居然在分析中，挖出了一笔又一笔老账：行编辑数据流设计的问题、内外业数据同步问题、各别业务线例外设计问题、遗留的数据问题等等。

待形势明朗，已是又一个清晨，小伙伴们灭掉这群拦路虎，终于把最影响作业的数据问题及时解决。



至此，FM项目组POI团队，连续奋战72小时，终于确保了增量同步的成功，也保证了节后精编作业顺利开始。

而依然遗留的几个历史问题，时至今日，我们仍在深入分析、处理，不打算就此放过任何一个“敌人”！

给我们的团队点赞！

连续的加班和问题频发不是正常现象，也不值得提倡，那根源在哪呢？

大家都说，增量同步的设计太复杂，所以才出现这么多的问题，其实很多设计是“不得已”的设计，是被现实绑架的设计。

毕竟，我们面临很多历史情况：内外业作业标准和节奏不一致、内外业数据同步的节奏被绑死、各条POI业务线（你一定不知道有几条、有多少分叉）的各种例外流程、季度版和日产品的应用等等，这些都制约着我们的设计，让设计不得不去多方权衡、考虑，最终，变得越来越重！

想通过一次同步，解决所有的问题，是不现实的，这就衍生出了这样或者那样的新问题，于是，我们就永远在解决问题的道路上奔走着。



回头看看，也许开始就做的偏了，综合性的问题应该有综合性的解决方案，单单靠技术去解决，最终只能陷入泥潭、难以自拔。

无增量，也同步

前债还是要还的，数据的鲜度和质量也永远是我们首要任务，在还债的路上，我们艰难但坚定的行走。

要解决增量的问题，就要深入到增量的缘起进行分析。从这个角度来说，最好的增量解决方案，就是没有增量！！！

试想，如果生产的库是同一套，那么岂不是永远无同步？

试想，把集中的增量处理分解到每一天甚至每一秒，那么是不是也很轻松？

道路版的设计，正是基于这种策略给出了一个统筹了管理、工艺和技术的综合性解决方案，以改变现在集中在一个时间点进行同步的现状；把同步的事情分解到日常生产中去。

我们在埋头苦干的同时翘首以盼，等待着数据同步策略的春天！

    关注 四维研发Family