UMTS系统版本升级-KPI-E2E测试一体化自动验证平台

版本对外商用发布做好最后一道防护网：UMTS系统版本远程升级-KPI对比-E2E测试一体化自动验证平台！...





一. 摘要

本文介绍了FDD商用性能三部如何利用RF自动化平台整合实验室大话务环境、集成EMS远程升级、E2E测试、KPI对比三大功能提升验证效率。通过该平台在实验室提前对UMTS准商用版本，进行升级前后版本的升级预演、E2E测试，和KPI对比。通过预演期望发现不同指标在版本间的差异并分析找出差异的原因，为版本对外商用发布做好最后一道防护网。

二. 项目背景


外场版本商用发布，一直是产品外场工作的重点。正常外发版本都需要经过进行远程升级、E2E对比, MCP指标对比三个跟版本强相关的基本验证流程。

远程升级：验证升级工具在新版本升级的时候是否能正常工作。

E2E：测试版本对单UE能力的支持情况，包括测试时延，单用户速率等。

MCP：验证版本对重点KPI的影响是否符合版本预期，是否引入负增益等。

特别是MCP性能比对是商用发布前的重中之重，可以提前在实验室发现版本带来的指标变化，进而缩短外场FOA周期，降低外场升级成本。

现在部门通过自动化的工具，整合了这三大功能，可以达到自动运行，快速输出结果的目标。

三. 项目痛点

外场每逢大版本升级总是胆战心惊：既担心升级过程有问题导致升级失败回退，又担心升级后指标有重大变化导致回退。版本是代码的产物，新的版本会根据市场需求开发新特性，根据外场问题合入解决方案，由于种种原因，各种变更耦合后可能带来很多潜在的未知问题，是基本功能测试所不能发现的，让人防不胜防。因此系统测试工作就是要将FOA场景提前在实验室测试，进行排雷，并提前验证新特性的收益。

在引入自动化升级平台之前，远程升级、E2E, MCP性能比对的情况如下:

1. 远程升级：远程升级工具是跟版本升级强相关，目前外场的升级都是使用这个功能来操作，每个不同的EMS版本针对这个功能也会做改进，扩展功能，因此根据版本进行验证，为了EMS版本外发守好最后一关。该测试前后需要十人日的工作量，包含外场数据镜像恢复等环境准备工作。
2. E2E测试：实际160多个单用户相关的条目，包含单用户不同级别UE的速率, 切换和时延测试。该测试前后需要五人日的工作量，包含特别繁琐的时延计算。
3. MCP性能比对：由于外场对新版本的性能指标差异非常关注，重点指标趋势性的变差，会引起客户的投诉，以及对新版本的怀疑，导致版本升级工作无法继续开展。因此搭建这个环境可以提前使用外场数据进行验证，提前发现问题，排除隐患，目前项目经理要求所有外发版本必须经过这个MCP流程的验证指标。该测试前后需要十人日的工作量，还不包括重大问题的根因定位和解决。

三项测试都需要单独一套环境，均涉及版本升级前后对比测试，以及多用户大容量测试，引入自动化升级平台之前，对人力的占用，环境资源的消耗，以及重复工作的带来的时间消耗都是导致部门工作低效的因素。

四. 自动化一体化平台的解决方案

• 物理平台的架构根据外场的实际组网情况，我们搭建了基于EMS的带MCP真实业务的环境，同时加入了自动化的RF工具平台。通过RF平台来调度EMS，RCT，MCP，OMMR，NodeB等各个网元。对测试中的信令和指标，甚至是日志进行分析评估，输出测试结果报告。

整体的流程图：

• 整体软件平台的架构

软件架构基于需求来考虑， 通过设置txt的输入文本，可以控制流程运行那些模块。模块主要有5个功能子模块：E2E测试， MCP的KPI指标采集， 远程升级，E2E升级前后版本比对功能， MCP的KPI升级前后指标比对功能。

• 子模块的功能介绍

1. E2E测试： 基于RF强大的自动化基因，对MCP上单个UE的操作（业务拨测和能力集修改），同时采集RCT上UE的信令跟踪和MCP上单UE的QXDM日志，然后对信令关键信元和QXDM信令关键信元进行分析，得出测试结果。
2. MCP的KPI采集： MCP是把外场内场化最重要的工具，也是自动化必不可少的工具。RF平台可以通过脚本控制MCP发起不同的业务组合来模拟外场的实际业务模型，通过一定的周期去采集升级前的重要KPI指标和升级后的相同指标，完成指标采集工作。
3. 远程升级自动化： 在RF平台和EMS平台完成对接的基础上， RF可以通过Python函数去调用EMS的远程升级模块， 自动创建任务，监控任务，对错误的任务进行反馈， 支持断点执行等。
4. E2E测试结果对比和MCP的KPI指标对比：基于升级前后的两次测试结果， 对结果进行分析， 提前设置合理的目标值，期望范围等等。每个指标和每类指标设置都会存在一定的误差， 都需要反复测试来确定基线和偏差范围。

• E2E的测试结果，RF系统支持输出web的报表，系统也支持生成excel：

 

• MCP的KPI比对结果

五. 效果评价

采用自动化平台做版本验证带来的最大收益就是效率的提升，从之前需要三、四个人，1-2周的工作周期，通过代码和流程的固化，再加上自动化可利用晚上时间跑测并自动输出采集、对比结果，目前可以缩短到一人两日来完成。代码化后也支持反复测试，对于有疑问的指标复现也极其便捷，极大的节省了人力、环境资源的消耗，在实验室环境保持固化稳定的基础上可以提升20倍以上的生产力。

其次自动化平台的环境灵活支持不同的需求，比如外场数据验证，一般就是外场数据改造和MCP的KPI比对，这个比内场大版本验证少了一个E2E的环节，我们可以通过设置全局参数进行流程控制，简便地复用该平台。

目前所有UMTS重点外场局点的升级，项目经理都会要求在该自动化平台上对版本进行MCP指标比对。近期泰国、印尼、联通等外场升级验证过程中，环境得到充分利用，提前识别了很多重大版本问题，取得了很好的效果和口碑。

六. 推广建议

适用于所有项目级敏捷运作团队。

    关注 无限性能COP