电子商务|场景模型驱动自动化测试在盒马的探索及实践( 四 )


在交易领域的特征覆盖率的提升经过了以下几个阶段 , 初始的测试单据(日常测试单据+链路自动化单据)特征覆盖率仅50%左右 , 覆盖率确实不高 , 通过覆盖率报告的分析发现 , 除了确实无单据覆盖的特征 , 还有一类问题是有单据覆盖但是平台无法匹配上的特殊字符类特征值或不可穷尽枚举类特征值 , 经过二次处理后 , 特征覆盖率提高到65%左右;第三阶段 , 现有的全业态全场景用例构建出来后覆盖率提升到90%左右 , 剩余的10%特征基本是线上特定时期小概率出现场景阶段性单据没分析到或暂时无法构建数据的特征 , 经过指定单据有针对性地补充后特征覆盖率达到96% , 至此覆盖率达到我们期望的95%以上 , 基线用例搭建完成 。
因此 , 从最终结果看 , 交易领域属于基于最终结果反推过程执行 , 整体接入过程 , 基于场景构建与链路编排的执行能力 , 结合自身能力的构建 , 接入过程约三周 , 推荐场景累计2000多例 , 对8种业态进行全面支撑 , 能够做到快速的回归覆盖 , 很好的做到需求的高质量持续交付 。
2 在盒马其他典型领域的实践
在商品领域 , 从全新的领域对接 , 整体投入2天 , 完成500+线上场景的接入 , 整体投入成本下降高达90% , 代码覆盖率在原有脚本自动化基础上提升了28% , 快速达到50%以上 。
在履约领域:整体沉淀场景化链路用例1000+ , 成功率95%以上 , 特征覆盖率95%以上 , 链路的仿真精准度90%以上 , 全面保障履约域的质量 。
在配送领域:配送域沉淀场景化链路用例300+ , 作为作业操作的系统 , 链路场景的覆盖率97%以上 , 特征覆盖率100% , 新业务的自动化成本下降80%以上 。
六 未来展望 基于场景模型驱动自动化实现 , 只是开始 , 远没有终结 , 前期只是针对一部分领域进行了探索实践落地 , 接下来希望能够扩展更多领域的同时 , 更加深入的挖掘自动化用例自动生成及测试数据保活的能力 , 使之能够更好的服务好盒马的各团队业务 , 也希望通过本文的分享 , 启发更多的团队一起投入进行探索并做出尝试 。
七 结束语 本文的探索方案前后历时近一年半的时间 , 从0开始投入 , 团队也累计多人参与 , 投入虽大 , 但给我们的质量保障工作带来了不错的回报 , 接下来的时间里也会继续前行探索 , 勇于尝试 。
作者 | 钦伟
本文为阿里云原创内容 , 未经允许不得转载 。