AI助力质效双提升--群核质量效能AIGC探索进展分享
作者：微信文章背景
基于25H1我们团队的目标方向，经过一段时间的实践探索，我们逐步看到了AI在测试效能领域的巨大潜力。在之前分享中杭州六小龙之群核科技--AI助力测试提效与大模型落地应用实践我们介绍了不少AI辅助测试的基础能力建设，包括FastQA平台建设。本篇重点介绍我们近期基于这些基建的最新进展，欢迎大家沟通讨论与使用。
一、质量效能AI Agent工具--助力测试提效
测试AI Agent建设，近期累计新增测试Agent 10+。
1.1 【AI测试分析】
Agent功能简介：
通过多轮自然语言对话实现全流程自动化测试分析，支持CF（Confluence，下同）链接识别、文档解析、报告优化等功能。
Agent应用提效：
自动化生成测试分析报告，人工干预减少80%
上线后AI生成测试分析占比达21%
1.2 【AI用例生成】
Agent功能简介：
根据需求文档/测试描述一键生成功能测试用例，支持在线编辑。
Agent应用提效：
用例生成效率提升5倍
上线后AI生成用例占比12.31%
1.3 【AI用例评审】
Agent功能简介：
基于规则库对用例批量评分并提供修改建议，保障用例质量。
Agent应用提效：
评审耗时缩短70%
已覆盖所有评审单用例
1.4 【AI解析报错日志工具】
Agent功能简介：
解析KE渲染引擎报错日志，结合知识库提供故障原因和排查思路。
Agent应用提效：
日志分析效率提升90%
平均故障定位时间从2小时缩短至15分钟
1.5 【测试右移-AI日志聚合】
Agent功能简介：
聚合服务错误日志并可视化趋势，异常时触发预警。
Agent应用提效：
线上问题发现速度提升60%
支持T+1日志分析
1.6 【AI查询解析引擎版本信息】
Agent功能简介：
通过自然语言提取环境信息，智能获取渲染引擎KE/Streaming版本数据。
Agent应用提效：
版本查询响应时间从分钟级降至秒级
正与渲染定位工具集成形成智能定位体系
1.7 【AI辅助编写XPath】
Agent功能简介：
自动生成符合规范的xpath路径，支持校验与格式转换。
Agent应用提效：
日均生成20次，累计复制300+次
UI自动化脚本稳定性提升35%
1.8 【AI测试文档评审/推荐】
Agent功能简介：
自动评审CF文档质量并推荐优质内容供团队学习。
Agent应用提效：
已评审10+篇复盘文档
每周推送精选文档至部门群
1.9 【AI测试流程报告整合】
Agent功能简介：
聚合发布计划数据，自动生成标准化报告文档。
Agent应用提效：
发布信息整合效率提升50%
已在多个敏捷组推广应用
1.10 【JSON Diff AI助手】
Agent功能简介：
智能分析JSON差异结果，支持规则编写（建设中）。
Agent应用提效：
上线3天完成400+次分析调用
差异定位准确率达92%
1.11 【AI接口测试精准分析】
Agent功能简介：
结合CodeDiff数据智能识别测试关注点，自动生成异常case。
Agent应用提效：
测试场景覆盖率提升40%
已应用于多个服务测试
1.12 【环境小助手】
Agent功能简介：
解答环境问题、分析调用链日志、查询负责人信息。
Agent应用提效：
环境问题响应速度提升80%
支持自然语言查询
1.13 【AI工单分析】
Agent功能简介：
批量分析工单内容，输出共性质量改进建议。
Agent应用提效：
工单复盘效率提升60%
已识别20+高频技术缺陷
1.14【搜索debug工具AI分析】
Agent功能简介：
基于参数和异常描述智能诊断搜索问题。
Agent应用提效：
近期使用90次
问题分析准确率85%
1.15 【搜索失败词AI分析】
Agent功能简介：
通过语义分析定位搜索失败原因。
二、测试模型微调与AI编码辅助
2.1 【模型调优提升图片对比能力】
微调目标：优化UI自动化测试中图像比对能力
提升 UI自动化-图片对比结果准确率：当前图像对比算法识别为不通过的case，需要引入AI能力，减少误报率，提高case成功率
减少 UI自动化结果分析成本：利用AI将图片对比的内容/细节进行语义化说明，输出规范的分析报告，降低人力投入
微调效果：解决了之前误报的问题，基本满足UI自动化中图纸图像比对分析需求
微调前：
微调后：
2.2 【UI自动化编码提效】
2.2.1 辅助UI自动化迁移
背景：云图软装业务交接到了新的敏捷组，相应UI自动化也交接过来。需要把对应10个自动化用例 js 文件以及依赖的函数、xpath、配置项，做仓库迁移。
迁移流程步骤：
从项目A 迁移指定js文件到项目B 指定目录分析用例引用的函数、xpath，需要和存量函数做匹配，匹配失败则需要迁移函数、xpath分析用例中的 namespace、路径引用是否正确，若不一致需要改造
结果：代码迁移的工作比较繁琐，需要仔细检查依赖、路径引用、迁移对应缺失的函数、xpath，但本身无业务逻辑。理论上是非常适合让 AI 处理。
2.2.2辅助Hades文档重构
背景：Hades 框架集成了APIDoc能力，发包后会生成一份静态 API 文档资源。文档内容的来源就是代码中函数注释。历史原因，函数的注释都不太标准，缺少很多示例，所以导致 API 文档也饱受吐槽，很多新人看不懂入参。
实现：重构的工作仅仅是改造函数注释，内容简单，但是工作量大，要求细致。也是非常适合 AI 处理，采用 Cursor 的 composer 能力，用两种不同的模式实践。
normal 模式。重构了7个ts 文件，约 90个函数注释。总计分7次，生成用时不到20分钟，但花费了约 1.5h~2h 校对、排查AI代码的 bug、重新生成。
agent 模式。重构了12个ts文件，约70个函数注释。总计分三次，生成耗时低于10分钟，校对约20分钟。
结果：总耗时约 2.5 小时（ 如果全程用 agent 模式，应该在 1 小时以内）。人工约8小时的工作量，压缩到2小时左右。
2.2.3Agent结合 MCP 写自动化脚本的验证
背景：之前实现了AI辅助生成代码能力，核心原理是利用知识库、上下文，让AI把注释翻译成对应的函数调用代码。准确度比较可观，但是缺点也明显：需要编写的注释内容尽量贴合函数的描述，并且每个步骤都需要编写注释。
思路：
规范化自动化编写流程：按照一个新人写自动化的思路，把核心的自动化背景知识、项目结构、自动化流程与规范梳理出来，让 Agent 按照该流程收集信息。比如：先分析当前用例所属模块、收集同模块其它用例脚本、收集该模块对应的函数、测试数据，综合这些信息再去编写代码。
MCP 能力封装：目前FastQA平台上收录了比较全的自动化API，可以封装成 mcp 工具，让 AI 自主调用。
Agent 任务自动触发：市面上已有比较成熟的 Agent 插件，但是每次都手动输入一大段 prompt 显然不现实。调研发现有些 Agent 插件注册了全局命令，可以供其它插件调用。所以可以尝试Hades插件去收集数据，构造 prompt，然后触发 Agent 插件任务。进一步降低使用成本。
结果：
尝试了订单、检测两个场景，多数情况能有60%~90%的准确率，但是不稳定。每次agent的思考过程都有差异，从而导致结果都不一样。 准确度也取决于用例的描述。给出描述越多、越细致，生成的越准。如果描述很粗，生成的代码比较随机单个case生成大概1.5 min~3min。属于 Agent 的正常速度。但也有例外，AI 把代码格式修改错误，然后反复调整、修正，导致时间很长。
2.3 【接口测试自动生成】
编码场景：接口自动化测试代码类
编码案例：
解决老接口逻辑模糊：缺乏文档，功能不透明，人工梳理代码效率极低；
解决新接口用例覆盖不足：难以快速理解设计逻辑，导致测试用例遗漏风险。
提效效果
通过Cursor 智能代码分析工具，可自动：
解析接口逻辑 ------快速生成功能说明，替代人工逐行阅读代码；
辅助用例设计 ------明确输入输出和业务规则，快速生成接口自动化用例；⏱ 效率提升 50%+ ，让测试工作从"盲目摸索"转向"精准出击"。
三、AI专项能力落地--助力质量效率提升优化
我们H1组织多个人员针对一些高优领域，进行AI的重点提效建设
3.1【自动化测试编码提效--AI 辅助生成 UI自动化代码】
工具原理：利用 vscode 插件能力 + AI 知识库，让 AI 根据用例步骤描述生成对应的自动化代码。也支持对缺失的包自动导包。
工具进展 ：目前对接了4 个自动化代码库：定制工具、内参、云图、coohom
存在的问题：有很多组用例规范性不足，不满足对接条件。
工具使用情况：经实际验证，定制、云图业务生成的代码准确率在 50~100%之间
3.2 【多语言错误检测-- AI助力国际化多语言异常检测】
目标：国际化翻译准确的 AI 识别，希望把 coohom 这边常用的网页设计规范让 AI 能够识别出，包括文本规范性、页面布局等等
思路：利用AI知识库能力，预设正确错误国际化翻译及布局情况，通过AI动态检测当前版本多语言情况，
进展：常态化运行中，与pub、引导配置平台、网页插件、vscode 插件进行了打通，实现多端互通。
PUB 平台引导配置网页插件：UI 自动化
3.3【自动化测试bug/issue准确度提升-- AI助力自动化错误分析】
3.3.1【UI自动化报告AI分析】，累计分析287次
优化并引入了调用链，控制台日志等，目前已经接入自动化issue
Allure 报告插件接入 ---Allure 报告对接Apollo AI分析能力
3.3.2【接口自动化失败AI分析】，累计分析173次
结合调用链、断言、响应体、状态码等信息，支持对接口自动化case、巡检case的结果进行AI辅助分析
四、MCP Server及应用搭建辅助提效
通过内部统一平台聚合测试效能，简化MCP Server接入成本。为此我们搭建了许多MCP应用。
4.1 【CF MCP Server】
能力介绍：
基于fastapi-mcp实现CF文档的读取、分析与搜索功能。
实现：
需要将cf上的内容存入到fastGPT中
拉取CF内容并转换为markdown格式（Python版）
使用fastapi-mcp编写一个sse类型的mcp
典型应用场景/提效：
自动补全或分析CF文档内容
构建CF文档知识库，支持智能搜索
4.2 【Tools MCP Server】
能力介绍：
提供负责人查询、调用链分析和日志分析能力。
典型应用场景/提效：
环境稳定性群中快速解答环境问题
一键查询服务/接口负责人信息
4.3 【Kaptain MCP Server】
能力介绍：
敏捷组信息获取与智能分析能力。
典型应用场景/提效：
快速查询敏捷组信息
智能关联相似工单补充测试用例
自动执行测试步骤并记录结果
一键生成故障分析报告
4.4 【Hades MCP Server】
能力介绍：
提供Hades框架API信息查询能力。
典型应用场景/提效：
构建API知识库，支持AI自主搜索
快速获取框架API使用方式
4.5 【Apollo UI MCP Server】
能力介绍：
测试计划信息查询与任务执行功能。
典型应用场景/提效：
接入企信群实现自动化报告收集
支持测试计划执行与重跑操作
4.6 【Kuta MCP Server】
能力介绍：
提升业务线工单排查自助能力。
思路：
Kuda平台有非常多的工具，直接将工具列表相关的信息作为一个接口的注释暴露给AI，让AI自己从工具列表中找要调用的方法和构造入参。
典型应用场景/提效：
根据输入自动匹配调用kuta工具
快速定位工单问题
4.7 【订单MCP Server】
能力介绍：
FastQA Workflow MCP接入能力。
思路：
kuta上面已经有一些现有的各种查询工具，我们可以基于此进行mcp server的开发核心工具注册typescript，只需要对应的工具id，以及对应工具需要的参数，即可注册
每个查询工具返回的数据结构不一样，可以直接在cursor的聊天窗口中，让他针对这些数据进行格式化输出和美化调整
典型应用场景/提效：
根据订单编号智能查询相关信息
快速构建业务知识库
4.8【商业平台MCP Server service】
MCP Server范畴及使用量
/cf-mcp：CF操作
/tools-mcp：服务信息查询、调用链分析、日志分析
/arc-mcp：权限权益操作
/arc-acs-mcp：用户信息查询
/arc-measurement-mcp：核豆流水数据查询
/py-mcp：输入python代码获取执行结果
4.9 【质量效能MCP Server service】MCP Server范畴及使用量
/mcp-kuta/{业务线名称}：各业务线kuta工具调用
/mcp-apollo：apollo信息查询
/mcp-hades：hades自动化框架API信息查询
/mcp-fastqa-workflow：fastqa平台工作流接口调用
/mcp-kp：kaptain信息查询
五、质量效能AI平台使用数据
对于完整的任务工作流，从需求评审、开发设计、测试、发布上线与工单处理，每个阶段质量效能团队均在搭建AI工具介入场景。下图所示为相关AI工具在各个阶段的工作场景：
当前AI探索与应用在团队内如火如荼的展开，搭建了大量的AI工具，并不断赋能运营、商务、产研同学。下图为当前AI测试平台的使用情况，另各个业务线独立AI工具单独统计，不再单独展示：
六、小结
本文内容是我们团队进行了明确的专项和规划后所取得的一些进展，欢迎有类似述求的团队沟通讨论。随着AI的持续发展，我们已然看到了它对于互联网及软件工程领域带来的巨大价值，测试领域也是受用方之一。
AI是一个万花筒，对于我们测试同学来说不仅要持续学习AI、掌握AI，更要结合我们实际业务场景和诉求，合理利用AI能力，与我们现有的系统、流程做深度结合，才能发挥它最大的价值。
推荐阅读
AI驱动的工单系统能力全景解析：助力企业智能升级"失控的开关"：技术债务治理的破局之道错过这篇"技术支持AI知识库搭建"，你可能后悔整个 2025 年！JSON 断言器，让测试自动化效能狂飙
页:
[1]