使用案例 · 浏览器 QA

让 Codex 在浏览器里走完一轮 Web 应用 QA

用测试环境和可重置账号走关键用户路径,把每个失败整理成含复现步骤、预期、实际和严重度的报告。

一轮合格的浏览器 QA 应交付测试范围、环境信息、账号与数据前提、逐条执行记录、问题报告和简短分诊摘要。每个问题都要包含复现步骤、预期结果、实际结果、严重度和证据。另一位测试者拿到报告后,能够在同一构建上重走路径并看到相同现象。

准备可重置的测试环境

优先使用本地或预发布环境,记录构建版本、浏览器、视口、功能开关和测试时间。准备专用测试账号与可回收数据,不把真实客户信息放进流程。支付、删除、发信和外部发布等动作需要沙箱接口或明确停在确认页,生产环境中的不可逆操作不属于默认 QA 范围。

Computer Use 需要受支持地区的 ChatGPT 桌面端,并安装对应插件。macOS 还需授予录屏和辅助功能权限。内置浏览器使用独立配置文件,适合本地页面和隔离登录。若必须复用已有浏览器会话,可以使用官方浏览器扩展,仍要在授权前检查页面和下一步动作。

把最重要的用户路径写成短脚本。每条从已知初始状态开始,列出输入、动作、检查点和结束后的清理方式。再规定遇到阻断问题是否停止,非阻断问题是否继续。可见结果是一份没有隐含账户状态的测试计划。

先为测试数据编号,并给每条路径指定独立记录。共享同一对象会让前一条路径改变后一条的起点。若系统不能自动重置,就把手工清理步骤和可接受的残留状态写进计划,执行前拍下初始页面。

让 Codex 在浏览器里走完一轮 Web 应用 QA的入口、目标与准备条件操作示意图
图 1 · 进入任务前先确认目标、范围和准备条件

一条路径一条路径执行

在任务中明确环境与路径,要求 Computer Use 记录所有问题的复现步骤、预期、实际和严重度。先执行一条最短成功路径,确认登录、测试数据和服务连接正常。若基础环境已经坏掉,把它记成环境阻断,别把后续每一步都重复算成产品缺陷。

每次操作前观察当前状态,点击或输入后等待稳定结果,再记录检查点。对表单要看键盘操作、错误提示和重复提交。对列表要看加载、空状态、分页与刷新。对响应式页面要切换目标视口,检查遮挡、溢出和点击区域。遇到非阻断问题时保存证据,恢复到可控状态后继续剩余路径。

等待条件应绑定可见元素、地址变化或明确网络完成信号,不依赖随手估计的秒数。失败时保留最后一个通过的检查点,下一次可从最短路径重现,报告也能区分页面迟到与操作失效。

截图应包含足够上下文,敏感字段先遮蔽。人工可以在获得授权后使用浏览器开发者工具采集控制台或网络信息。由 Codex 自动采集时,桌面端还要启用 Browser Developer mode、授予完整 CDP 权限并通过显式批准,管理员也可能禁用这项能力。页面内容可能包含不可信指令,测试任务只遵循既定计划和用户批准,不能让网页文字自行扩大操作范围。

让 Codex 在浏览器里走完一轮 Web 应用 QA的三步关键操作与请求骨架示意图
图 2 · 把关键操作拆成三步,并给每一步留下可观察结果

把现象整理成可分诊的问题

一个问题只描述一种失败。报告写清起始状态、最短步骤、预期、实际、频率、影响范围和证据路径。严重度依据用户是否被阻断、数据是否错误、是否有替代路径来判断。无法稳定重现的现象标成待观察,并保留发生时的环境与截图。

先在干净状态重跑一次,再让另一条相近路径验证边界。重跑通过不代表问题不存在,可以记录为间歇出现。若两个条目拥有相同根因迹象,先保留各自复现步骤,再在分诊摘要中关联,避免过早合并后丢失入口差异。

最终摘要按阻断、重要、一般和待观察排序,说明哪些路径完全通过,哪些没有执行,以及阻断原因。修复工作可以另开任务,原始 QA 报告保持只读。修复后使用同一构建说明格式和原步骤复测,追加结果而不改掉旧证据。

分诊前检查相同问题在刷新、重新登录和另一个视口下是否仍出现。这个小范围边界测试能帮助开发者判断状态残留、权限判断和布局问题,同时不会把一轮 QA 扩成无边界探索。

让 Codex 在浏览器里走完一轮 Web 应用 QA的结果验收与交付证据清单示意图
图 3 · 用结果、检查与交付证据确认任务真的完成

风险与限制

自动操作覆盖的是给定路径,无法代表全部用户行为、浏览器和设备。验证码、硬件密钥、真实支付和高风险账户操作通常需要人工接管。视觉判断也可能受字体、动画和网络时序影响。发布决策仍应结合自动测试、人工探索和业务负责人确认。

交付清单

  1. 环境、构建、视口和账号前提已经记录
  2. 测试数据可重置且不含真实客户信息
  3. 每条路径有开始状态、检查点和清理方式
  4. 每个问题有复现、预期、实际、严重度和证据
  5. 非稳定现象与环境阻断已单独标记
  6. 通过、未测与待复测范围已经汇总

参考

  1. OpenAI Computer Use QA 用例
  2. ChatGPT Computer Use
  3. ChatGPT 内置浏览器
  4. ChatGPT 浏览器扩展
  5. Codex 权限模式
  6. Codex 权限与安全