Midscene.js

Midscene.js 是一个基于人工智能技术的 UI 自动化测试 SDK，通过自然语言交互与多模态大语言模型（LLM）能力，简化自动化测试的编写与执行流程。该工具面向开发者及测试人员，提供直观、高效的测试方案，同时支持非技术背景用户参与部分测试任务。

Midscene.js官网入口网址：https://midscenejs.com/zh/index.html

核心功能

• 自然语言驱动操作：用户可使用类似“点击登录按钮”这样的自然语言指令描述测试步骤，系统自动识别页面元素并执行相应操作。同时支持指定输出格式（如 JSON），便于结构化数据提取与验证。
• 多模态模型兼容：支持接入 GPT-4 等公共多模态 LLM，也兼容开源模型如 UI-TARS，无需额外训练即可使用，降低入门门槛。
• 自然语言断言：测试预期结果可通过自然语言表达，系统借助 AI 理解语义并完成验证，减少对复杂断言逻辑的依赖。
• 可视化调试支持：提供包含每步执行状态与结果的可视化报告，并内置 Playground 功能，允许在不刷新页面的情况下即时调整和重试脚本。
• 灵活集成能力：可与 Puppeteer、Playwright 等主流测试框架结合，亦支持 YAML 脚本定义流程。部署方式包括公有云或私有环境，兼顾效率与数据安全。
• 开源开放：项目代码已在 GitHub 开源，配套文档涵盖快速入门指南、API 说明及可视化工具使用说明，便于社区协作与二次开发。

典型应用场景

• Web 应用的端到端自动化测试
• 从动态网页中提取结构化数据
• 跨设备、跨浏览器的界面一致性校验
• 前端性能指标的持续监控

技术实现基础

Midscene.js 的运行机制融合了自然语言处理、网页结构理解与多模态推理能力。系统首先解析用户输入的自然语言指令，继而利用 AI 模型识别当前页面中的可操作元素，最终生成并执行对应动作，同时完成数据提取与结果验证。

使用流程

1. 安装官方提供的 Chrome 插件；
2. 在插件界面中输入自然语言形式的测试指令；
3. 查看自动生成的执行报告，并通过 Playground 进行脚本调优。

作为一款面向现代 Web 应用的智能测试工具，Midscene.js 在提升测试效率的同时，拓展了自动化测试的参与边界。其开源属性与良好的扩展性，使其适用于从个人开发者到企业级测试团队的多样化需求。