开发
OmniParser V2: Turning Any LLM into a Computer Use Agent
把任意 LLM 变成能操作电脑的 GUI 智能体
访问官网
访问方式:未知
它是什么
OmniParser V2 是微软研究院发布的 GUI 解析工具,它把界面截图从像素空间“token 化”为 LLM 可理解的结构化元素,使模型能基于解析出的可交互元素预测下一步操作。相比上一版,它在检测更小可交互元素时准确率更高、推理更快,并通过缩小图标描述模型的图像尺寸将延迟降低 60%。官方还提供 Docker 化的 Windows 系统 OmniTool,可配合 OpenAI、DeepSeek、Qwen 和 Anthropic 等模型组合完成屏幕理解、定位、动作规划与执行。
典型使用场景
- GUI 自动化智能体
- 界面截图元素解析
- 可交互图标检测
- 多模型电脑操作实验
工具信息
- 分类
- 开发
- 标签
- GUI 自动化 · 界面解析 · 计算机使用智能体 · 微软研究院 · 多模态