TodayAI
开发

OmniParser V2: Turning Any LLM into a Computer Use Agent

把任意 LLM 变成能操作电脑的 GUI 智能体

访问官网

访问方式:未知

它是什么

OmniParser V2 是微软研究院发布的 GUI 解析工具,它把界面截图从像素空间“token 化”为 LLM 可理解的结构化元素,使模型能基于解析出的可交互元素预测下一步操作。相比上一版,它在检测更小可交互元素时准确率更高、推理更快,并通过缩小图标描述模型的图像尺寸将延迟降低 60%。官方还提供 Docker 化的 Windows 系统 OmniTool,可配合 OpenAI、DeepSeek、Qwen 和 Anthropic 等模型组合完成屏幕理解、定位、动作规划与执行。

典型使用场景

  • GUI 自动化智能体
  • 界面截图元素解析
  • 可交互图标检测
  • 多模型电脑操作实验

工具信息

分类
开发
标签
GUI 自动化 · 界面解析 · 计算机使用智能体 · 微软研究院 · 多模态

官方资料