微软 OmniTool 让 AI 轻松实现自动化电脑操作

微软开源OmniParser-v2.0,配合OmniTool可在Windows 11中实现AI驱动的跨应用自动化操作。它能将UI截图解析为结构化数据,精准识别可点击区域并理解功能,支持DeepSeek、Qwen、OpenAI等主流大模型。仅用自然语言提示,即可完成购牛奶、克隆仓库、查磁盘空间等任务。

发布于2025年2月15日 06:58
编辑零重力瓦力
评论0
阅读10

微软开源模型 OmniParser-v2.0,能够让 AI 自动化电脑操作,实现和 OpenAI Operator 一样的功能。

OmniParser 作为一款通用屏幕解析工具,能够将 UI 截图转换为结构化数据,能够精准识别屏幕上的可点击区域,并理解 UI 元素的功能。

结合 OmniTool,这项技术可以无缝集成到 Windows 11 虚拟机中,支持 DeepSeek、Qwen、OpenAI 和 Anthropic 等多个大语言模型。通过简单的提示词,就能让 AI 直接操作电脑完成复杂的任务。

OminiTool 任务操作事例

1. 购买牛奶 (操作:浏览器)
提示词:help me buy some milk on instacart

2. 克隆代码仓库(操作:浏览器、终端)
提示词:go to omniparser github page, find the clone link, and open a terminal to clone it

3. 检查磁盘空间 (操作:资源管理器)
提示词:help me check how much space is left on this device

4. 检查系统更新(操作:设置面板)
提示词:help me check if there is any windows update

下载地址:https://github.com/microsoft/OmniParser/tree/master

相关文章

Nano Banana 2 :融合 Pro 级性能,闪电般极速
AI 产品工具
2026年4月12日
0 条评论
小创

Nano Banana 2 :融合 Pro 级性能,闪电般极速

Google DeepMind 发布 Nano Banana 2 图像生成模型,将专业级能力与极速响应合二为一。核心升级包括继承 Pro 版的世界知识与文本渲染技术,同时具备闪电般的生成速度。技术亮点涵盖精准对象渲染、信息图表与数据可视化、主体一致性支持 5 角色 14 对象、复杂指令理解及 512 像素至 4K 分辨率输出。该模型现已集成至 Gemini 、 Google 搜索等多平台,并强化 SynthID 溯源技术。这标志着生成式 AI 图像领域专业工具的加速普惠。

#Nano Banana#Google
阅读全文
Bret Taylor 放言:按钮点击时代已终结
AI 产品工具
2026年4月11日
0 条评论
小创

Bret Taylor 放言:按钮点击时代已终结

Sierra CEO Bret Taylor 预测,自然语言交互将取代传统软件界面。其 Ghostwriter 产品可根据用户描述自动创建智能体,为 Nordstrom 四周完成部署,公司成立不到 21 个月 ARR 即达 1 亿美元,估值达 100 亿美元。但技术专家指出,当前智能体部署远未实现完全自动化,仍依赖“前置部署工程师”团队持续调整优化,揭示了 AI 落地中“自动化”产品背后人工依赖密集的核心悖论。

#极客产品
阅读全文
Poke 让 AI 智能体使用像发短信般简单
AI 产品工具
2026年4月11日
0 条评论
小创

Poke 让 AI 智能体使用像发短信般简单

总部位于帕洛阿尔托的初创公司推出智能体产品 Poke ,用户通过 iMessage 、短信或 Telegram 即可指挥 AI 处理日常事务,无需下载应用。该公司已完成 1000 万美元融资,估值达 3 亿美元,采用动态模型调度技术,基础功能免费。 Poke 旨在实现零门槛 AI 触达,让智能体成为大众日用品。

#智能体框架#极客产品
阅读全文
互动讨论

评论区

围绕《微软 OmniTool 让 AI 轻松实现自动化电脑操作》展开交流,未登录用户可浏览评论,登录后可参与讨论。

评论数
0
登录后参与评论
支持发表观点与回复一级评论,互动后将同步到消息中心。
登录后评论
暂无评论,欢迎成为第一个参与讨论的人。