WorkBuddy「电脑操控」上线,用完彻底回不去了
WorkBuddy 上线电脑操控,补齐浏览器操控、远程遥控之后的第三块拼图。开辅助功能和屏幕录制两道权限,它就能跨应用点按、输入、读屏,实测开元宝问问题、刷朋友圈、代发微信消息都做完了。

WorkBuddy 近期大招频发,密集上线新自动化操控能力。
先上线了浏览器操控,。
通过浏览器扩展程序,让 WorkBuddy 操控你的浏览器,帮你干活。

紧接着,上线了远程遥控。
电脑不在身边时,通过手机控制电脑桌面,来帮你干活。

现在,WorkBuddy 上线了第三项自动化操控能力。
这次更厉害,是电脑操控能力。
要通过 WorkBuddy 自动操作你电脑上的各项应用,帮你干活。
打开 WorkBuddy 设置-智能体,可看到「电脑操控」入口。

页面显示,仍为Beta版。提示:
安装成功后,WorkBuddy可使用电脑操控能力,你可以随时停止。使用过程中可能会截屏或读取窗口内容,相关权限可在系统设置中收回。
WorkBuddy,这是要接管你的电脑。
在授权范围内,通过自动操作你电脑上的任意应用,来完成任务。
实测丝滑体验如下。
用完后,回不去了。
一、安装和启动
我点击「安装」,很快就完成了。

那如何使用呢?
遇事不决问 AI,打开 WorkBuddy 问问就好了。
其实我大概知道如何使用,但我还是想让 WorkBuddy 自己回答下,指令:
WorkBuddy 新上线的电脑操控,如何使用?

它告诉我,开启 2 个权限后,在 WorkBuddy 对话里说需求就行。
我按照要求,开启电脑辅助功能、屏幕录制两个权限。

辅助功能权限,用来模拟鼠标键盘操作。用于执行点击、输入任务。
屏幕录制权限,用来截图识别屏幕,判断点击位置。
完成授权后,记得按照要求退出并重新打开,这样权限才能写入 WorkBuddy。

然后,也会看到电脑设置里,辅助功能、屏幕录制下,多了一个 WorkBuddy Computer Use 授权。

然后,就可以在 WorkBuddy 中,下指令。
让 WorkBuddy 操作电脑上应用,做任务了。
二、执行任务
WorkBuddy 操作电脑,是通过操作电脑上的应用,来完成任务。
属于跨应用操作。
1 打开元宝输入问题
我先让 WorkBuddy 打开元宝,问问:
打开元宝桌面客户端,输入「元宝搜索 C 端产品,是什么时候发布的?并介绍下这款产品。」
可以看到,它已调用了电脑操作的工具。

它找到并打开了元宝,但是涉及积分消耗,会征得你的同意。我同意后,它开始执行。

可以看到,有个小鼠标,在操作我的电脑。

没多久,就给我返回了结果。

2 查看和总结最新朋友圈内容
然后,我又让它:
帮我打开微信,打开朋友圈,浏览最近的3 条朋友圈内容,总结发给我

这次操作,耗时有点长(中间走了一个我人工导致的弯路,微信窗口我设置得太小了),但是最终还是完成了。

它甚至是先刷新你朋友圈后,再读取最新的朋友圈信息。

3 微信代发消息
然后,我继续为难它,让它帮我发微信。
帮我打开微信,然后在置顶的对话中找到河豚小姐姐,问一问她今晚什么时候下班。然后带上括号里面写上 WorkBuddy 自动发送。
没想到,它比我预想的厉害,很快就找到了联系人,然后进行输入、发送操作。

消息已发送,对方也回复了。

我沿着 WorkBuddy 的思路,让它帮我看看,对方回复了什么。
它很快读取屏幕内容,完成了操作。

4 和千问办公打个招呼
然后,我又调皮了一下,让 WorkBuddy 启动千问办公,和它打个招呼。
打开千问办公,输入 你好,我是 WorkBuddy,过来和你打个招呼。然后点击发送
具体操作,录屏如下(建议 2 倍速观看)。
具体操作过程,有点点慢。
虽然是简单指令,但是 Agent 需要做很多处理和判断。
虽然稍微慢点,但你可以完全解放双手,让它自动化去执行。
特别是一些文字类的、创意类的、重复工作类的。
你人离开的时候,自己把电脑交给它。
比如,帮你查看企业微信消息,总结工作内容。
帮你打开公众号后台,模拟你的风格,帮助回复评论。
帮你打开文档,查看这周的工作记录,完成工作总结和周报等。
就看你如何用。
因为它是不需要你建立任何MCP连接,跨应用进行操作的。
三、添加禁止操作应用
操作电脑,属于进比较敏感的操作。
WorkBuddy 对于这方面的考量,也比较到位。
可添加禁止 WorkBuddy 操作的应用。

点击「添加应用」,可选择电脑上,不想让 WorkBuddy 自动操作的应用。

比如我把微信、密码管理、照片,设置为禁止操作。

如果你想取消禁止,点击应用后的删除按钮就行。
非常便捷。
这样,你敏感的、个人信息相关的应用,就被限制住被自动访问、操作了。
有效地限制了 Agent 的自动化操作范围。
四、体验小结
从体验中,我们可以看到。
WorkBuddy 电脑操控(workbuddy-computer-use),是通过截图进行识别、理解、点击、输入、确认、读取信息等操作的。
也就是 GUI Agent(图形用户界面智能体),通过模拟人类对屏幕的“看”和“点”,操作现有APP界面。
这是 AI 进行电脑操作、手机操作通用的处理方式。
WorkBuddy 推出电脑操控,恰好是在腾讯 Hy4 发布不久。
因为 Hy4 这次新增了一个能力:首次支持电脑操作,可灵活地结合使用命令行和图形界面。

这也是为何 WorkBuddy,会选择 Hy4 发布后,上线电脑操控的原因。
在整个实测体验中。
执行电脑操作的过程,还是很丝滑的。
能非常好地理解和完成任务。
并且可自主设置禁止 WorkBuddy 操作的应用,来限制 Agent 的自动操控范围。
现在 WorkBuddy 自动化操控三板斧:
浏览器操控、远程桌面操控、电脑操控。
都已上线。
那这三种操控的区别是什么?
虽然是自动化操控,但应用场景,完全不一样。
浏览器操控,自动化操作你的浏览器,仅限于执行浏览器中的任务。
远程桌面操控,是通过手机操作你的电脑。
电脑操控,是 WorkBuddy 自动操作你电脑,模拟你操作电脑上的任何文件、应用。

浏览器操控、远程桌面操控,是给你多一双手。
电脑操控是给你多一个分身。
以前是人在给 Agent 下指令。
有电脑操控后,是 Agent 替你坐在电脑前。
WorkBuddy 这是把电脑从你用的工具,变成了替你上班的同事。
本文由作者【三哥】,微信公众号:【产品笔记】,原创/授权 发布于人人都是产品经理,未经许可,禁止转载。
题图来自Unsplash,基于 CC0 协议。
内容来自 人人都是产品经理,版权归原作者所有。
阅读原文 ↗