电脑控制
电脑控制让 Agent 操作你的桌面:截屏、读取界面元素、点击、输入、按键、滚动。
开启
设置、电脑控制:
- 开启「启用电脑控制」总开关
- macOS 需授权辅助功能(鼠标键盘控制)与屏幕录制 3- 授权后重启 LanMate 生效
工具能力
| 工具 | 能力 | 需确认 |
|---|---|---|
| computer_screenshot | 截取主屏(含界面元素树) | 否 |
| computer_get_active_app | 获取前台应用名 | 否 |
| computer_get_ui_tree | 获取界面元素树 | 否 |
| computer_click | 逻辑坐标点击/右键/双击 | 是 |
| computer_type | 在焦点输入文本 | 是 |
| computer_press_key | 组合键 | 是 |
| computer_scroll | 滚动 | 是 |
安全策略
- 总开关:默认关闭,每次调用即时检查
- 应用白名单:非白名单应用触发写操作时弹确认(允许一次/始终允许/拒绝)
- 无人值守:渠道/定时任务会话仅白名单内应用放行,其余直接拒绝
Agent 标准 loop:截图或读元素树 → 定位元素 → 点击/输入 → 截图验证。
平台支持
| 平台 | 状态 |
|---|---|
| macOS | 已支持 |
| Windows | 已支持 |
| Linux | 已支持(麒麟 / 统信) |