電腦控制
電腦控制讓 Agent 操作你的桌面:截屏、讀取界面元素、點擊、輸入、按鍵、滾動。
開啓
設定、電腦控制:
- 開啓「啓用電腦控制」總開關
- macOS 需授權輔助功能(滑鼠鍵盤控制)與屏幕錄製 3- 授權後重啓 LanMate 生效
工具能力
| 工具 | 能力 | 需確認 |
|---|---|---|
| computer_screenshot | 截取主屏(含界面元素樹) | 否 |
| computer_get_active_app | 獲取前台應用名 | 否 |
| computer_get_ui_tree | 獲取界面元素樹 | 否 |
| computer_click | 邏輯座標點擊/右鍵/雙擊 | 是 |
| computer_type | 在焦點輸入文本 | 是 |
| computer_press_key | 組合鍵 | 是 |
| computer_scroll | 滾動 | 是 |
安全策略
- 總開關:預設關閉,每次調用即時檢查
- 應用白名單:非白名單應用觸發寫操作時彈確認(允許一次/始終允許/拒絕)
- 無人值守:渠道/定時任務會話僅白名單內應用放行,其餘直接拒絕
Agent 標準 loop:截圖或讀元素樹 → 定位元素 → 點擊/輸入 → 截圖驗證。
平台支援
| 平台 | 狀態 |
|---|---|
| macOS | 已支援 |
| Windows | 已支援 |
| Linux | 已支援(麒麟 / 統信) |