電腦控制
電腦控制令藍莓辦公好似人一樣操作你嘅桌面:睇螢幕、認掣、點擊、打字、拖拽,亦可以打開同切換應用。macOS 上仲可以喺你做緊其他嘢嘅時候後台操作,唔搶你嘅滑鼠同鍵盤。
開啟
設定 → 電腦控制:
- 打開「啟用電腦控制」總開關
- macOS 授予「輔助使用」(滑鼠鍵盤、界面元素)同「螢幕錄製」權限
- 授權後重啟藍莓辦公生效
Linux 需要 xdotool 同 python3-pyatspi;缺依賴時設定頁會提示安裝命令。
佢睇得到啲乜
設定入面可以揀三種截屏返回方式:
| 模式 | 適合 |
|---|---|
| 僅截圖 | 只睇畫面,適合圖像識別類操作 |
| 僅界面元素 | 讀取掣、輸入框等結構化列表,座標更準,大型應用讀取較慢 |
| 截圖 + 界面元素 | 兩樣都返回,預設更穩 |
對應嘅工具有 computer_screenshot / computer_screenshot_window、computer_get_ui_tree、computer_get_app_state、computer_get_active_app。
做到啲乜
| 能力 | 工具 |
|---|---|
| 撳、拖拽、捲動 | computer_click / computer_drag / computer_scroll / computer_move_mouse |
| 輸入文字、按鍵、填值 | computer_type / computer_press_key / computer_set_value / computer_select_text |
| 操作界面元素 | computer_ax_act(按元素語義操作,唔靠座標猜) |
| 開應用、切窗口、等待 | computer_open_app / computer_activate_window / computer_wait_for |
| 教學錄製 | computer_start_teach_record / computer_stop_teach_record |
| 已學技能 | computer_list_learned_skills / computer_refine_skill / computer_forget_skill |
撳、輸入呢類會改動電腦嘅操作,預設先問你;可以揀「始終允許操作桌面軟件」,或者按應用逐個放行。
後台操作(macOS)
藍莓辦公可以喺你用電腦做緊其他嘢嘅時候操作另一個應用:你嘅滑鼠同鍵盤完全唔受影響。適合畀佢填表、整理檔案時,你繼續做自己嘢。
教學錄製
呢個係 1.0.x 入面嘅重點能力:將你親手做一次嘅流程,蒸餾成可以重用嘅技能。
設定 → 電腦控制 → 教學錄製:
- 手動開始:撳「開始錄製」,照常做嘢,再撳「結束並總結」
- 每個任務自動:藍莓辦公每次操作電腦都錄製,任務結束自動總結
錄製結束之後只提交脫敏後嘅步驟(觸發條件、輸入、操作、驗證),截圖跟住技能保存喺本機。冇可以重用嘅固定步驟時,會明確同你講冇生成技能。
已學技能喺同一個設定頁管理:睇得到回放次數,亦可以「遺忘技能」——技能目錄、步驟同關鍵幀一齊刪除,冇得復原。
接管 Office 文件
電腦控制開啟之後,藍莓辦公仲可以直接接手你而家開住嘅 Word / Excel / PPT:
- 先讀取你編輯緊嘅內容,理解上下文之後先落手
- 按你嘅指示就地修改(例如「喺呢段後面補一版風險提示」),唔使閂窗口、唔使匯出檔案
- 第一次呼叫需要授權系統自動化權限,寫入仍然要經審批
更完整嘅人機共編體驗(左側對話 + 修訂落款)見檔案與產物嘅辦公文件編輯。
畫中畫監視
設定 → 電腦控制 → 畫中畫監視:藍莓辦公操作邊個應用,就將嗰個應用嘅實時畫面投去置頂小窗。佢做緊乜你睇得一清二楚,但你嘅滑鼠鍵盤唔會被佔用。
安全底線
- 總開關預設關閉,隨時可以閂
- 改動操作先問:撳、輸入、拖拽之前彈確認;可以按應用記住授權
- 自動任務更嚴格:藍信渠道、定時任務只能操作白名單內嘅應用,其他一律拒絕
- 密碼框唔掂:遇到密碼輸入會停低畀你自己入
- 操作遙測預設關閉:只作為本地診斷數據;要將操作變成技能,用「教學錄製」
平台支援
| 平台 | 狀態 |
|---|---|
| macOS | 支援(輔助使用 + 螢幕錄製) |
| Windows | 支援 |
| Linux | 支援(需要 xdotool / python3-pyatspi;部分增強能力取決於系統版本) |