電腦控制 | 藍莓辦公(LanMate)使用手冊
用緊奇安信版藍莓辦公?睇奇安信版使用手冊

電腦控制

電腦控制令藍莓辦公好似人一樣操作你嘅桌面:睇螢幕、認掣、點擊、打字、拖拽,亦可以打開同切換應用。macOS 上仲可以喺你做緊其他嘢嘅時候後台操作,唔搶你嘅滑鼠同鍵盤。

開啟

設定 → 電腦控制:

  1. 打開「啟用電腦控制」總開關
  2. macOS 授予「輔助使用」(滑鼠鍵盤、界面元素)同「螢幕錄製」權限
  3. 授權後重啟藍莓辦公生效

Linux 需要 xdotool 同 python3-pyatspi;缺依賴時設定頁會提示安裝命令。

佢睇得到啲乜

設定入面可以揀三種截屏返回方式:

模式 適合
僅截圖 只睇畫面,適合圖像識別類操作
僅界面元素 讀取掣、輸入框等結構化列表,座標更準,大型應用讀取較慢
截圖 + 界面元素 兩樣都返回,預設更穩

對應嘅工具有 computer_screenshot / computer_screenshot_window、computer_get_ui_tree、computer_get_app_state、computer_get_active_app。

做到啲乜

能力 工具
撳、拖拽、捲動 computer_click / computer_drag / computer_scroll / computer_move_mouse
輸入文字、按鍵、填值 computer_type / computer_press_key / computer_set_value / computer_select_text
操作界面元素 computer_ax_act(按元素語義操作,唔靠座標猜)
開應用、切窗口、等待 computer_open_app / computer_activate_window / computer_wait_for
教學錄製 computer_start_teach_record / computer_stop_teach_record
已學技能 computer_list_learned_skills / computer_refine_skill / computer_forget_skill

撳、輸入呢類會改動電腦嘅操作,預設先問你;可以揀「始終允許操作桌面軟件」,或者按應用逐個放行。

後台操作(macOS)

藍莓辦公可以喺你用電腦做緊其他嘢嘅時候操作另一個應用:你嘅滑鼠同鍵盤完全唔受影響。適合畀佢填表、整理檔案時,你繼續做自己嘢。

教學錄製

呢個係 1.0.x 入面嘅重點能力:將你親手做一次嘅流程,蒸餾成可以重用嘅技能。

設定 → 電腦控制 → 教學錄製:

錄製結束之後只提交脫敏後嘅步驟(觸發條件、輸入、操作、驗證),截圖跟住技能保存喺本機。冇可以重用嘅固定步驟時,會明確同你講冇生成技能。

已學技能喺同一個設定頁管理:睇得到回放次數,亦可以「遺忘技能」——技能目錄、步驟同關鍵幀一齊刪除,冇得復原。

接管 Office 文件

電腦控制開啟之後,藍莓辦公仲可以直接接手你而家開住嘅 Word / Excel / PPT:

更完整嘅人機共編體驗(左側對話 + 修訂落款)見檔案與產物嘅辦公文件編輯。

畫中畫監視

設定 → 電腦控制 → 畫中畫監視:藍莓辦公操作邊個應用,就將嗰個應用嘅實時畫面投去置頂小窗。佢做緊乜你睇得一清二楚,但你嘅滑鼠鍵盤唔會被佔用。

安全底線

平台支援

平台 狀態
macOS 支援(輔助使用 + 螢幕錄製)
Windows 支援
Linux 支援(需要 xdotool / python3-pyatspi;部分增強能力取決於系統版本)