电脑控制
电脑控制让蓝莓办公像人一样操作你的桌面：看屏幕、认按钮、点击、打字、拖拽，也能打开和切换应用。macOS 上还能在你干别的时候后台操作，不抢你的鼠标和键盘。
开启
设置 → 电脑控制：
- 打开「启用电脑控制」总开关
- macOS 授予「辅助功能」（鼠标键盘、界面元素）与「屏幕录制」权限
- 授权后重启蓝莓办公生效
Linux 需要 xdotool 与 python3-pyatspi；缺依赖时设置页会提示安装命令。
它能看到什么
设置里可选三种截屏返回方式：
| 模式 | 适合 |
|---|---|
| 仅截图 | 只看画面，适合图像识别类操作 |
| 仅界面元素 | 读取按钮、输入框等结构化列表，坐标更准，大型应用读取较慢 |
| 截图 + 界面元素 | 两者都返回，默认更稳 |
对应的工具有 computer_screenshot / computer_screenshot_window、computer_get_ui_tree、computer_get_app_state、computer_get_active_app。
能做什么
| 能力 | 工具 |
|---|---|
| 点按、拖拽、滚动 | computer_click / computer_drag / computer_scroll / computer_move_mouse |
| 输入文字、按键、填值 | computer_type / computer_press_key / computer_set_value / computer_select_text |
| 操作界面元素 | computer_ax_act（按元素语义操作，不靠坐标猜） |
| 开应用、切窗口、等待 | computer_open_app / computer_activate_window / computer_wait_for |
| 教学录制 | computer_start_teach_record / computer_stop_teach_record |
| 已学技能 | computer_list_learned_skills / computer_refine_skill / computer_forget_skill |
点按、输入这类会改动电脑的操作，默认先问你；可以选「始终允许操作桌面软件」，或按应用逐个放行。
后台操作（macOS）
蓝莓办公可以在你用电脑干别的时候操作另一个应用：你的鼠标和键盘完全不受影响。适合让它填表、整理文档时，你继续做自己的事。
教学录制
这是 1.0.x 里的重点能力：把你亲手做一遍的流程，蒸馏成可复用技能。
设置 → 电脑控制 → 教学录制：
- 手动开始：点「开始录制」，照常做事，再点「结束并总结」
- 每个任务自动：蓝莓办公每次操作电脑都录制，任务结束自动总结
录制结束后只提交脱敏后的步骤（触发条件、输入、操作、验证），截图随技能保存在本机。没有可复用的固定步骤时，会明确告诉你没生成技能。
已学技能在同一个设置页管理：能看到回放次数，也可以「遗忘技能」——技能目录、步骤与关键帧一起删除，不可恢复。
接管 Office 文档
电脑控制开启后，蓝莓办公还能直接接手你当前正开着的 Word / Excel / PPT：
- 先读取你正在编辑的内容，理解上下文后再动手
- 按你的指示就地修改（如「在这一段后面补一版风险提示」），不用关窗口、不用导出文件
- 首次调用需授权系统自动化权限，写入仍走审批
更完整的人机共编体验（左侧对话 + 修订落款）见文件与产物的办公文档编辑。
画中画监视
设置 → 电脑控制 → 画中画监视：蓝莓办公操作哪个应用，就把那个应用的实时画面投到置顶小窗。它干什么你看得一清二楚，但你的鼠标键盘不被占用。
安全底线
- 总开关默认关闭，随时可以关掉
- 改动操作先问：点按、输入、拖拽前弹确认；可以按应用记住授权
- 自动任务更严格：蓝信渠道、定时任务只能操作白名单内的应用，其他一律拒绝
- 密码框不碰：遇到密码输入会停下来让你自己输
- 操作遥测默认关闭：只作为本地诊断数据；要把操作变成技能，用「教学录制」
平台支持
| 平台 | 状态 |
|---|---|
| macOS | 支持（辅助功能 + 屏幕录制） |
| Windows | 支持 |
| Linux | 支持（需 xdotool / python3-pyatspi；部分增强能力依赖系统版本） |