AI呀
早报 资讯 工具 素材 学习 排行 社区
店铺 登录
开源项目 agent-sh 2026-10-13

computer-use-linux:让 agent 用语义而不是像素控制 Linux 桌面,原生支持 Wayland

agent-sh 开源的 computer-use-linux(MIT,用 Rust 写)把「让 AI 操作真的 Linux 桌面」做成一个 MCP server:任何支持 MCP 的宿主——Codex Desktop 的 Linux 版、Claude Desktop、Nous Research 的 Hermes Agent,或你自己的客户端——都能拉起它,然后读取无障碍树、列出并聚焦窗口、截图、点击、拖拽、滚动、输入,以及调用语义级的无障碍动作。它补的是一个长期被忽略的空档:多数 computer-use 类 MCP 服务只支持 macOS,少数支持 Linux 的要么用 xdotool 怼 X11 根窗口、要么对截图做 OCR。这个项目有四点冲着头疼的地方去:第一,Wayland 真能用,指针动作可以走 org.freedesktop.portal.RemoteDesktop,兜底是 ydotool/uinput,按不同合成器选择文字注入方式(Plasma 走 KDE 剪贴板、兼容的 Wayland 合成器用 wtype、其余用 portal keysyms);第二,窗口定位认合成器,按 GNOME Shell 扩展、GNOME Introspect、COSMIC、KWin DBus、Hyprland hyprctl、niri IPC、i3 IPC、通用 X11 的顺序尝试,并告诉你哪个后端生效、其余为什么失败;第三,按语义选择器而不是像素坐标操作,click、perform_action、set_value 支持基于 AT-SPI 的 role/name/text/states,像素坐标只作为渲染型界面(画布、游戏、没有 ATK 的 X 客户端)的兜底;第四,一条 computer-use-linux doctor 命令给出一份 JSON 就绪报告,先把环境摸清再动手。它同时提供 crates.io 的 Rust crate 与 npm 包两种安装方式,并带预编译二进制。

MCP计算机使用LinuxWayland开源
查看原文 / 来源 · github.com ↗
AI呀 · 聚合 AI 资讯与应用