v0.7: 以 AALC 为底座重建 MCP server
- AALC 作为 submodule (vendor/aalc @ 7452fad), 不改其代码 - 低层工具走 AALC auto/ocr/模板匹配; 高层 run_task 跑 AALC 现成流程(子进程, 可强杀) - 常驻服务跑在交互桌面会话 + stdio bridge (token 认证), 取代每次截图注册计划任务 - 删除自写的截图/输入/OCR 后端 - 测试: FakeEngine 覆盖协议、任务生命周期、TCP+bridge 端到端 Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
@@ -1,68 +1,92 @@
|
|||||||
# lc-mcp — Limbus Company 语义化操控 MCP server (跨平台)
|
# lc-mcp — 基于 AALC 的 Limbus Company MCP server
|
||||||
|
|
||||||
给 AI agent (codex / deepseek / 任意 MCP 客户端) 提供**语义化**游戏操控,
|
把 [AhabAssistantLimbusCompany (AALC)](https://github.com/KIYI671/AhabAssistantLimbusCompany)
|
||||||
解决"盲看屏幕猜坐标→思考慢、点错率高"。
|
的识别与操控能力包装成 MCP 工具,给 AI agent(codex / 任意 MCP 客户端)用。
|
||||||
|
|
||||||
## 核心设计
|
- **低层**:截图、RapidOCR、AALC 模板图匹配(几百张按钮/图标模板)、后台点击/按键,全部直接调 AALC 的 `module.automation`
|
||||||
|
- **高层**:`run_task` 直接跑 AALC 现成的完整流程(日常经验本/纽本、领奖励、狂气换体力、镜牢),自带战斗处理、掉线重试、游戏重启
|
||||||
|
|
||||||
AI 不用猜坐标。工具层做"文本化 + 语义点击":
|
AALC 以 git submodule 引入(`vendor/aalc`,固定到某个 commit),不改它的代码,升级时只需更新 submodule 指针。
|
||||||
|
|
||||||
|
## 架构
|
||||||
|
|
||||||
```
|
```
|
||||||
get_state() -> 截图+远端OCR:全屏文字元素 + 坐标
|
MCP 客户端 ──ssh──> python lc_mcp/bridge.py (stdio, 只用标准库)
|
||||||
click_text("开始") -> 内部 OCR 定位"开始"并点击中心
|
│ 127.0.0.1:8765, 首行 token 认证
|
||||||
wait_for_text("结算") -> 轮询直到文字出现/消失
|
▼
|
||||||
|
python -m lc_mcp.server ← 登录时由计划任务在「交互桌面会话」启动
|
||||||
|
├─ AalcEngine → AALC auto / ocr / screen (找窗口、后台截图、PostMessage 输入)
|
||||||
|
└─ TaskRunner → 子进程 python -m lc_mcp.aalc_task <task> (停止 = 杀进程树)
|
||||||
```
|
```
|
||||||
|
|
||||||
任务循环: `get_state -> 决策 -> click_text -> wait_for_text -> 确认 -> 下一步`
|
为什么要常驻服务 + bridge:SSH 登录的进程跑在 session 0,看不到游戏窗口,也发不了输入。
|
||||||
|
旧版靠"每次截图注册一个计划任务"绕过,慢且不能输入;现在整个服务常驻在桌面会话里。
|
||||||
|
|
||||||
## 平台矩阵
|
## 部署(Windows,跑游戏的那台机器)
|
||||||
|
|
||||||
| 平台 | 截图 | 输入后端 | 备注 |
|
```powershell
|
||||||
|------|------|----------|------|
|
git clone --recursive https://git.lingll.icu/yws/lc-mcp
|
||||||
| win | 交互计划任务 | `sendinput`(默认) / `interception`(物理HID级) | interception 需装驱动+重启 |
|
cd lc-mcp\vendor\aalc
|
||||||
| linux | X11 PIL / scrot | `xdotool` / `uinput`(内核虚拟设备,物理级) | uinput 需 root 或 uinput 组 |
|
uv sync # 按 AALC 的 pyproject 装依赖 (Python >= 3.12),生成 .venv
|
||||||
| mac | screencapture | `cg`(CGEvent, PyObjC) | 需辅助功能权限 |
|
# 先用 AALC 自己的界面 (uv run main.py) 配好队伍、镜牢设置等,lc-mcp 读同一个 config.yaml
|
||||||
|
cd ..\..
|
||||||
|
powershell -ExecutionPolicy Bypass -File scripts\install_logon_task.ps1
|
||||||
|
```
|
||||||
|
|
||||||
`LCP_PLATFORM=win|linux|mac` 强制指定,默认按系统自动检测。
|
`install_logon_task.ps1` 会注册 `LcMCPServer` 计划任务(登录时启动、普通权限、失败自动重启)。
|
||||||
|
游戏以管理员身份运行时才需要加 `-Elevated`。卸载:`-Uninstall`。
|
||||||
|
|
||||||
OCR 全本地:`ocr_local.py` 调 Windows 自带 OCR(Windows.Media.Ocr,需 `pip install --user winsdk`)。
|
## MCP 客户端配置
|
||||||
无任何云端/远端服务依赖——MCP 是纯本地"外骨骼"。
|
|
||||||
|
|
||||||
## 部署
|
|
||||||
|
|
||||||
1. 拷贝 `lc-mcp-dev/` 到目标机器
|
|
||||||
2. 装依赖(只用标准库;linux xdotool 后端需 `apt install xdotool`;mac cg 需 `pip install pyobjc-framework-Quartz`)
|
|
||||||
3. 启动:`python lc_mcp.py`(stdio),MCP 客户端 spawn
|
|
||||||
|
|
||||||
```jsonc
|
```jsonc
|
||||||
// codex MCP 配置 (codex/mcp.json 或项目 .mcp.json)
|
|
||||||
{
|
{
|
||||||
"mcpServers": {
|
"mcpServers": {
|
||||||
"limbus": {
|
"limbus": {
|
||||||
"type": "stdio",
|
"type": "stdio",
|
||||||
"command": "ssh",
|
"command": "ssh",
|
||||||
"args": ["win", "python", "C:/Users/yws-hhh/lc-mcp-dev/lc_mcp.py"],
|
"args": ["win", "python", "C:/Users/<you>/lc-mcp/lc_mcp/bridge.py"]
|
||||||
"env": { "INPUT_BACKEND": "interception" }
|
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
```
|
```
|
||||||
|
|
||||||
|
bridge 读取 `~/lc_mcp/token` 认证(服务首次启动时生成),所以 SSH 用户必须和登录桌面的用户是同一个账号。
|
||||||
|
服务没起来时 bridge 仍会完成握手,并对每个调用返回“服务未运行”的原因。
|
||||||
|
|
||||||
|
本机直接用(客户端本身就在桌面会话里):`python -m lc_mcp.server --stdio`。
|
||||||
|
|
||||||
|
## 工具
|
||||||
|
|
||||||
|
| 工具 | 说明 |
|
||||||
|
|------|------|
|
||||||
|
| `get_state` | 截图 + OCR,返回窗口内全部文字 `{text,x,y,w,h,score}` |
|
||||||
|
| `click_text(text, index)` | 按文字点击;忽略空格/大小写,完全匹配优先 |
|
||||||
|
| `wait_for_text` / `wait_for_text_gone` | 轮询 OCR 等文字出现/消失(上限 300s) |
|
||||||
|
| `find_image` / `click_image(name, threshold, model)` | AALC 模板图匹配,适合没有文字的按钮 |
|
||||||
|
| `list_images(prefix)` | 列出模板图,如 `battle/`、`mirror/` |
|
||||||
|
| `screenshot` | 窗口截图(`~/lc_mcp/shots`,只保留最近 30 张) |
|
||||||
|
| `click(x,y,times)` / `keypress` / `type_text` | 低层输入(窗口客户区坐标) |
|
||||||
|
| `run_task(task, …)` | `all` / `daily(exp,thread)` / `reward` / `enkephalin(times)` / `mirror(count)` |
|
||||||
|
| `task_status(lines)` / `stop_task` | 任务状态、日志尾部(`~/lc_mcp/runs`)、强制停止 |
|
||||||
|
|
||||||
|
任务运行期间,点击/按键类工具会被拒绝(防止打乱 AALC 的流程),只读工具仍可用。
|
||||||
|
`run_task` 传入的次数只对本次运行生效,结束后恢复 `config.yaml` 原值。
|
||||||
|
|
||||||
## 环境变量
|
## 环境变量
|
||||||
|
|
||||||
| 变量 | 默认 | 说明 |
|
| 变量 | 默认 | 说明 |
|
||||||
|------|------|------|
|
|------|------|------|
|
||||||
| `LCP_PLATFORM` | 自动 | win/linux/mac |
|
| `AALC_DIR` | `vendor/aalc` | 使用其他位置的 AALC 源码 |
|
||||||
| `INPUT_BACKEND` | 平台默认 | mock/sendinput/interception/xdotool/uinput/cg |
|
| `LCP_PORT` | 8765 | 服务/bridge 端口 |
|
||||||
| `OCR_BACKEND` | local | 本地 OCR(仅 local;Win 需 winsdk) |
|
| `LCP_KEEP_SHOTS` | 30 | 截图保留张数 |
|
||||||
| `OCR_MIN_SCORE` | 0.5 | 过滤低置信度 OCR 结果 |
|
|
||||||
|
|
||||||
## 工具
|
## 开发 / 测试
|
||||||
|
|
||||||
get_state · click_text · wait_for_text · wait_for_text_gone · screenshot · click · move · keypress · type_text
|
```bash
|
||||||
|
python -m unittest discover -s tests # 不需要 Windows/AALC (FakeEngine)
|
||||||
|
python -m lc_mcp.server --stdio --fake # 假引擎手动调试协议
|
||||||
|
```
|
||||||
|
|
||||||
## 安全提醒
|
## 许可证
|
||||||
|
|
||||||
- 输入会真实操作你已登录的桌面,跑任务时别动鼠标
|
AALC 使用 AGPL-3.0。本项目会导入并运行 AALC 的代码,分发时需遵守 AGPL-3.0。
|
||||||
- win 的截图走交互计划任务(Registry + wscript),杀软可能告警
|
|
||||||
- interception/uinput 是"物理化"输入,用于降低虚拟输入痕迹;真·硬件级可外接 Arduino/RPi Pico HID
|
|
||||||
|
|||||||
Reference in New Issue
Block a user