Files
lc-mcp/docs/feedback/2026-10-02/validation/TEST_REPORT.md
Codex Agent c93b753d30 补齐遗漏日志: 服务日志/看门狗日志, 并归档上一轮遗留的测试产物
用户问"日志都上传了吗", 一查发现确有遗漏:
- server.log (427KB, 写至 10-13) 与 keep_display.log (看门狗, 12.5KB),
  lc_mcp.log 此前只上传了 runs/ 下的 20 份任务日志, 这三个漏了。
- 10-02/10-03 那轮会话遗留在仓库根目录的测试产物从未提交, 一直显示为未跟踪。

本次补上:
- logs/full/ 增加 server.log.gz / keep_display.log.gz / lc_mcp.log.gz
- logs/keep_display-watchdog.txt 为看门狗日志全文(177 行),
  完整记录了 "RDP 一断开就提权 tscon 切回物理 console" 的每次触发,
  即被要求关闭的那支脚本的行为证据。
- logs/server-excerpt.txt 为服务日志摘录(52 行)。
- 10-02 的测试产物归档到 docs/feedback/2026-10-02/validation/ 并附 README 说明,
  PHYSICAL_INPUT_CHANGE.md 归到 2026-10-03/。

注: tests/*.py 归档后不在 tests/ 目录, 不会被 unittest discover 收集;
此为保留证据链的有意选择, 已在 README 中注明。
2026-10-13 10:47:59 +08:00

136 lines
9.5 KiB
Markdown
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# lc-mcp 测试报告
测试日期:2026-10-02(Asia/Hong_Kong)。
仓库:https://git.lingll.icu/yws/lc-mcp
测试提交:`8d24276511e2f007a758b180cba7167e58aca090`,main,服务版本 0.5.0。
## 结论
基础 MCP 连接和远端 OCR 可用,但当前版本不能判定为可以可靠操作真实游戏。Windows 默认截图启动脚本存在可复现的 VBScript 编译错误;参数缺失会导致意外点击;输入和工具错误可能被报告为成功。应优先修复这三类问题,再做实际游戏闭环测试。
当前仓库实现独立的屏幕 OCR 和桌面输入,没有找到 AALC 的 API 调用、配置、依赖或游戏状态集成。是否来自 AALC 的设计或早期代码,无法从本次仓库内容确定。
## 环境与范围
- Windows 本机;服务使用已安装的 Python 3.8.6。
- 官方 MCP Python SDK 1.30.0 客户端运行于独立 Python 3.12.14 虚拟环境。
- 远端 OCR 使用仓库默认地址,上传内容仅为生成的测试 PNG。
- 输入测试使用 mock 或模拟底层调用失败,没有向真实桌面发送点击、按键或文字。
- 没有检测到正在运行的 LimbusCompany/AALC 进程。实际游戏窗口、战斗、奖励结算和 AALC 联动均未验证。
- Linux uinput 检查使用模拟依赖复现 Python 错误,并核对上游数据类型;没有 Linux 内核或 macOS 实机测试。
- Windows VBScript 使用相同生成表达式、隔离文件路径,通过 `cscript.exe` 编译检查。没有覆盖或运行现有 LcMCP 计划任务。
- 仅新增测试和报告文件,没有修改原有实现、提交或推送代码。
## 测试结果
| 检查 | 结果 | 证据 |
|---|---|---|
| 自带测试 | 3 组全部通过 | mock 动作、扫描码表、stdio 往返 |
| Python 编译检查 | 通过 | `python -m compileall -q .` |
| 独立测试 | 22 项:11 通过、9 断言失败、2 运行异常 | `validation-results.json`;失败项是边界行为复现,不代表 11 个独立缺陷 |
| 官方 SDK 连接 | 通过 | initialize、ping、tools/list;识别 9 个工具 |
| SDK 模拟输入 | 通过 | move、中文 type_text |
| 远端 OCR | 通过 | 正确识别“开始 测试”和“TEST 123”;置信度 0.944、0.960 |
| OCR 延迟 | 单次 19.515 秒 | 仅一次请求,不能视为稳定性能或游戏图像准确率 |
| Windows 截图启动脚本 | 失败 | VBScript 编译器错误:语句未结束;退出码 1 |
| SendInput 初始化 | 通过 | 只加载后端,没有发送输入 |
| Interception 初始化 | 环境不满足 | 本机未找到 interception.dll;没有安装驱动或重启 |
正常语义流程的模拟测试覆盖:OCR 置信度过滤、文字子串和大小写匹配、中心坐标计算、第二候选点击、文字找不到时不点击、OCR 失败时不点击、截图失败透传、文字出现和消失等待。
## 主要发现
### 1. Windows 截图启动脚本无法编译(P1)
位置:[platform/win.py:20](D:/codex/tmp/lc-mcp-test/platform/win.py:20)。
生成的脚本在 VBScript 字符串内部直接使用单个双引号包围 PowerShell 脚本路径,提前结束了字符串。VBScript 需要将字符串内部双引号写为两个双引号。
复现产物为 `validation-artifacts/run-original.vbs`。执行 `cscript.exe //nologo <该文件>` 返回 1,报“Microsoft VBScript 编译器错误:语句未结束”。
影响:使用默认生成脚本的新部署不能启动截图任务,进而阻断 screenshot、get_state 和依赖 OCR 的工具。已有自定义修正脚本的机器需单独验证;代码仅在文件不存在时生成脚本,更新 Python 代码也不会自动刷新旧脚本。
### 2. 必需参数没有运行时校验,可能意外点击(P1)
位置:[lc_mcp.py:117](D:/codex/tmp/lc-mcp-test/lc_mcp.py:117)、[lc_mcp.py:131](D:/codex/tmp/lc-mcp-test/lc_mcp.py:131)。
- `click({})` 被默认值转换为点击 `(0,0)`,返回 `ok=true`。官方 SDK 客户端复现相同行为。
- `click_text({})` 使用空字符串匹配所有 OCR 项,并点击第一个文字中心。
- `index=99` 静默选择最后一个候选;`index=-1` 也选择最后一个候选。这是当前行为,接口没有说明索引越界规则。
影响:客户端遗漏参数或模型选择错误索引时,服务仍可能执行桌面输入。建议在任何截图和输入之前校验必需参数、非空文字、索引整数和范围。
### 3. MCP 工具错误标记位置错误,客户端读成成功(P1)
位置:[lc_mcp.py:221](D:/codex/tmp/lc-mcp-test/lc_mcp.py:221)。
调用 `move({"x":"invalid","y":6})` 时,服务把 `isError=true` 放在 JSON-RPC 顶层,而不是 `result` 内部。官方 SDK 接收到文本里的 `ok=false`,但 `CallToolResult.isError` 实际为 false。
普通 `ok=false` 返回路径没有设置 `result.isError`;未知工具也返回普通文本结果。
工具执行错误应在 `result.isError` 中表达;未知工具和无效参数可用 JSON-RPC 错误。这与 [MCP 2024-11-05 Tools 规范](https://modelcontextprotocol.io/specification/2024-11-05/server/tools)不符。
### 4. SendInput 注入失败仍返回成功(P1)
位置:[backends/sendinput_win.py:54](D:/codex/tmp/lc-mcp-test/backends/sendinput_win.py:54)、[backends/sendinput_win.py:87](D:/codex/tmp/lc-mcp-test/backends/sendinput_win.py:87)。
模拟 `SendInput` 返回 0 后,`keypress('p')` 仍返回 `ok=true`。点击和文字输入也不检查注入数量;移动不检查 SetCursorPos 结果。
影响:服务返回成功不代表目标应用收到输入。需要检查底层调用结果,并在游戏环境用后续状态验证动作效果。本次没有实机验证游戏对 SendInput 的接受程度。
### 5. 等待 timeout 不约束内部截图和网络请求(P2)
位置:[lc_mcp.py:43](D:/codex/tmp/lc-mcp-test/lc_mcp.py:43)、[lc_mcp.py:140](D:/codex/tmp/lc-mcp-test/lc_mcp.py:140)。
用模拟时钟将一次 OCR 请求设为 30 秒,`wait_for_text(timeout=1)` 需要 31.2 秒才结束。请求固定使用 30 秒超时;截图也有自己的超时,外层没有传递剩余时间。
应使用单调时钟和剩余预算约束内部操作,避免短等待变成长阻塞。
### 6. 输入后端初始化失败同时禁用了截图(P2)
位置:[lc_mcp.py:171](D:/codex/tmp/lc-mcp-test/lc_mcp.py:171)。
截图提供者与输入后端共用一个 try/except。设置一个不存在的输入后端后,`screenshot` 返回 `'NoneType' object has no attribute 'grab'`,尽管截图提供者此前已成功创建。
应分别初始化和报告截图、输入能力;仅观察屏幕的工具不应依赖输入后端可用。
### 7. Linux uinput 后端存在确定的 Python 错误(P1,限该后端)
位置:[backends/uinput_linux.py:28](D:/codex/tmp/lc-mcp-test/backends/uinput_linux.py:28)、[backends/uinput_linux.py:72](D:/codex/tmp/lc-mcp-test/backends/uinput_linux.py:72)。
- `keypress('enter')` 引用未定义的 `KEY_ENTER`,抛 NameError。
- `_ensure()` 对 uinput 的元组常量执行 `KEY_Z + 1` 和 range,抛 TypeError。
- 其他输入路径引用未在模块作用域导入的 REL_X、BTN_LEFT 等常量;代码还缺少 time 导入。
前两项已通过隔离测试复现,后两项为源码检查。uinput 的事件描述符类型已核对 [python-uinput 上游实现](https://raw.githubusercontent.com/tuomasjjrasanen/python-uinput/master/src/__init__.py)。
### 8. Interception 实现与上游公开 API 不一致(待实机确认)
位置:[backends/interception_win.py:91](D:/codex/tmp/lc-mcp-test/backends/interception_win.py:91)。
代码调用 interception_open_device/interception_close_device,但 [上游公开头文件](https://raw.githubusercontent.com/oblitum/Interception/master/library/interception.h)没有这两个接口。上游设备总数为 20,代码扫描到 64,且硬件 ID 被按 ASCII 文本解释。
这是源码与上游接口比对发现,本机缺少 DLL,未测试实际加载的 DLL 是否为提供这些接口的定制版本。部署前应明确支持的 DLL 版本并用真实设备验证。
### 9. 畸形 JSON 使服务退出(P2,健壮性)
向 stdio 发送 `{ invalid json }` 后,服务直接关闭 stdout 并退出,没有返回 JSON-RPC parse error。这会断开客户端连接。有效请求的正常流程不受本测试影响。
## 复现文件
- [独立测试脚本](D:/codex/tmp/lc-mcp-test/tests/test_validation.py)
- [OCR 和 VBScript 检查脚本](D:/codex/tmp/lc-mcp-test/tests/test_live_services.py)
- [官方 SDK 客户端脚本](D:/codex/tmp/lc-mcp-sdk-client-test.py)(放在仓库外,避免仓库的 platform 包影响客户端标准库导入)
- [逐项测试结果](D:/codex/tmp/lc-mcp-test/validation-results.json)
- [OCR、VBScript 与后端初始化结果](D:/codex/tmp/lc-mcp-test/live-service-results.json)
- [官方 SDK 返回结果](D:/codex/tmp/lc-mcp-test/sdk-client-results.json)
- [生成的 OCR 测试图](D:/codex/tmp/lc-mcp-test/validation-artifacts/ocr-synthetic.png)
执行服务端测试:`python tests/test_dev.py`、`python tests/test_validation.py`、`python tests/test_live_services.py`。后者需要 Pillow、Windows 字体和网络;当前本机已有所需图像依赖。独立验证脚本当前返回非零是预期结果,因为其断言要求服务拒绝错误输入并正确报告失败。
## 下一步
先修复 Windows 脚本生成、参数校验、MCP 错误返回和底层输入结果检查,再准备可观察的游戏窗口,逐步验证“截图 → OCR → 正确候选 → 单次输入 → 新截图确认”。真实游戏测试需要运行机器和窗口状态;本次结果不包含战斗自动化成功率或 AALC 集成验证。