Files
lc-mcp/docs/feedback/2026-10-02/validation/TEST_REPORT.md
Codex Agent c93b753d30 补齐遗漏日志: 服务日志/看门狗日志, 并归档上一轮遗留的测试产物
用户问"日志都上传了吗", 一查发现确有遗漏:
- server.log (427KB, 写至 10-13) 与 keep_display.log (看门狗, 12.5KB),
  lc_mcp.log 此前只上传了 runs/ 下的 20 份任务日志, 这三个漏了。
- 10-02/10-03 那轮会话遗留在仓库根目录的测试产物从未提交, 一直显示为未跟踪。

本次补上:
- logs/full/ 增加 server.log.gz / keep_display.log.gz / lc_mcp.log.gz
- logs/keep_display-watchdog.txt 为看门狗日志全文(177 行),
  完整记录了 "RDP 一断开就提权 tscon 切回物理 console" 的每次触发,
  即被要求关闭的那支脚本的行为证据。
- logs/server-excerpt.txt 为服务日志摘录(52 行)。
- 10-02 的测试产物归档到 docs/feedback/2026-10-02/validation/ 并附 README 说明,
  PHYSICAL_INPUT_CHANGE.md 归到 2026-10-03/。

注: tests/*.py 归档后不在 tests/ 目录, 不会被 unittest discover 收集;
此为保留证据链的有意选择, 已在 README 中注明。
2026-10-13 10:47:59 +08:00

9.5 KiB
Raw Permalink Blame History

lc-mcp 测试报告

测试日期:2026-10-02(Asia/Hong_Kong)。

仓库:https://git.lingll.icu/yws/lc-mcp

测试提交:8d24276511e2f007a758b180cba7167e58aca090,main,服务版本 0.5.0。

结论

基础 MCP 连接和远端 OCR 可用,但当前版本不能判定为可以可靠操作真实游戏。Windows 默认截图启动脚本存在可复现的 VBScript 编译错误;参数缺失会导致意外点击;输入和工具错误可能被报告为成功。应优先修复这三类问题,再做实际游戏闭环测试。

当前仓库实现独立的屏幕 OCR 和桌面输入,没有找到 AALC 的 API 调用、配置、依赖或游戏状态集成。是否来自 AALC 的设计或早期代码,无法从本次仓库内容确定。

环境与范围

  • Windows 本机;服务使用已安装的 Python 3.8.6。
  • 官方 MCP Python SDK 1.30.0 客户端运行于独立 Python 3.12.14 虚拟环境。
  • 远端 OCR 使用仓库默认地址,上传内容仅为生成的测试 PNG。
  • 输入测试使用 mock 或模拟底层调用失败,没有向真实桌面发送点击、按键或文字。
  • 没有检测到正在运行的 LimbusCompany/AALC 进程。实际游戏窗口、战斗、奖励结算和 AALC 联动均未验证。
  • Linux uinput 检查使用模拟依赖复现 Python 错误,并核对上游数据类型;没有 Linux 内核或 macOS 实机测试。
  • Windows VBScript 使用相同生成表达式、隔离文件路径,通过 cscript.exe 编译检查。没有覆盖或运行现有 LcMCP 计划任务。
  • 仅新增测试和报告文件,没有修改原有实现、提交或推送代码。

测试结果

检查 结果 证据
自带测试 3 组全部通过 mock 动作、扫描码表、stdio 往返
Python 编译检查 通过 python -m compileall -q .
独立测试 22 项:11 通过、9 断言失败、2 运行异常 validation-results.json;失败项是边界行为复现,不代表 11 个独立缺陷
官方 SDK 连接 通过 initialize、ping、tools/list;识别 9 个工具
SDK 模拟输入 通过 move、中文 type_text
远端 OCR 通过 正确识别“开始 测试”和“TEST 123”;置信度 0.944、0.960
OCR 延迟 单次 19.515 秒 仅一次请求,不能视为稳定性能或游戏图像准确率
Windows 截图启动脚本 失败 VBScript 编译器错误:语句未结束;退出码 1
SendInput 初始化 通过 只加载后端,没有发送输入
Interception 初始化 环境不满足 本机未找到 interception.dll;没有安装驱动或重启

正常语义流程的模拟测试覆盖:OCR 置信度过滤、文字子串和大小写匹配、中心坐标计算、第二候选点击、文字找不到时不点击、OCR 失败时不点击、截图失败透传、文字出现和消失等待。

主要发现

1. Windows 截图启动脚本无法编译(P1)

位置:platform/win.py:20。

生成的脚本在 VBScript 字符串内部直接使用单个双引号包围 PowerShell 脚本路径,提前结束了字符串。VBScript 需要将字符串内部双引号写为两个双引号。

复现产物为 validation-artifacts/run-original.vbs。执行 cscript.exe //nologo <该文件> 返回 1,报“Microsoft VBScript 编译器错误:语句未结束”。

影响:使用默认生成脚本的新部署不能启动截图任务,进而阻断 screenshot、get_state 和依赖 OCR 的工具。已有自定义修正脚本的机器需单独验证;代码仅在文件不存在时生成脚本,更新 Python 代码也不会自动刷新旧脚本。

2. 必需参数没有运行时校验,可能意外点击(P1)

位置:lc_mcp.py:117、lc_mcp.py:131。

  • click({}) 被默认值转换为点击 (0,0),返回 ok=true。官方 SDK 客户端复现相同行为。
  • click_text({}) 使用空字符串匹配所有 OCR 项,并点击第一个文字中心。
  • index=99 静默选择最后一个候选;index=-1 也选择最后一个候选。这是当前行为,接口没有说明索引越界规则。

影响:客户端遗漏参数或模型选择错误索引时,服务仍可能执行桌面输入。建议在任何截图和输入之前校验必需参数、非空文字、索引整数和范围。

3. MCP 工具错误标记位置错误,客户端读成成功(P1)

位置:lc_mcp.py:221。

调用 move({"x":"invalid","y":6}) 时,服务把 isError=true 放在 JSON-RPC 顶层,而不是 result 内部。官方 SDK 接收到文本里的 ok=false,但 CallToolResult.isError 实际为 false。

普通 ok=false 返回路径没有设置 result.isError;未知工具也返回普通文本结果。

工具执行错误应在 result.isError 中表达;未知工具和无效参数可用 JSON-RPC 错误。这与 MCP 2024-11-05 Tools 规范不符。

4. SendInput 注入失败仍返回成功(P1)

位置:backends/sendinput_win.py:54、backends/sendinput_win.py:87。

模拟 SendInput 返回 0 后,keypress('p') 仍返回 ok=true。点击和文字输入也不检查注入数量;移动不检查 SetCursorPos 结果。

影响:服务返回成功不代表目标应用收到输入。需要检查底层调用结果,并在游戏环境用后续状态验证动作效果。本次没有实机验证游戏对 SendInput 的接受程度。

5. 等待 timeout 不约束内部截图和网络请求(P2)

位置:lc_mcp.py:43、lc_mcp.py:140。

用模拟时钟将一次 OCR 请求设为 30 秒,wait_for_text(timeout=1) 需要 31.2 秒才结束。请求固定使用 30 秒超时;截图也有自己的超时,外层没有传递剩余时间。

应使用单调时钟和剩余预算约束内部操作,避免短等待变成长阻塞。

6. 输入后端初始化失败同时禁用了截图(P2)

位置:lc_mcp.py:171。

截图提供者与输入后端共用一个 try/except。设置一个不存在的输入后端后,screenshot 返回 'NoneType' object has no attribute 'grab',尽管截图提供者此前已成功创建。

应分别初始化和报告截图、输入能力;仅观察屏幕的工具不应依赖输入后端可用。

7. Linux uinput 后端存在确定的 Python 错误(P1,限该后端)

位置:backends/uinput_linux.py:28、backends/uinput_linux.py:72。

  • keypress('enter') 引用未定义的 KEY_ENTER,抛 NameError。
  • _ensure() 对 uinput 的元组常量执行 KEY_Z + 1 和 range,抛 TypeError。
  • 其他输入路径引用未在模块作用域导入的 REL_X、BTN_LEFT 等常量;代码还缺少 time 导入。

前两项已通过隔离测试复现,后两项为源码检查。uinput 的事件描述符类型已核对 python-uinput 上游实现。

8. Interception 实现与上游公开 API 不一致(待实机确认)

位置:backends/interception_win.py:91。

代码调用 interception_open_device/interception_close_device,但 上游公开头文件没有这两个接口。上游设备总数为 20,代码扫描到 64,且硬件 ID 被按 ASCII 文本解释。

这是源码与上游接口比对发现,本机缺少 DLL,未测试实际加载的 DLL 是否为提供这些接口的定制版本。部署前应明确支持的 DLL 版本并用真实设备验证。

9. 畸形 JSON 使服务退出(P2,健壮性)

向 stdio 发送 { invalid json } 后,服务直接关闭 stdout 并退出,没有返回 JSON-RPC parse error。这会断开客户端连接。有效请求的正常流程不受本测试影响。

复现文件

执行服务端测试:python tests/test_dev.py、python tests/test_validation.py、python tests/test_live_services.py。后者需要 Pillow、Windows 字体和网络;当前本机已有所需图像依赖。独立验证脚本当前返回非零是预期结果,因为其断言要求服务拒绝错误输入并正确报告失败。

下一步

先修复 Windows 脚本生成、参数校验、MCP 错误返回和底层输入结果检查,再准备可观察的游戏窗口,逐步验证“截图 → OCR → 正确候选 → 单次输入 → 新截图确认”。真实游戏测试需要运行机器和窗口状态;本次结果不包含战斗自动化成功率或 AALC 集成验证。