Commit Graph
3 Commits
Author SHA1 Message Date
Codex Agent 58cd78cd9c 修复"位置正确却点不上":点击前做句柄级前台校验
用户反馈: 点击有时候一直点也没点上, 位置明明正确。

---

## 实测排查过程

第一版假设是两个时序问题(按下 30ms 太短 / 移动后立刻按下)。实测否决:

    press= 30ms -> 画面切换 4/4
    press= 60ms -> 画面切换 4/4
    press=120ms -> 画面切换 4/4

在干净环境里三种时长全中, 所以时长不是元凶。

    (第一版测试本身有缺陷: 它只验证 click() 返回 True, 而 True 只代表"定位
     到了", 不代表游戏收到点击。改成截图前后比对画面是否变化才有意义。)

真实原因: **前台不是游戏**。现场证据:

    窗口位置: (-7, 0)                       ← 出界
    前台窗口: '...DeepSeek Harness'          ← 不是游戏
    点击结果: True                           ← 但光标最后在 (204,1063), 没到目标

排查中还否定了一个想当然的结论: 窗口出界**本身不致命**(坐标按实际窗口位置
算, 目标只要还在屏幕内就能点中) —— 实测窗口在 (-8,0) 时画面照样切换成功。
真正致命的是前台窗口不是游戏。

## 修复

click() 加 require_foreground 校验。**关键是比对句柄而不是比对矩形**:

第一版只判断"点击点是否落在前台窗口矩形内", 结果把浏览器切到前台、点游戏里
同一个坐标, 校验**照样通过** —— 那个屏幕坐标同时也落在浏览器窗口的矩形里。
窗口重叠时几何判断毫无意义。

现在给了 hwnd 就要求前台窗口就是它(或是它的子窗口), 否则拒绝并说明"这次点击
会打到别的窗口"。DriverInput 新增 bind_window(), 代理安装时自动绑定游戏句柄。

拒绝比静默失败好: 以前"点了个寂寞"也返回 True, AALC 无从知道要重试。

## 顺带调整

press_ms 30 -> 60, 定位成功后加 settle 间隔。这两项实测在干净环境下不是必需,
但负载高/掉帧时更稳, 成本只有几十毫秒。

## 验证

真机(游戏窗口 133358):
    [1] 前台是 DSH      -> False | 前台不是目标窗口(前台='...DeepSeek Harness',
                                  目标='LimbusCompany') —— 这次点击会打到别的窗口
    [2] DSH 在前台同点  -> False | 同上(正确拒绝)
    [3] 游戏在前台      -> True  | ok

测试新增 HwndForegroundCheckTest 4 个 + ForegroundCheckTest 6 个, 全套 441 通过。
2026-10-23 09:41:46 +08:00
yws 46b5af01cd 复核驱动输入与窗口补丁,修复接管互斥和异常清理 2026-10-22 06:52:39 +00:00
Codex Agent 2902cf5dbf 驱动级输入接管 AALC 任务流的鼠标点击(LCP_DRIVER_INPUT=1 开关)
按"应该在输入层接管"的思路做的: 不是只改 lc_mcp 自己的 click, 而是把 AALC 任务流里
所有鼠标点击都转到罗技驱动上 —— 这样镜牢/日常的点击也走物理输入。

一、lc_mcp/driver_input.py(新)
   DriverInput 封装 logitech.driver.dll(device_open/moveR/mouse_down/mouse_up)。
   定位用**闭环**: 发相对位移 -> 读回实际坐标 -> 不够再发, 收敛到 <=1px 才认。
   不依赖任何标定常数, 也不怕偶发坐标跳变。

   preflight() 有三条硬性拒绝, 每条都对应一个实测过的失败条件:
     * device_open() != 1            -> 罗技驱动没就绪
     * GetForegroundWindow() == 0    -> 当前不是物理交互会话(RDP 独立会话里驱动级无效;
                                        实测那时 22 次采样光标纹丝不动, 切到 console 立刻正常)
     * 指针加速开着                  -> counts 与像素不成比例(实测 +100/+200/+400 对应
                                        -45/-3/-3 像素), 关掉后严格 1:1

二、aalc_patches.py: DriverClickProxy + install_driver_click
   只接管 mouse_click / mouse_down / mouse_up, 其余(拖拽/滑动/滚轮/等待)一律透传。
   拖拽类不接管: 那些行为差异大, 用相对位移复现更容易出错。

   ⛔ 关键细节: automation.py 初始化时把方法绑成了别名
   (self.mouse_click = self.input_handler.mouse_click), 所以**换 handler 不够**,
   必须把别名一起重绑, 否则任务流里调的还是老方法。测试里专门守这一条。

   条件不满足时**一个都不改** —— 宁可继续用原来的注入方式, 也不要半吊子接管。

三、aalc_task.py: 环境变量 LCP_DRIVER_INPUT=1 时才安装; 默认关闭。

验证(真机, 物理 console 会话):
  preflight: True | ok        前台窗口存在 True   指针加速 False
  move_to (400,300) / (1200,700) / (800,500) -> 误差全部 (0,0)
  click(600,400) -> True

测试 15 个, 重点在"各种条件不满足时必须拒绝"。全套 399/399 通过。
2026-10-22 11:09:42 +08:00