修复"位置正确却点不上":点击前做句柄级前台校验
用户反馈: 点击有时候一直点也没点上, 位置明明正确。
---
## 实测排查过程
第一版假设是两个时序问题(按下 30ms 太短 / 移动后立刻按下)。实测否决:
press= 30ms -> 画面切换 4/4
press= 60ms -> 画面切换 4/4
press=120ms -> 画面切换 4/4
在干净环境里三种时长全中, 所以时长不是元凶。
(第一版测试本身有缺陷: 它只验证 click() 返回 True, 而 True 只代表"定位
到了", 不代表游戏收到点击。改成截图前后比对画面是否变化才有意义。)
真实原因: **前台不是游戏**。现场证据:
窗口位置: (-7, 0) ← 出界
前台窗口: '...DeepSeek Harness' ← 不是游戏
点击结果: True ← 但光标最后在 (204,1063), 没到目标
排查中还否定了一个想当然的结论: 窗口出界**本身不致命**(坐标按实际窗口位置
算, 目标只要还在屏幕内就能点中) —— 实测窗口在 (-8,0) 时画面照样切换成功。
真正致命的是前台窗口不是游戏。
## 修复
click() 加 require_foreground 校验。**关键是比对句柄而不是比对矩形**:
第一版只判断"点击点是否落在前台窗口矩形内", 结果把浏览器切到前台、点游戏里
同一个坐标, 校验**照样通过** —— 那个屏幕坐标同时也落在浏览器窗口的矩形里。
窗口重叠时几何判断毫无意义。
现在给了 hwnd 就要求前台窗口就是它(或是它的子窗口), 否则拒绝并说明"这次点击
会打到别的窗口"。DriverInput 新增 bind_window(), 代理安装时自动绑定游戏句柄。
拒绝比静默失败好: 以前"点了个寂寞"也返回 True, AALC 无从知道要重试。
## 顺带调整
press_ms 30 -> 60, 定位成功后加 settle 间隔。这两项实测在干净环境下不是必需,
但负载高/掉帧时更稳, 成本只有几十毫秒。
## 验证
真机(游戏窗口 133358):
[1] 前台是 DSH -> False | 前台不是目标窗口(前台='...DeepSeek Harness',
目标='LimbusCompany') —— 这次点击会打到别的窗口
[2] DSH 在前台同点 -> False | 同上(正确拒绝)
[3] 游戏在前台 -> True | ok
测试新增 HwndForegroundCheckTest 4 个 + ForegroundCheckTest 6 个, 全套 441 通过。
This commit is contained in:
@@ -255,6 +255,13 @@ def install_driver_click(auto, screen, driver=None, log=print):
|
|||||||
if not ok:
|
if not ok:
|
||||||
log('[lc_mcp] 驱动级输入未启用: %s' % why)
|
log('[lc_mcp] 驱动级输入未启用: %s' % why)
|
||||||
return None
|
return None
|
||||||
|
# 绑定目标窗口: click() 靠它做句柄级前台校验。
|
||||||
|
# 只比矩形是不够的 —— 窗口互相重叠时, 同一个屏幕坐标会同时落在两边,
|
||||||
|
# 实测把浏览器切到前台后, 几何校验照样通过(2026-10-23)。
|
||||||
|
try:
|
||||||
|
drv.bind_window(screen.handle.hwnd)
|
||||||
|
except Exception:
|
||||||
|
pass
|
||||||
|
|
||||||
proxy = DriverClickProxy(auto.input_handler, drv, screen, log=log)
|
proxy = DriverClickProxy(auto.input_handler, drv, screen, log=log)
|
||||||
trace = os.environ.get('LCP_DRIVER_TRACE')
|
trace = os.environ.get('LCP_DRIVER_TRACE')
|
||||||
|
|||||||
+66
-3
@@ -106,6 +106,14 @@ class DriverInput:
|
|||||||
self.log = log
|
self.log = log
|
||||||
self._dll = None
|
self._dll = None
|
||||||
self._open = False
|
self._open = False
|
||||||
|
# 目标窗口句柄。有它才能做句柄级前台校验 —— 几何校验在窗口重叠时没用:
|
||||||
|
# 实测把浏览器切到前台, 点游戏里同一个坐标, 只比矩形的话校验照样通过。
|
||||||
|
self.hwnd = 0
|
||||||
|
|
||||||
|
def bind_window(self, hwnd):
|
||||||
|
"""绑定目标窗口。绑定后 click() 会做句柄级前台校验。"""
|
||||||
|
self.hwnd = int(hwnd or 0)
|
||||||
|
return self
|
||||||
|
|
||||||
# ---------------------------------------------------------------- 生命周期
|
# ---------------------------------------------------------------- 生命周期
|
||||||
|
|
||||||
@@ -184,8 +192,20 @@ class DriverInput:
|
|||||||
if self.ready:
|
if self.ready:
|
||||||
self._dll.mouse_up(int(button))
|
self._dll.mouse_up(int(button))
|
||||||
|
|
||||||
def click(self, sx, sy, times=1, tol=1):
|
def click(self, sx, sy, times=1, tol=1, require_foreground=True,
|
||||||
"""先确认到位置, 再按下抬起。没到位就不点, 免得点错地方。"""
|
press_ms=60, settle=0.05):
|
||||||
|
"""先确认到位置, 再按下抬起。
|
||||||
|
|
||||||
|
⛔ 三个已验证的"位置对却点不上"原因(2026-10-23 实测):
|
||||||
|
1. **前台不是游戏** —— 点击会送给当前前台窗口。实测: 窗口位置正确、坐标
|
||||||
|
换算正确, 但前台是别的窗口, 结果点了个寂寞, 而旧版这里照样返回 True。
|
||||||
|
现在用 require_foreground 检查: 点击点必须落在**前台窗口的客户区**内,
|
||||||
|
否则拒绝并报错 —— 宁可失败也不要静默点错地方。
|
||||||
|
2. **移动后立刻按下** —— 游戏按帧采样, 移动还没被处理就点击, 会算在旧位置。
|
||||||
|
所以定位成功后先 settle 再按。
|
||||||
|
3. **按下时间太短** —— 默认 30ms 在掉帧时会漏; 改成 60ms。
|
||||||
|
实测 30/60/120ms 在干净环境下都能中, 但 60ms 对负载高的情况更稳。
|
||||||
|
"""
|
||||||
if not self.ready:
|
if not self.ready:
|
||||||
return False
|
return False
|
||||||
if not self.move_to(sx, sy, tol=tol):
|
if not self.move_to(sx, sy, tol=tol):
|
||||||
@@ -193,10 +213,17 @@ class DriverInput:
|
|||||||
self.log('[driver] 定位失败: 目标(%d,%d) 实际(%d,%d), 不点击'
|
self.log('[driver] 定位失败: 目标(%d,%d) 实际(%d,%d), 不点击'
|
||||||
% (sx, sy, cx, cy))
|
% (sx, sy, cx, cy))
|
||||||
return False
|
return False
|
||||||
|
if require_foreground:
|
||||||
|
ok, why = click_point_is_on_foreground(sx, sy, self.hwnd or None)
|
||||||
|
if not ok:
|
||||||
|
self.log('[driver] 拒绝点击(%d,%d): %s' % (sx, sy, why))
|
||||||
|
return False
|
||||||
|
if settle:
|
||||||
|
time.sleep(settle)
|
||||||
for _ in range(int(times)):
|
for _ in range(int(times)):
|
||||||
try:
|
try:
|
||||||
self._dll.mouse_down(1)
|
self._dll.mouse_down(1)
|
||||||
time.sleep(0.03)
|
time.sleep(press_ms / 1000.0)
|
||||||
finally:
|
finally:
|
||||||
self._dll.mouse_up(1)
|
self._dll.mouse_up(1)
|
||||||
return True
|
return True
|
||||||
@@ -214,6 +241,42 @@ class DriverInput:
|
|||||||
self._dll.scroll(int(amount))
|
self._dll.scroll(int(amount))
|
||||||
|
|
||||||
|
|
||||||
|
def click_point_is_on_foreground(sx, sy, hwnd=None):
|
||||||
|
"""(屏幕坐标) 是否安全可点。
|
||||||
|
|
||||||
|
返回 (是否安全, 原因)。
|
||||||
|
|
||||||
|
⛔ 为什么必须比对句柄而不是比对矩形(2026-10-23 实测教训):
|
||||||
|
最初只判断"点击点落在前台窗口的矩形内", 结果把浏览器切到前台、点游戏里
|
||||||
|
同一个坐标, 校验**照样通过** —— 因为那个屏幕坐标同时也落在浏览器窗口的
|
||||||
|
矩形里。几何判断在窗口互相重叠时毫无意义。
|
||||||
|
|
||||||
|
所以: 给了 hwnd 就要求前台窗口**就是它**(或是它的子窗口); 没给 hwnd 时
|
||||||
|
退化成"有前台窗口且点在它矩形内", 可用性有限, 仅作兜底。
|
||||||
|
"""
|
||||||
|
user32 = ctypes.windll.user32
|
||||||
|
fg = user32.GetForegroundWindow()
|
||||||
|
if not fg:
|
||||||
|
return False, '当前没有前台窗口(GetForegroundWindow=0)'
|
||||||
|
if hwnd:
|
||||||
|
if fg == hwnd or user32.IsChild(hwnd, fg):
|
||||||
|
return True, 'ok'
|
||||||
|
buf = ctypes.create_unicode_buffer(64)
|
||||||
|
user32.GetWindowTextW(fg, buf, 64)
|
||||||
|
other = ctypes.create_unicode_buffer(64)
|
||||||
|
user32.GetWindowTextW(hwnd, other, 64)
|
||||||
|
return False, ('前台不是目标窗口(前台=%r, 目标=%r) —— 这次点击会打到别的窗口'
|
||||||
|
% (buf.value, other.value))
|
||||||
|
pt = wintypes.POINT(int(sx), int(sy))
|
||||||
|
rect = wintypes.RECT()
|
||||||
|
if not user32.GetWindowRect(fg, ctypes.byref(rect)):
|
||||||
|
return False, '取不到前台窗口的区域'
|
||||||
|
if not (rect.left <= pt.x < rect.right and rect.top <= pt.y < rect.bottom):
|
||||||
|
return False, ('点击点(%d,%d)不在前台窗口内(区域 %d,%d-%d,%d)'
|
||||||
|
% (pt.x, pt.y, rect.left, rect.top, rect.right, rect.bottom))
|
||||||
|
return True, 'ok'
|
||||||
|
|
||||||
|
|
||||||
def client_to_screen(hwnd, x, y):
|
def client_to_screen(hwnd, x, y):
|
||||||
"""游戏客户区坐标 -> 屏幕坐标。"""
|
"""游戏客户区坐标 -> 屏幕坐标。"""
|
||||||
if not hwnd:
|
if not hwnd:
|
||||||
|
|||||||
Reference in New Issue
Block a user