lc-mcp v0.5: 语义化操控(MCP stdio) — OCR文本化+语义点击, win/linux/mac 截图与输入后端
This commit is contained in:
@@ -0,0 +1,94 @@
|
|||||||
|
# -*- coding: utf-8 -*-
|
||||||
|
"""Linux uinput 物理输入后端(虚拟内核 evdev 设备,需 root 或 uinput 组权限)。
|
||||||
|
比 xdotool 更接近硬件:内核层面人为物理设备,无 X 层痕迹。
|
||||||
|
依赖: python3-uinput 或手工 ioctl。
|
||||||
|
"""
|
||||||
|
import os
|
||||||
|
import struct
|
||||||
|
|
||||||
|
try:
|
||||||
|
import uinput
|
||||||
|
HAVE_UINPUT = True
|
||||||
|
except ImportError:
|
||||||
|
HAVE_UINPUT = False
|
||||||
|
|
||||||
|
|
||||||
|
class UinputBackend:
|
||||||
|
|
||||||
|
def __init__(self):
|
||||||
|
if not HAVE_UINPUT:
|
||||||
|
raise RuntimeError('python3-uinput not installed')
|
||||||
|
self._ctx = None
|
||||||
|
|
||||||
|
def _ensure(self):
|
||||||
|
if self._ctx is None:
|
||||||
|
from uinput import Device, KEY_A, KEY_Z, KEY_ENTER, KEY_ESC, KEY_SPACE, KEY_TAB, KEY_F4, KEY_LEFTCTRL, KEY_LEFTSHIFT, KEY_LEFTALT, KEY_BACKSPACE, REL_X, REL_Y, BTN_LEFT, BTN_RIGHT
|
||||||
|
events = (
|
||||||
|
# 全键盘范围(够用): A-Z + 数字 + 常用
|
||||||
|
*[key for key in range(KEY_A, KEY_Z + 1)],
|
||||||
|
KEY_ENTER, KEY_ESC, KEY_SPACE, KEY_TAB, KEY_F4,
|
||||||
|
KEY_LEFTCTRL, KEY_LEFTSHIFT, KEY_LEFTALT, KEY_BACKSPACE,
|
||||||
|
REL_X, REL_Y, BTN_LEFT, BTN_RIGHT,
|
||||||
|
)
|
||||||
|
self._dev = Device(events)
|
||||||
|
return self._dev
|
||||||
|
|
||||||
|
def _key(self, code):
|
||||||
|
dev = self._ensure()
|
||||||
|
dev.emit(code, 1)
|
||||||
|
dev.emit(code, 0)
|
||||||
|
time.sleep(0.03)
|
||||||
|
|
||||||
|
def move(self, x, y):
|
||||||
|
# uinput 只有相对位移; 需要知道当前位置。先简单相对 0 通过 xdotool 定位, 或 https 轮询
|
||||||
|
# 简化: 用 python-xlib 查指针位置 -> 计算 delta
|
||||||
|
try:
|
||||||
|
from Xlib import display
|
||||||
|
d = display.Display()
|
||||||
|
root = d.screen().root
|
||||||
|
qp = root.query_pointer()
|
||||||
|
curx, cury = qp.root_x, qp.root_y
|
||||||
|
dx, dy = int(x) - curx, int(y) - cury
|
||||||
|
dev = self._ensure()
|
||||||
|
dev.emit(REL_X, dx)
|
||||||
|
dev.emit(REL_Y, dy)
|
||||||
|
d.sync()
|
||||||
|
except Exception:
|
||||||
|
return {'ok': False, 'error': 'uinput move needs python-xlib'}
|
||||||
|
return {'ok': True}
|
||||||
|
|
||||||
|
def click(self, x, y, button='left', times=1):
|
||||||
|
self.move(x, y)
|
||||||
|
dev = self._ensure()
|
||||||
|
btn = BTN_LEFT if button == 'left' else BTN_RIGHT
|
||||||
|
for _ in range(times):
|
||||||
|
dev.emit(btn, 1)
|
||||||
|
time.sleep(0.05)
|
||||||
|
dev.emit(btn, 0)
|
||||||
|
time.sleep(0.05)
|
||||||
|
return {'ok': True}
|
||||||
|
|
||||||
|
def keypress(self, key):
|
||||||
|
mapping = {'enter': KEY_ENTER, 'esc': KEY_ESC, 'space': KEY_SPACE,
|
||||||
|
'tab': KEY_TAB, 'f4': KEY_F4, 'ctrl': KEY_LEFTCTRL,
|
||||||
|
'shift': KEY_LEFTSHIFT, 'alt': KEY_LEFTALT, 'backspace': KEY_BACKSPACE}
|
||||||
|
k = key.lower()
|
||||||
|
if k in mapping:
|
||||||
|
self._key(mapping[k])
|
||||||
|
return {'ok': True}
|
||||||
|
if len(k) == 1 and 'a' <= k <= 'z':
|
||||||
|
from uinput import KEY_A
|
||||||
|
self._key(KEY_A + (ord(k) - ord('a')))
|
||||||
|
return {'ok': True}
|
||||||
|
return {'ok': False, 'error': 'unsupported key %s' % key}
|
||||||
|
|
||||||
|
def type_text(self, text):
|
||||||
|
for ch in text:
|
||||||
|
if 'a' <= ch.lower() <= 'z':
|
||||||
|
self.keypress(ch.lower())
|
||||||
|
elif ch == ' ':
|
||||||
|
self.keypress('space')
|
||||||
|
else:
|
||||||
|
return {'ok': False, 'error': 'unsupported char %r' % ch}
|
||||||
|
time.sleep(0.05)
|
||||||
|
return {'ok': True}
|
||||||
Reference in New Issue
Block a user