From 651d21d88233ff67a6876ebc6ffe202aca7fa124 Mon Sep 17 00:00:00 2001 From: ywsabc2 Date: Mon, 5 Oct 2026 12:14:02 +0000 Subject: [PATCH] =?UTF-8?q?fix(backend):=20=E5=A4=8D=E6=9F=A5=E4=BF=AE?= =?UTF-8?q?=E5=A4=8D=EF=BC=88=E4=B8=80=E7=A0=81=E4=B8=A4=E5=8D=95=20/=20?= =?UTF-8?q?=E5=9B=9E=E8=B0=83=E9=87=8D=E6=94=BE=20/=20=E8=B7=A8=E8=BF=9B?= =?UTF-8?q?=E7=A8=8B=E8=A6=86=E7=9B=96=20/=20sweep=20=E8=AF=AF=E5=88=A0=20?= =?UTF-8?q?=E7=AD=89=EF=BC=89+=20=E5=9B=9E=E6=89=A7?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit - submit/activate:查码与绑码同锁(redeem_bind),防并发一码两单 - submit:卡密规则按 max(前端 nTotal, 实际模板数) 与模板并集校验;拒未知模板 - 爱发电回调:发码或激活过一律幂等原样回;回调与账本读写串行(HOOK_LOCK) - LOCK 加跨进程 flock;jsave 唯一临时文件 + fsync + 沿用权限 - admin.py sweep 不删 waiting/working/paid;retry 加锁 - 卡密/订单号/取件码改用 secrets - redo 换皮肤走 PNG 核验;feedback 限频 + 磁盘闸 + 只收图片 - 下载/取皮肤边读边发;zip 成品 STORED + 同时只打一个包 - H.finish 与 socketserver.finish 重名 → 改名 finish_upload(路径不变) - 部分失败:记 plan_total/partial,通知金钻,页面说实话 - /claim 新增 terms_v 字段(只增,渲染机无需改) - ys_local.py:只接受本机页面的 POST(Host/Origin 校验) - 两份 回执-Claude.md + tests/回执复现测试.py(原版 13/27 失败,改后全过) Co-Authored-By: Claude Opus 5.5 --- backend/backend-site/admin.py | 16 +- backend/backend-site/server.py | 545 ++++++++++++++++----- backend/backend-site/tests/回执复现测试.py | 281 +++++++++++ backend/backend-site/回执-Claude.md | 333 +++++++++++++ backend/backend-tools/ys_local.py | 20 + backend/backend-tools/回执-Claude.md | 85 ++++ 6 files changed, 1164 insertions(+), 116 deletions(-) create mode 100644 backend/backend-site/tests/回执复现测试.py create mode 100644 backend/backend-site/回执-Claude.md create mode 100644 backend/backend-tools/回执-Claude.md diff --git a/backend/backend-site/admin.py b/backend/backend-site/admin.py index f47be32..9688d3d 100644 --- a/backend/backend-site/admin.py +++ b/backend/backend-site/admin.py @@ -258,10 +258,12 @@ def cmd_retry(argv): m = S.read_meta(oid) if not m: sys.exit("没有这个订单") - m["state"] = "waiting" - m["note"] = "管理员退回重渲" - m["started"] = m["finished"] = None - S.write_meta(oid, m) + with S.LOCK: # 跟服务器进程抢同一个 meta.json(2026-10-05 外部复查:原来不加锁) + m = S.read_meta(oid) or m + m["state"] = "waiting" + m["note"] = "管理员退回重渲" + m["started"] = m["finished"] = None + S.write_meta(oid, m) print("%s 已退回队列" % oid) @@ -288,6 +290,12 @@ def cmd_sweep(argv): m = S.read_meta(oid) if not m: continue + # ⚠️ 2026-10-05(外部复查):**还在流水线上的单绝不删**。 + # expire_at() 对没开放下载的单用「创建时间 + 72h」兜底 —— 渲染机关了三天(出差 / 断网), + # 排队中的单、买家报了付款等确认的单,都会在这里被整目录删掉,码还被记成「已核销」: + # 钱收了、皮肤没了、图也没出。只清已经走完(done / failed / void)或一直没付款(unpaid)的。 + if m.get("state") in ("waiting", "working", "paid"): + continue exp = S.expire_at(m) if exp is None or exp > datetime.now(S.CST): continue diff --git a/backend/backend-site/server.py b/backend/backend-site/server.py index d0ad6f9..90929c8 100644 --- a/backend/backend-site/server.py +++ b/backend/backend-site/server.py @@ -146,9 +146,63 @@ STALE_MIN = 45 # 渲染机领单后超过这么久没交 # zip 先落临时文件再边读边发,**不进内存**(这台机器只有 1.6G,MemoryMax=256M)。 MAX_ZIP_BYTES = 600 * 1024 * 1024 # 一单成品合计超过这个数就拒绝打包,让他分开下 ZIP_CHUNK = 64 * 1024 +ZIP_SEM = threading.BoundedSemaphore(1) # 同一时间只打一个包(2026-10-05 外部复查) CST = timezone(timedelta(hours=8)) -LOCK = threading.Lock() + + +class _DataLock(object): + """线程锁 + 跨进程文件锁(2026-10-05 外部复查加)。 + + ⚠️ 原来的 LOCK 只是 threading.Lock —— 只管得住**本进程**里的线程。 + admin.py(发码 / 核销 / sweep)是**另一个进程**,跟服务器同时改 codes.json 时会互相覆盖: + 比如 CLI 发码那一刻刚好有买家提交,CLI 存回去的旧快照会把买家刚绑上的码改回「可用」。 + 所以在线程锁之外再加一把 flock(/.lock)。用法不变:`with LOCK:`。 + 拿不到文件锁(非 Linux / 没权限)就只用线程锁,并且记一笔日志 —— 不让它把服务拖死。 + """ + + def __init__(self, path): + self._t = threading.Lock() + self._path = path + self._fh = None + self._warned = False + + def __enter__(self): + self._t.acquire() + try: + import fcntl + if self._fh is None: + self._fh = open(self._path, "a+") + fcntl.flock(self._fh.fileno(), fcntl.LOCK_EX) + except Exception as e: # noqa: BLE001 —— 文件锁拿不到不能影响主流程 + if self._fh is not None: + try: + self._fh.close() + except Exception: + pass + self._fh = None + if not self._warned: + self._warned = True + try: + print("⚠️ 跨进程文件锁不可用,只用线程锁:%r" % (e,), flush=True) + except Exception: + pass + return self + + def __exit__(self, *exc): + try: + if self._fh is not None: + import fcntl + fcntl.flock(self._fh.fileno(), fcntl.LOCK_UN) + except Exception: + pass + finally: + self._t.release() + return False + + +LOCK = _DataLock(os.path.join(ROOT, ".lock")) +HOOK_LOCK = threading.Lock() # 爱发电回调 + 账本读写串行(回调很少,串行没有代价) # 臂型中文名(小票/页面文案用,和前端 ARMTXT 保持一致) ARMTXT = {"classic": "粗臂", "slim": "细臂", "auto": "自动判定"} @@ -280,9 +334,12 @@ def gift_expire_text(iso_ts): return "还有 %d 分钟" % max(1, m) -def coupon_status(c): - """一张券现在什么状态(给"我的卡券"用)。返回 dict。""" - cs = load_codes() +def coupon_status(c, cs=None): + """一张券现在什么状态(给"我的卡券"用)。返回 dict。 + + cs:调用方已经读好的 codes(批量查时只读一次文件,2026-10-05 外部复查)。""" + if cs is None: + cs = load_codes() rec = cs.get(c) if not rec: return {"code": c, "status": "unknown", "text": "查不到这张券"} @@ -349,7 +406,7 @@ def gift_claim(bid, token, ip): if r.get("gift") == bid and not r.get("claim_token") and code_state(r) == "active"] if not pool: return False, "手慢了 —— 这批已经被领完啦" - pick = random.choice(pool) + pick = secrets.choice(pool) cs[pick]["claim_token"] = tok cs[pick]["claim_ip"] = ip cs[pick]["claim_ts"] = now().isoformat(timespec="seconds") @@ -417,19 +474,20 @@ def gift_batch_new(name, count=20, n_fix=1, n_free=False, tpl="", lock_tpl=False days = 0 # ⚠️ 只按秒取 id 会撞车(同一秒建两批 → 同一个 id,券和批次全串了,2026-10-02 实踩)→ 补 3 个随机位 bid = "g" + time.strftime("%m%d%H%M%S") + "".join( - random.choice(GIFT_ID_ALPH) for _ in range(3)) - d = gift_batches() - d["batches"].append({ - "id": bid, "name": name, "note": (note or "").strip()[:200], - "n_fix": n_fix, "n_free": bool(n_free), "kind": kind, - "each": max(1, int(each or 1)), "tpl": ",".join(tpls), - "lock_tpl": bool(lock_tpl) and bool(tpls), - "expire": (time.strftime("%Y-%m-%d", time.localtime(time.time() + days * 86400)) - if days else ""), - "enabled": True, "direct": bool(direct), - "created": now().isoformat(timespec="seconds"), - }) - jsave(GIFTS_FILE, d) + secrets.choice(GIFT_ID_ALPH) for _ in range(3)) + with LOCK: + d = gift_batches() + d["batches"].append({ + "id": bid, "name": name, "note": (note or "").strip()[:200], + "n_fix": n_fix, "n_free": bool(n_free), "kind": kind, + "each": max(1, int(each or 1)), "tpl": ",".join(tpls), + "lock_tpl": bool(lock_tpl) and bool(tpls), + "expire": (time.strftime("%Y-%m-%d", time.localtime(time.time() + days * 86400)) + if days else ""), + "enabled": True, "direct": bool(direct), + "created": now().isoformat(timespec="seconds"), + }) + jsave(GIFTS_FILE, d) codes = gift_batch_add(bid, count, direct=direct) log("福利券批次建好 %s「%s」%d 张(%s)" % ( bid, name, len(codes), "不限张数" if n_free else "最多 %d 张" % n_fix)) @@ -461,22 +519,27 @@ def gift_batch_add(bid, count=20, direct=None): n_max=0 if b.get("n_free") else int(b.get("n_fix") or 1), n_free=bool(b.get("n_free")), direct=bool(direct), lock_tpl=bool(b.get("lock_tpl"))) - cs = load_codes() - for c in got: - cs[c]["gift"] = bid - jsave(CODES_FILE, cs) + # ⚠️ 2026-10-05(外部复查):原来这段在锁外读写 codes.json —— 恰好有人在下单 / 领券的话, + # 存回去的旧快照会把别人刚改的码冲掉。 + with LOCK: + cs = load_codes() + for c in got: + if c in cs: + cs[c]["gift"] = bid + jsave(CODES_FILE, cs) log("福利券批次 %s 补货 %d 张" % (bid, len(got))) return got def gift_batch_off(bid): """收摊(已领到手的券不受影响)。批次不存在 raise ValueError。""" - d = gift_batches() - b = next((x for x in d["batches"] if x.get("id") == bid), None) - if not b: - raise ValueError("没有这个批次:%s" % bid) - b["enabled"] = False - jsave(GIFTS_FILE, d) + with LOCK: + d = gift_batches() + b = next((x for x in d["batches"] if x.get("id") == bid), None) + if not b: + raise ValueError("没有这个批次:%s" % bid) + b["enabled"] = False + jsave(GIFTS_FILE, d) log("福利券批次 %s 已收摊" % bid) return b @@ -589,6 +652,33 @@ def note_submit(ip): IP_SUBS.setdefault(ip, []).append(time.time()) +IP_FEEDBACK = {} # ip -> [反馈时间戳] + + +def feedback_allowed(ip): + """反馈限流:10 分钟 5 条(正常买家够用;刷不爆盘、刷不爆通知)。""" + return len(_recent(IP_FEEDBACK, ip, SUB_WIN)) < 5 + + +def note_feedback(ip): + IP_FEEDBACK.setdefault(ip, []).append(time.time()) + + +def _img_ext(b): + """看文件头认图片格式(png/jpg/webp/gif);认不出返回 None。""" + if not b: + return None + if b[:8] == b"\x89PNG\r\n\x1a\n": + return "png" + if b[:3] == b"\xff\xd8\xff": + return "jpg" + if b[:4] == b"RIFF" and b[8:12] == b"WEBP": + return "webp" + if b[:6] in (b"GIF87a", b"GIF89a"): + return "gif" + return None + + def skin_allowed(ip): """追补皮肤单独限流:10 分钟 20 次(一个买家补十张皮肤也够用)。""" return len(_recent(IP_SKINS, ip, SUB_WIN)) < 20 @@ -652,11 +742,38 @@ def jload(path, default): return default +_UMASK = os.umask(0) +os.umask(_UMASK) + + def jsave(path, obj): - tmp = path + ".tmp" - with open(tmp, "w", encoding="utf-8") as f: - json.dump(obj, f, ensure_ascii=False, indent=1) - os.replace(tmp, path) + """原子写 JSON。 + + ⚠️ 2026-10-05(外部复查)两处加固,读写格式不变: + * 临时文件名**每次唯一**(原来固定是 path+".tmp":两个线程/进程同时写同一个文件时 + 会写进同一个 tmp,互相截断,replace 出一个半截文件); + * 写完 **fsync** 再 replace:只 replace 不 fsync,断电后可能留下一个 0 字节的 codes.json。 + * 新文件的权限沿用原文件(没有原文件就按进程 umask),不会因为换了写法悄悄变成 600。 + """ + d = os.path.dirname(path) or "." + try: + mode = os.stat(path).st_mode & 0o777 + except OSError: + mode = 0o666 & ~_UMASK + fd, tmp = tempfile.mkstemp(prefix=os.path.basename(path) + ".", suffix=".tmp", dir=d) + try: + with os.fdopen(fd, "w", encoding="utf-8") as f: + json.dump(obj, f, ensure_ascii=False, indent=1) + f.flush() + os.fsync(f.fileno()) + os.chmod(tmp, mode) + os.replace(tmp, path) + except BaseException: + try: + os.unlink(tmp) + except OSError: + pass + raise def worker_token(): @@ -707,15 +824,21 @@ def note_home_ip(ip): def admin_ip_ok(ip): """后门:本机回环永远放行(等于原来的 admin.py 本地 CLI)。""" - return ip in ("localhost", "::1", "localhost", "?") or ip in HOME_IPS + # ⚠️ 2026-10-05(外部复查):去掉了 "?"。ip_of() 取不到来源时返回 "?", + # 原来这样也算「本机」直接放行 —— 门是靠令牌 + IP 两道,不能让「不知道是谁」过 IP 这道。 + # (另见回执:反代哪条 location 漏配 X-Real-IP,来源就会变成回环、被当成本机。) + return ip in ("localhost", "::1", "localhost") or ip in HOME_IPS +# ⚠️ 2026-10-05(外部复查):订单号 / 取件码 / 卡密必须用 secrets(操作系统级随机),不能用 random。 +# random 是梅森旋转,看够它吐出来的值(比如反复领福利券、反复下网页单拿到的码和取件码) +# 就能反推内部状态,**预测之后要生成的卡密和别人的取件码**。字符表、长度、格式都没变。 def new_oid(): - return "YS" + "".join(random.choice(OID_ALPH) for _ in range(6)) + return "YS" + "".join(secrets.choice(OID_ALPH) for _ in range(6)) def new_owner_token(): - return "".join(random.choice(OID_ALPH) for _ in range(14)) + return "".join(secrets.choice(OID_ALPH) for _ in range(14)) # ----------------------------------------------------------------- 兑换码 @@ -739,7 +862,7 @@ def gen_codes(n, batch="", value=6, platform="", tpl="", state="active", is_set= made = [] while len(made) < n: c = "YS-" + "-".join( - "".join(random.choice(OID_ALPH) for _ in range(4)) for _ in range(3)) + "".join(secrets.choice(OID_ALPH) for _ in range(4)) for _ in range(3)) if c in codes: continue # platform/tpl = 第三方平台的标记(闲鱼/B站工坊…)+ 预选模板;金钻 2026-09-30 @@ -944,40 +1067,87 @@ def activate_order_paid(oid, code=None, source=""): def redeem(codes_in): - """校验一批码;全部可用才通过。返回 (ok, err, codes_out)""" + """校验一批码;全部可用才通过。返回 (ok, err, codes_out) + + ⚠️ 只是「查」,不占码 —— 真正占码用 redeem_bind()(查 + 绑在同一把锁里)。 + """ + with LOCK: + return _redeem_check(load_codes(), codes_in) + + +def _redeem_check(codes, codes_in): + """redeem / redeem_bind 共用的判断(不加锁,调用方负责)。""" + seen, good = set(), [] + for raw in codes_in: + c = (raw or "").strip().upper() + if not CODE_RE.match(c): + return False, "卡密格式不对:%s" % c, None + if c in seen: + return False, "同一张卡密重复提交:%s" % c, None + seen.add(c) + rec = codes.get(c) + if rec is None: + return False, "卡密不存在:%s" % c, None + st = code_state(rec) + if st == "used": + return False, "这张卡密已经核销了(用过了):%s" % c, None + if st == "bound": + return False, ("这张卡密已经用来下过单了:%s —— 去「凭票取图」填卡密就能回到那一单" + % c), None + if st == "inactive": + return False, "这张卡密还没激活(网页下单的要等付款后激活):%s" % c, None + _exp = rec.get("claim_expire") or "" + if _exp and st == "active": + try: + overdue = datetime.fromisoformat(_exp) < now() + except (TypeError, ValueError): + overdue = False + if overdue: + return False, ("这张福利券过期了(领了没用掉)—— 找金钻要一张新的吧:%s" % c), None + good.append(c) + return True, None, good + + +def redeem_bind(codes_in, oid): + """**校验 + 绑定**在同一把锁里做完(2026-10-05 外部复查加)。返回 (ok, err, codes_out)。 + + ⚠️ 原来是 redeem()(锁里查)→ 落皮肤、做 PNG 核验、写订单 → burn_codes()(锁里绑), + 中间有好几秒的空档:同一张码**同时提交两次**(连点、脚本、两个标签页),两次都查到「可用」, + 就开出两单 —— 一码两用。现在绑定前在锁里**再查一遍**,查到不是 active 就整单不收。 + 校验规则和 redeem() 完全一样(直接复用它的判断,免得两份漂移)。 + """ with LOCK: codes = load_codes() - seen, good = set(), [] - for raw in codes_in: - c = (raw or "").strip().upper() - if not CODE_RE.match(c): - return False, "卡密格式不对:%s" % c, None - if c in seen: - return False, "同一张卡密重复提交:%s" % c, None - seen.add(c) - rec = codes.get(c) - if rec is None: - return False, "卡密不存在:%s" % c, None - st = code_state(rec) - if st == "used": - return False, "这张卡密已经核销了(用过了):%s" % c, None - if st == "bound": - return False, ("这张卡密已经用来下过单了:%s —— 去「凭票取图」填卡密就能回到那一单" - % c), None - if st == "inactive": - return False, "这张卡密还没激活(网页下单的要等付款后激活):%s" % c, None - _exp = rec.get("claim_expire") or "" - if _exp and st == "active": - try: - overdue = datetime.fromisoformat(_exp) < now() - except (TypeError, ValueError): - overdue = False - if overdue: - return False, ("这张福利券过期了(领了没用掉)—— 找金钻要一张新的吧:%s" % c), None - good.append(c) + ok, err, good = _redeem_check(codes, codes_in) + if not ok: + return False, err, None + ts = now().isoformat(timespec="seconds") + for c in good: + codes[c]["state"] = "bound" + codes[c]["used"] = False + codes[c]["order"] = oid + codes[c]["bound_at"] = ts + jsave(CODES_FILE, codes) return True, None, good +def unbind_codes(codes_list, oid): + """redeem_bind 之后订单没建成(写盘失败等)→ 把码放回 active,别让码白白占住。""" + with LOCK: + codes = load_codes() + hit = False + for c in codes_list or []: + r = codes.get(c) + if r and r.get("order") == oid and code_state(r) == "bound": + r["state"] = "active" + r["used"] = False + r["order"] = None + r.pop("bound_at", None) + hit = True + if hit: + jsave(CODES_FILE, codes) + + def burn_codes(codes_list, oid): """把卡密绑到订单上 —— ⚠️ 这只算**激活**,不是核销(金钻 2026-09-30 晚: 「点击最后的提交才算激活;核销要等开放下载后 72 小时」)。 @@ -1257,18 +1427,32 @@ def edit_code(c, patch): 两边各写一遍迟早漂移(这是本项目的头号 bug 来源)。 """ c = (c or "").strip().upper() + # ⚠️ 2026-10-05(外部复查):读 → 改 → 写 必须在**同一把锁**里。原来锁外读、锁里写: + # 读完到写之间要是有买家把另一张码绑上了,这里存回去的旧快照会把那张码改回 active(一码两用)。 + with LOCK: + rec, err = _edit_code_locked(c, patch) + if not rec: + return False, err, None + log("改卡密 %s → %s" % (c, json.dumps({k: rec.get(k) for k in + ("tpl", "set", "direct", "lock_tpl", "n_fix", "n_max", "state", "platform")}, + ensure_ascii=False))) + return True, None, code_info(c) + + +def _edit_code_locked(c, patch): + """edit_code 的主体(调用方持锁)。返回 (改后的记录 或 False, 错误文案)。""" cs = load_codes() if c not in cs: - return False, "没有这张卡密:%s" % c, None + return False, "没有这张卡密:%s" % c if code_state(cs[c]) == "used": return False, ("这张卡密已经用掉了(订单 %s),改不了 —— 要改请用 admin.py 直接动订单" - % (cs[c].get("order") or "")), None + % (cs[c].get("order") or "")) r = cs[c] p = patch or {} if "tpls" in p: bad = [t for t in (p.get("tpls") or []) if t not in TPL_KEYS] if bad: - return False, "模板不认识:%s" % "、".join(bad), None + return False, "模板不认识:%s" % "、".join(bad) r["tpl"] = ",".join(p["tpls"]) for k in ("set", "direct", "lock_tpl"): if k in p: @@ -1284,11 +1468,11 @@ def edit_code(c, patch): n_fix = int(p["n_fix"]) if "n_fix" in p else (0 if p.get("free") else cur_fix) n_max = int(p["n_max"]) if "n_max" in p else cur_max except (TypeError, ValueError): - return False, "张数不合法", None + return False, "张数不合法" if n_fix > MAX_IMAGES or n_max > 100: - return False, "张数不合法(固定张数最多 %d 张)" % MAX_IMAGES, None + return False, "张数不合法(固定张数最多 %d 张)" % MAX_IMAGES if n_fix and n_max and n_max < n_fix: - return False, "封顶不能小于固定张数", None + return False, "封顶不能小于固定张数" r["n_fix"], r["n_max"] = n_fix, n_max if p.get("unlimited"): r["n_free"] = True # 不限张数(老规矩「一张码一张图」也一并解除) @@ -1302,13 +1486,9 @@ def edit_code(c, patch): if k in p: r[k] = str(p[k] or "")[:20] if r.get("lock_tpl") and not (r.get("tpl") or "").strip(): - return False, "要锁定模板,得先给这张码带模板", None - with LOCK: - jsave(CODES_FILE, cs) - log("改卡密 %s → %s" % (c, json.dumps({k: r.get(k) for k in - ("tpl", "set", "direct", "lock_tpl", "n_fix", "n_max", "state", "platform")}, - ensure_ascii=False))) - return True, None, code_info(c) + return False, "要锁定模板,得先给这张码带模板" + jsave(CODES_FILE, cs) + return r, None # ----------------------------------------------------------------- HTTP @@ -1395,6 +1575,28 @@ class H(BaseHTTPRequestHandler): if body and self.command != "HEAD": self.wfile.write(body) + def _send_file(self, path, ctype, extra=None): + """把文件**边读边发**(不整块进内存)。头和 _send 一样:Content-Length + no-store。""" + try: + size = os.path.getsize(path) + fh = open(path, "rb") + except OSError: + return self.err("文件已过期或不存在", 404) + with fh: + self.send_response(200) + self.send_header("Content-Type", ctype) + self.send_header("Content-Length", str(size)) + self.send_header("Cache-Control", "no-store") + for k, v in (extra or {}).items(): + self.send_header(k, v) + self.end_headers() + if self.command == "HEAD": + return + try: + shutil.copyfileobj(fh, self.wfile, ZIP_CHUNK) + except (BrokenPipeError, ConnectionResetError): + self.close_connection = True + def js(self, obj, code=200): self._send(code, json.dumps(obj, ensure_ascii=False).encode(), "application/json; charset=utf-8") @@ -1533,7 +1735,7 @@ class H(BaseHTTPRequestHandler): if p == "/api/progress": return self.progress() if p == "/api/finish": - return self.finish() + return self.finish_upload() if p == "/api/fail": return self.fail() # ---- 管理接口(金钻电脑上的后台面板)---- @@ -1609,6 +1811,9 @@ class H(BaseHTTPRequestHandler): return self.err("一单最多 %d 张" % MAX_IMAGES) if len(templates) > MAX_IMAGES: return self.err("一单最多 %d 个模板" % MAX_IMAGES) + _badt = [str(x) for x in templates if x not in TPL_KEYS] + if _badt: + return self.err("模板不认识:%s(刷新一下页面再试)" % "、".join(_badt[:3])) if not prepay and not _loose and len(codes) != len(templates): return self.err("卡密个数与出图张数不一致") if arm not in ("classic", "slim"): @@ -1632,8 +1837,18 @@ class H(BaseHTTPRequestHandler): # ⚠️ 2026-10-04 修:第 1 次提交只带第 1 张皮肤,直接拿 len(templates) 当整单张数 # 会把多皮肤的单一律算少(实测:皮肤1 出 2 张 + 皮肤2 出 1 张 → 只算 2 张 → # 「固定 3 张」的码被误拒)。前端现在会传 nTotal / tplUnion,优先用它。 - _n1 = int(d.get("nTotal") or 0) or len(templates) - _u1 = [t for t in (d.get("tplUnion") or templates) if t in TPL_KEYS] or templates + # ⚠️ 2026-10-05(外部复查):nTotal / tplUnion 是**前端报的**,不能单独信 —— + # 原来报 nTotal=1、实际 templates 塞 7 个,「固定 1 张」的码就能出 7 张图; + # 报 tplUnion=锁定那组、实际 templates 是别的模板,锁模板就形同虚设。 + # 现在:张数取「前端报的」和「这次真提交的」里**大的那个**,模板取两者的**并集**。 + # 正常页面报的 nTotal 本来就 ≥ 第一张皮肤的模板数,所以对正常买家没有任何变化。 + try: + _n_decl = int(d.get("nTotal") or 0) + except (TypeError, ValueError): + _n_decl = 0 + _n1 = max(_n_decl, len(templates)) + _u1 = list(dict.fromkeys([t for t in (d.get("tplUnion") or []) if t in TPL_KEYS] + + [t for t in templates if t in TPL_KEYS])) or templates e2 = check_rules(codes_rules(good), _n1, _u1) if e2: log("卡密规则不通过 %s:%s" % (ip, e2)) @@ -1711,8 +1926,24 @@ class H(BaseHTTPRequestHandler): "note": "", "files": [], "started": None, "finished": None, "expire": (now() + timedelta(hours=KEEP_HOURS)).isoformat(timespec="seconds"), } - with LOCK: - write_meta(oid, meta) + if not prepay: + # ⚠️ 2026-10-05(外部复查):这里**再查一遍并当场绑定**(同一把锁里)—— + # 上面 redeem() 只是查,从查到这里中间隔着解码 / PNG 核验 / 落盘好几秒, + # 同一张码并发提交两次的话两边都会查到「可用」。绑不上 = 被别的提交抢先了。 + okb, eb, good = redeem_bind(good, oid) + if not okb: + shutil.rmtree(order_dir(oid), ignore_errors=True) + log("兑换码并发冲突 %s:%s" % (ip, eb)) + return self.err(eb) + meta["codes"] = good + try: + with LOCK: + write_meta(oid, meta) + except Exception: + if not prepay: + unbind_codes(good, oid) # 单没建成,码放回去 + shutil.rmtree(order_dir(oid), ignore_errors=True) + raise note_submit(ip) if prepay: # 给网页单也发一个码:既是凭证,买家也能拿它在「凭票取图」页取件 @@ -1737,8 +1968,6 @@ class H(BaseHTTPRequestHandler): meta["codes"] = [newc] with LOCK: write_meta(oid, meta) - else: - burn_codes(good, oid) log("新订单 %s | %s | %s px | 码 %d 个 | 模板 %s | %s" % (oid, arm, res, len(good), ",".join(templates), "待付款" if prepay else "已核销入队")) return self.js({"ok": True, "order": oid, "token": tok, "expire": meta["expire"], @@ -1790,7 +2019,8 @@ class H(BaseHTTPRequestHandler): elif st == "waiting" and m.get("codes"): # 卡密单(闲鱼/B站发来的码)本来就是付过款的,别再让买家以为要付款 pos = queue_pos(oid) - note = ("这单是用卡密下的,**已经付过款,不用再付款**。" + # 页面把 note 当纯文本显示 —— 别写 Markdown 的 **,买家会看到两对星号(2026-10-05 外部复查) + note = ("这单是用卡密下的,已经付过款,不用再付款。" + ("渲染机在线,正在排队(前面还有 %d 单)。" % (pos - 1) if hbs["online"] else "渲染机当前离线,等金钻开机器后会自动开始渲染,着急可点「呼叫金钻」。")) elif st == "waiting": @@ -1806,6 +2036,10 @@ class H(BaseHTTPRequestHandler): if accepted else "渲染完成!先看下面的 512 预览图(带水印),确认没问题点「确认收货」," "就能下载原图(标准压缩 + 无压缩 16bit,两张都记得下载)。") + if m.get("partial"): + # 状态话术不许骗人:少交了就直说(金钻那边已经收到提醒) + note = ("有 %d 个文件没渲出来,已经自动通知金钻补。下面是已经出好的部分。" + % max(0, int(m["partial"].get("want") or 0) - int(m["partial"].get("got") or 0))) + note elif st == "failed": note = note or "渲染失败,已记录,可点「呼叫金钻」处理。" return self.js({"ok": True, "oid": oid, "state": st, "created": m.get("created"), @@ -2001,6 +2235,11 @@ class H(BaseHTTPRequestHandler): except OSError: pass + with HOOK_LOCK: + return self._payplatform_hook_locked(obj) + + def _payplatform_hook_locked(self, obj): + """回调主体(在 HOOK_LOCK 里跑:同一笔单并发重推、两笔回调同时写账本都不会互相冲掉)。""" order = (((obj.get("data") or {}).get("order")) or {}) oid_af = str(order.get("out_trade_no") or "").strip() title = "%s %s" % (order.get("plan_title") or "", order.get("title") or "") @@ -2011,8 +2250,13 @@ class H(BaseHTTPRequestHandler): log("爱发电回调:测试单(%s),只记账不发码" % title.strip()) return self.js({"ec": 200, "em": ""}) led = jload(PAYPLATFORM_LEDGER, {}) or {} - if oid_af in led and led[oid_af].get("code"): - log("爱发电回调:%s 已经发过码 %s(重推,原样回它)" % (oid_af, led[oid_af]["code"])) + # ⚠️ 2026-10-05(外部复查):幂等原来只认「发过码」。可「对上网页单、激活了」那条路记的是 + # code=None + used_by=<单号> —— 同一笔单再推一次(爱发电自己会重试;这个地址又是公开的, + # 谁都能把报文原样再 POST 一遍)就不算处理过:第二次激活失败(单子已经在排队)→ 掉进 + # 「按买码处理」→ **白送一张码**,还会写进返回体里。现在:发过码 **或** 激活过单,一律原样回。 + if oid_af in led and (led[oid_af].get("code") or led[oid_af].get("used_by")): + log("爱发电回调:%s 已经处理过(%s),重推原样回它" + % (oid_af, led[oid_af].get("code") or ("激活了 %s" % led[oid_af].get("used_by")))) return self.js({"ec": 200, "em": "", "data": {"content": led[oid_af].get("content") or ""}}) if int(order.get("status") or 0) != 2: @@ -2193,6 +2437,13 @@ class H(BaseHTTPRequestHandler): return self.err("这一单现在是「%s」,不用再激活了" % m.get("state")) if len(ano) < 10: return self.err("爱发电订单号看着不对(在爱发电「我的订单」里能复制到,一长串数字)") + ip = ip_of(self) + if too_many_fails(ip): + return self.err("尝试次数过多,请 15 分钟后再试", 429) + with HOOK_LOCK: # 账本和回调共用一把锁,免得两边同时写把对方的记录冲掉 + return self._activate_payplatform_locked(oid, m, ano, ip) + + def _activate_payplatform_locked(self, oid, m, ano, ip): led = jload(PAYPLATFORM_LEDGER, {}) or {} rec = None for k, v in led.items(): @@ -2201,6 +2452,7 @@ class H(BaseHTTPRequestHandler): rec["_key"] = k break if not rec: + note_fail(ip) return self.err("没查到这笔爱发电订单 —— 确认一下订单号?刚付完可能要等几秒," "稍等再试;还不行就点「呼叫金钻」。") if not rec.get("code"): @@ -2244,8 +2496,12 @@ class H(BaseHTTPRequestHandler): return self.err("这一单现在是「%s」,不用再激活了" % m.get("state")) if not CODE_RE.match(code): return self.err("卡密格式不对(形如 YS-XXXX-XXXX-XXXX)") + ip = ip_of(self) + if too_many_fails(ip): # 和下单共用一套「输错冷却」(2026-10-05 外部复查补) + return self.err("尝试次数过多,请 15 分钟后再试", 429) rec = (load_codes() or {}).get(code) if not rec: + note_fail(ip) return self.err("没有这个卡密 —— 检查一下有没有输错") # 填的是**自己这一单的凭证码**?金钻 2026-10-01 定的口径:「回来就用这个兑换码就行」。 # 那就把它当**报到付款**用:订单推到 paid(待激活),并告诉买家"等确认到账就开渲"。 @@ -2279,7 +2535,11 @@ class H(BaseHTTPRequestHandler): if set(uni) - set(locked): return self.err("这张卡密锁定了模板(%s),你这单选的是 %s —— 对不上。" % ("、".join(locked), "、".join(uni))) - burn_codes([code], oid) # 绑码(= 激活,不是核销) + # 绑码(= 激活,不是核销)。⚠️ 查和绑必须在同一把锁里:同一张码同时激活两张单, + # 原来两边都会查到 active、都绑上(2026-10-05 外部复查)。 + okb, eb, _g = redeem_bind([code], oid) + if not okb: + return self.err(eb) m["codes"] = (m.get("codes") or []) + [code] m["state"] = "waiting" # 进队列 —— 订单内容原封不动 m["paid_at"] = now().isoformat(timespec="seconds") @@ -2336,12 +2596,12 @@ class H(BaseHTTPRequestHandler): hit = [x for x in skins if (x.get("id") or "") == sid] if not hit: return self.err("这张皮肤不属于这一单") - try: - raw = base64.b64decode(new_skin.split(",", 1)[-1]) - except Exception: - return self.err("新皮肤数据不合法") - if not raw or len(raw) > MAX_BODY: - return self.err("新皮肤太大或为空") + # ⚠️ 2026-10-05(外部复查):原来这里只 base64 解一下、看个大小就落盘 —— + # **绕过了 PNG 结构核验**(尾部夹带 / 未知关键块 / APNG 全都能进), + # 而且直接发给渲染机那台电脑。现在和下单 / 追补皮肤走同一个 _read_skin(核验 + 清洗)。 + okr, er, raw, _sz, _notes = self._read_skin({"skin": new_skin}) + if not okr: + return self.err("新皮肤不行:%s" % er) sd = os.path.join(order_dir(oid), "skins") os.makedirs(sd, exist_ok=True) with open(os.path.join(sd, "%s.png" % sid), "wb") as f: @@ -2414,17 +2674,24 @@ class H(BaseHTTPRequestHandler): """买家反馈(金钻 2026-10-02:「反馈问题要能上传图片」)。 为什么改走服务器:原来是 mailto —— **手机上点了没反应**(没配邮箱客户端就什么都不发生), 而且图片根本带不出去。现在存到 /feedback/,并且走「呼叫金钻」同一套通知。""" + ip = ip_of(self) + # ⚠️ 2026-10-05(外部复查):这个接口原来**不限频、不看磁盘**,每次能存一张 4MB 的图, + # 还会往 calls.jsonl 塞一条「呼叫」→ 写个循环就能把盘写满、把金钻的手机通知刷爆。 + if not feedback_allowed(ip): + return self.err("反馈太频繁了,稍后再试(着急可以点「呼叫金钻」)", 429) + if not disk_ok(): + return self.err("服务器空间不足,请联系金钻处理", 503) d = self.body_json() or {} - ip = self.headers.get("X-Real-IP") or self.client_address[0] note = str(d.get("note") or "").strip()[:1500] if not note and not d.get("image"): return self.err("总得写点什么,或者传张图") + note_feedback(ip) try: os.makedirs(FEEDBACK_DIR, exist_ok=True) except OSError: return self.err("服务器忙,稍后再试", 503) fid = now().strftime("%Y%m%d-%H%M%S") + "-" + "".join( - random.choice("abcdefghijkmnpqrstuvwxyz23456789") for _ in range(4)) + secrets.choice("abcdefghijkmnpqrstuvwxyz23456789") for _ in range(4)) rec = {"id": fid, "ts": now().isoformat(timespec="seconds"), "ip": ip, "order": str(d.get("order") or "")[:20], "note": note, "contact": str(d.get("contact") or "")[:80], @@ -2439,8 +2706,11 @@ class H(BaseHTTPRequestHandler): raw = base64.b64decode(img.split(",", 1)[-1]) except Exception: raw = b"" - if raw and len(raw) <= 4 * 1024 * 1024: - fn = "%s.png" % fid + _ext = _img_ext(raw) + if raw and not _ext: + rec["image"] = "(不是常见图片格式,没收)" + elif raw and len(raw) <= 4 * 1024 * 1024: + fn = "%s.%s" % (fid, _ext) with open(os.path.join(FEEDBACK_DIR, fn), "wb") as f: f.write(raw) rec["image"] = fn @@ -2464,7 +2734,8 @@ class H(BaseHTTPRequestHandler): d = self.body_json() or {} codes = [re.sub(r"[^A-Za-z0-9-]", "", str(x)).upper()[:20] for x in (d.get("codes") or [])][:60] - return self.js({"ok": True, "list": [coupon_status(c) for c in codes if c]}) + cs = load_codes() + return self.js({"ok": True, "list": [coupon_status(c, cs) for c in codes if c]}) def gift_take(self): """领一张福利券 → 返回券码(拿去「卡密下单」用,免费)""" @@ -2555,8 +2826,6 @@ class H(BaseHTTPRequestHandler): path = os.path.join(order_dir(oid), rel) if not os.path.exists(path): return self.err("文件已过期或不存在", 404) - with open(path, "rb") as f: - data = f.read() name = files[idx].get("name") or "out.png" # ⚠️ HTTP 头只能是 latin-1:中文文件名直接写进 filename= 会 UnicodeEncodeError, # 连接被掐断 → nginx 侧看到 502。必须给 ASCII 回退名 + RFC 5987 的 filename*= @@ -2565,10 +2834,13 @@ class H(BaseHTTPRequestHandler): % (ascii_name, quote(name, safe=""))) ctype = "image/jpeg" if rel.lower().endswith(".jpg") else "image/png" # ⚠️ no-store:成品/预览是同名覆盖的,重渲后绝不能让浏览器拿缓存里的旧图 + # ⚠️ 2026-10-05(外部复查):原来 `data = f.read()` 整张读进内存再发。4096 的无压缩 16bit + # 一张就是几十 MB,几个人同时下就顶到 MemoryMax=256M → 整个服务被 OOM 杀掉。 + # 现在和 zip 一样边读边发(64KB 一块),响应头、内容一个字节都没变。 if (q.get("p") or [""])[0] == "1": - self._send(200, data, ctype, {"Cache-Control": "no-store"}) # 预览内联显示,不强制下载 + self._send_file(path, ctype, {}) # 预览内联显示,不强制下载 else: - self._send(200, data, ctype, {"Content-Disposition": disp, "Cache-Control": "no-store"}) + self._send_file(path, ctype, {"Content-Disposition": disp}) def skin(self, oid, sid="s1"): m = read_meta(oid) @@ -2584,9 +2856,7 @@ class H(BaseHTTPRequestHandler): path = next((p for p in cand if os.path.exists(p)), cand[-1]) if not os.path.exists(path): return self.err("not found", 404) - with open(path, "rb") as f: - data = f.read() - self._send(200, data, "image/png") + self._send_file(path, "image/png") def hb(self): if not self.is_worker(): @@ -2632,6 +2902,8 @@ class H(BaseHTTPRequestHandler): # 「只重渲勾的那几张」时必须留着 —— 清了的话没重渲的成品就永远回不来了(金钻 2026-10-04) if not m.get("redo_tpls"): m["files"] = [] + m.pop("plan_total", None) # 新的一轮,按渲染机这次报的 total 重新算 + m.pop("partial", None) write_meta(m["oid"], m) log("派单 %s → 渲染机" % m["oid"]) return self.js({"ok": True, "order": { @@ -2639,6 +2911,9 @@ class H(BaseHTTPRequestHandler): "created": m["created"], "skin_size": m.get("skin_size"), "res": int(m.get("res") or DEFAULT_RES), "redo_tpls": (m.get("redo_tpls") or []), "keep_n": len(m.get("files") or []), "codes": m.get("codes"), + # 2026-10-05(外部复查,⚠️ 接口**新增**字段):渲染机留档里的「条款版本」原来读不到这一项, + # 一直写的是渲染机自己写死的旧版本号(2026-10-01.1)。带上订单真实同意的那一版。 + "terms_v": m.get("terms_v") or "", # 皮肤清单(金钻 2026-10-01):渲染机按「每张皮肤 × 每个模板」出图, # 每张皮肤各自带臂型(A 可能粗臂、B 可能细臂) "skins": [{"id": x.get("id"), "fileName": x.get("fileName"), "arm": x.get("arm"), @@ -2691,7 +2966,12 @@ class H(BaseHTTPRequestHandler): write_meta(oid, m) return self.js({"ok": True}) - def finish(self): + # ⚠️ 2026-10-05(外部复查):这个方法原来叫 finish() —— 和 socketserver 的 StreamRequestHandler.finish() + # **重名**。框架在**每个请求**处理完之后都会调 self.finish(),于是每个请求结束时都会把「回传成品」 + # 的逻辑再跑一遍:普通请求 → 往已经回完的连接上再写一个 403;带渲染机令牌的请求 → 再去读一次请求体 + # (读到连接关闭才返回)→ 再写一个「参数不合法」。日志里那些 + # 「Exception occurred during processing of request … in finish」就是它。接口路径 /api/finish 不变。 + def finish_upload(self): """渲染机交回成品(**一张一次**,避免单次请求过大): {oid, total, results:[{tpl,name,png}], note} 收满 total 张才把单子标成 done。""" @@ -2709,7 +2989,8 @@ class H(BaseHTTPRequestHandler): # (2026-10-01:模板认错皮肤节点时,不用再去宿主翻渲染机日志) if d.get("diag"): m["skin_diag"] = [str(x)[:240] for x in (d.get("diag") or [])][:8] - write_meta(oid, m) + with LOCK: + write_meta(oid, m) log("皮肤节点判定(%s):%s" % (oid, " | ".join(m["skin_diag"]))) outdir = os.path.join(order_dir(oid), "out") os.makedirs(outdir, exist_ok=True) @@ -2751,7 +3032,16 @@ class H(BaseHTTPRequestHandler): # 重渲会把同名图重新交上来 —— 按名字替换,别在列表里堆两份(2026-10-02 加重渲时发现) files = [f for f in files if (f.get("name") or "") != name] files.append(entry) - total = int(d.get("total") or len(m.get("templates") or []) or 1) + # ⚠️ 2026-10-05(外部复查):渲染机收单(close)那一下**不带 total**,原来就退回按「模板数」算 —— + # 可渲染机的 total 是按**文件数**(每个模板两张)报的。于是 2 个模板只交回 2 个文件(缺两张无压缩) + # 也会被当成「收满了」。现在记住渲染机前面报过的 total(plan_total),收单时按它判断。 + try: + _tot_in = int(d.get("total") or 0) + except (TypeError, ValueError): + _tot_in = 0 + if _tot_in > 0: + m["plan_total"] = _tot_in + total = _tot_in or int(m.get("plan_total") or 0) or len(m.get("templates") or []) or 1 m["files"] = files if d.get("note"): m["note"] = str(d["note"])[:300] @@ -2772,6 +3062,24 @@ class H(BaseHTTPRequestHandler): m["state"] = "done" m["finished"] = now().isoformat(timespec="seconds") m.setdefault("accepted", False) # 收货闸:没确认只能看 512 预览 + # ⚠️ 2026-10-05(外部复查):渲染机显式收单(close)但没收满 total 张 = 部分失败。 + # 原来照样标「已完成」,失败原因只写进 note —— 而 done 状态的页面文案会把 note 盖掉, + # 买家看到「渲染完成」、金钻也收不到任何提醒(静默少交货)。 + # 现在:记下缺了几张 + 往 calls.jsonl 写一条(走「呼叫金钻」同一套通知)+ 页面说实话。 + if d.get("close") and len(files) < total: + m["partial"] = {"got": len(files), "want": total, + "why": str(d.get("note") or "")[:300], + "at": now().isoformat(timespec="seconds")} + try: + with open(CALLS_FILE, "a", encoding="utf-8") as f: + f.write(json.dumps({"ts": m["partial"]["at"], "ip": "渲染机", "order": oid, + "notified": False, "kind": "部分失败", + "note": ("收到 %d/%d 个文件:%s" % (len(files), total, + m["partial"]["why"]))[:300]}, + ensure_ascii=False) + "\n") + except OSError: + pass + log("⚠️ %s 部分失败:收到 %d/%d 个文件(%s)" % (oid, len(files), total, m["partial"]["why"])) if m.get("direct"): # 直发单不用确认收货 —— 渲完就是「开放下载」,保留期/核销都从这一刻起算 self._extend_expire(m, m["finished"]) @@ -2869,6 +3177,16 @@ class H(BaseHTTPRequestHandler): return self.err("文件已过期或不存在", 404) if total > MAX_ZIP_BYTES: return self.err("这一单合计太大(%.0f MB),请一张一张下载" % (total / 1048576.0), 413) + # ⚠️ 2026-10-05(外部复查):同一时间只打**一个**包。每个包最大 600MB 临时文件, + # 原来不限并发:同一个取件码连点 / 脚本并发几次,就能把盘和 CPU 一起占满。 + if not ZIP_SEM.acquire(timeout=60): + return self.err("正在给别的订单打包,稍等一分钟再点", 503) + try: + return self._download_zip_locked(oid, m, files, base) + finally: + ZIP_SEM.release() + + def _download_zip_locked(self, oid, m, files, base): os.makedirs(TMP_DIR, exist_ok=True) fd, zpath = tempfile.mkstemp(prefix="ys-", suffix=".zip", dir=TMP_DIR) os.close(fd) @@ -2876,8 +3194,11 @@ class H(BaseHTTPRequestHandler): # 随包一份**收货凭证(小票)**:金钻 2026-10-01 —— 订单号/卡密/皮肤/逐张清单/ # 分辨率/时间/留档序号/条款版本/保存期限,闲鱼对账、留证都用它。 # ⚠️ 带 BOM(utf-8-sig):Windows 记事本打开中文才不乱码。 - with zipfile.ZipFile(zpath, "w", zipfile.ZIP_DEFLATED, compresslevel=1) as z: - z.writestr("小票.txt", receipt_text(oid, m).encode("utf-8-sig")) + # PNG 本身已经压过,再 deflate 一遍几乎不变小、白烧 CPU(小机器上很明显)→ 成品直接 STORED; + # 小票是文本,单独用 DEFLATED。 + with zipfile.ZipFile(zpath, "w", zipfile.ZIP_STORED) as z: + z.writestr("小票.txt", receipt_text(oid, m).encode("utf-8-sig"), + compress_type=zipfile.ZIP_DEFLATED) for i, f in enumerate(files): nm = re.sub(r'[\\/:*?"<>|]', "_", f.get("name") or ("out%d.png" % (i + 1))) z.write(os.path.join(base, f["path"]), "%02d_%s" % (i + 1, nm)) diff --git a/backend/backend-site/tests/回执复现测试.py b/backend/backend-site/tests/回执复现测试.py new file mode 100644 index 0000000..ef171c6 --- /dev/null +++ b/backend/backend-site/tests/回执复现测试.py @@ -0,0 +1,281 @@ +# -*- coding: utf-8 -*- +"""网站后端回归 + 漏洞复现测试(自己造的假皮肤,不碰任何真实数据)。 + +用法:python3 tests/回执复现测试.py + (交付副本里三个 URL 格式串被脱敏弄坏了,跑之前要先把它们换成能格式化的占位;线上原版可以直接跑) + · 会在系统临时目录建一份独立数据目录,不碰 ;测试机上没有水印字体,预览那一步用「拷一份」代替。 + · 在临时目录里起一份 server(随机端口),从 HTTP 层打接口; + · 每条用例各用一份新数据(不复用,免得"第一条就把码用掉"); + · 输出每条 PASS / FAIL;对原版跑一遍能看到哪些洞真实存在。 +""" +import base64, io, json, os, struct, subprocess, sys, tempfile, threading, time, urllib.request, urllib.error, zipfile, zlib + +SRC = os.path.abspath(sys.argv[1]) +ROOT = tempfile.mkdtemp(prefix="ys-test-") +os.environ["YS_ROOT"] = ROOT +sys.path.insert(0, SRC) +import server as S # noqa: E402 + +RESULTS = [] + + +def check(name, cond, detail=""): + RESULTS.append((name, bool(cond), detail)) + print(("PASS " if cond else "FAIL ") + name + ((" —— " + detail) if detail else ""), flush=True) + + +# ------------------------------------------------------------------ 假皮肤 +def png(w=64, h=64, tail=b"", extra_chunk=None, seed=0): + raw = b"".join(b"\x00" + b"".join(bytes(((x * 7 + y * 3 + seed) % 256, (x + seed) % 256, y % 256, 255)) + for x in range(w)) for y in range(h)) + + def chunk(t, d): + return struct.pack(">I", len(d)) + t + d + struct.pack(">I", zlib.crc32(t + d) & 0xffffffff) + out = b"\x89PNG\r\n\x1a\n" + chunk(b"IHDR", struct.pack(">IIBBBBB", w, h, 8, 6, 0, 0, 0)) + if extra_chunk: + out += chunk(*extra_chunk) + out += chunk(b"IDAT", zlib.compress(raw)) + chunk(b"IEND", b"") + return out + tail + + +def durl(b): + return "data:image/png;base64," + base64.b64encode(b).decode() + + +# ------------------------------------------------------------------ 起服务 +srv = S.ThreadingHTTPServer(("127.0.0.1", 0), S.H) +srv.daemon_threads = True +PORT = srv.server_address[1] +threading.Thread(target=srv.serve_forever, daemon=True).start() +BASE = "http://127.0.0.1:%d" % PORT + + +def req(method, path, obj=None, headers=None, raw=False, timeout=30): + data = json.dumps(obj).encode() if obj is not None else None + r = urllib.request.Request(BASE + path, data=data, method=method) + r.add_header("Content-Type", "application/json") + for k, v in (headers or {}).items(): + r.add_header(k, v) + try: + with urllib.request.urlopen(r, timeout=timeout) as resp: + body = resp.read() + return resp.status, (body if raw else json.loads(body)), dict(resp.headers) + except urllib.error.HTTPError as e: + body = e.read() + try: + return e.code, (body if raw else json.loads(body)), dict(e.headers) + except ValueError: + return e.code, body, dict(e.headers) + + +WK = {"X-Worker-Token": S.WT} +TERMS = {"v": S.TERMS_VERSION, "agreed": True} +_ip_n = [0] + + +def new_ip(): + """每条用例换一个来源 IP(X-Real-IP),免得被「同 IP 10 分钟 6 单」的限流串了用例。""" + _ip_n[0] += 1 + return {"X-Real-IP": "198.51.100.%d" % _ip_n[0]} + + +def submit(codes, templates, ip=None, **kw): + body = {"skin": durl(png(seed=len(codes) + len(templates))), "fileName": "test.png", "arm": "classic", + "templates": templates, "res": 1000, "codes": codes, "terms": TERMS} + body.update(kw) + return req("POST", "/api/submit", body, ip or new_ip()) + + +def fake_preview(oid, png_path, out_name, idx=0): + """测试机没有水印字体 / ffmpeg:预览直接拷一份,只为让「水印闸门」放行。""" + rel = "out/prev_%02d.jpg" % int(idx) + with open(png_path, "rb") as a, open(os.path.join(S.order_dir(oid), rel), "wb") as b: + b.write(a.read()) + return rel + + +S.make_preview = fake_preview + +# ================================================================== 1. 正常链路(回归) +code = S.gen_codes(1)[0] +st, j, _ = submit([code], ["stand"]) +check("回归:卡密单提交成功", st == 200 and j.get("ok"), str(j)[:120]) +oid, tok = j.get("order"), j.get("token") +st, j, _ = req("POST", "/api/claim", {}, WK) +check("回归:渲染机领到这一单", st == 200 and (j.get("order") or {}).get("oid") == oid, str(j)[:120]) +claimed = j.get("order") or {} +check("新增字段:claim 带 terms_v(订单同意的条款版本)", claimed.get("terms_v") == S.TERMS_VERSION, + "terms_v=%r" % claimed.get("terms_v")) +st, b, h = req("GET", "/api/skin/%s/s1" % oid, headers=WK, raw=True) +check("回归:渲染机取得到皮肤(流式发送后内容不变)", st == 200 and b[:8] == b"\x89PNG\r\n\x1a\n" + and int(h.get("Content-Length", -1)) == len(b)) +big = png(256, 256) + b"" # 成品 +for name in ("站立正反.png", "站立正反无压缩.png"): + st, j, _ = req("POST", "/api/finish", {"oid": oid, "total": 2, + "results": [{"tpl": "stand", "name": name, "png": base64.b64encode(big).decode(), + "skin": "s1", "sec": 30}]}, WK) +check("回归:回传两张后订单完成", j.get("done") is True, str(j)[:120]) +st, j, _ = req("GET", "/api/order/%s?t=%s" % (oid, tok)) +check("回归:订单详情可读、两张文件", st == 200 and len(j.get("files") or []) == 2, str(j.get("state"))) +st, j, _ = req("POST", "/api/accept", {"oid": oid, "token": tok}) +check("回归:确认收货", j.get("accepted") is True) +st, b, h = req("GET", "/api/dl/%s/0?t=%s" % (oid, tok), raw=True) +check("回归:下载原图(流式)字节一致、带附件头", st == 200 and b == big and "attachment" in h.get("Content-Disposition", ""), + "len=%d" % len(b)) +st, b, h = req("GET", "/api/zip/%s?t=%s" % (oid, tok), raw=True) +zok = False +if st == 200: + z = zipfile.ZipFile(io.BytesIO(b)) + names = z.namelist() + zok = "小票.txt" in names and len(names) == 3 and z.read(names[1]) == big +check("回归:整单打包 zip 内容完整", zok, "status=%s" % st) + +# 网页单(先填后付)→ 用平台卡密激活 +st, j, _ = submit([], ["wheat"], pay="prepay") +check("回归:网页下单(待付款)", st == 200 and j.get("prepay") is True, str(j)[:100]) +p_oid, p_tok = j.get("order"), j.get("token") +c2 = S.gen_codes(1)[0] +st, j, _ = req("POST", "/api/activate", {"oid": p_oid, "token": p_tok, "code": c2}, new_ip()) +check("回归:网页单用卡密激活进队列", j.get("state") == "waiting", str(j)[:100]) + +# ================================================================== 2. 一码两单(并发提交同一张码) +dup = S.gen_codes(1)[0] +outs = [] + + +def _go(): + outs.append(submit([dup], ["stand"])) + + +ths = [threading.Thread(target=_go) for _ in range(6)] +[t.start() for t in ths] +[t.join() for t in ths] +okn = sum(1 for st, j, _ in outs if st == 200 and j.get("ok")) +check("洞:同一张码并发提交 6 次,只能成 1 单", okn == 1, "成功了 %d 单" % okn) + +# ================================================================== 3. 张数 / 锁模板 绕过 +c1 = S.gen_codes(1, n_fix=1)[0] +st, j, _ = submit([c1], ["stand", "standb", "wheat", "beach", "boom", "sakura", "airship"], nTotal=1, tplUnion=["stand"]) +check("洞:「固定 1 张」的码报 nTotal=1、实际塞 7 个模板 → 必须拒", not (st == 200 and j.get("ok")), + "server 说:%s" % (j.get("error") if isinstance(j, dict) else j)) +cl = S.gen_codes(1, tpl="stand", lock_tpl=True, n_max=5)[0] +st, j, _ = submit([cl], ["airship"], nTotal=1, tplUnion=["stand"]) +check("洞:锁定「站立正反」的码,报 tplUnion=stand、实际出空艇 → 必须拒", not (st == 200 and j.get("ok")), + "server 说:%s" % (j.get("error") if isinstance(j, dict) else j)) +cn = S.gen_codes(1, n_fix=3)[0] +st, j, _ = submit([cn], ["stand", "wheat"], nTotal=3, tplUnion=["stand", "wheat", "beach"]) +check("回归:多皮肤单(第 1 张 2 个模板,整单报 3 张)照常能交", st == 200 and j.get("ok"), str(j)[:100]) +st, j, _ = submit([S.gen_codes(1)[0]], ["notatpl"]) +check("加固:不认识的模板 key 在提交时就拒(不等渲染机报错)", not (st == 200 and j.get("ok")), str(j)[:80]) + +# ================================================================== 4. 爱发电回调重放 +st, j, _ = submit([], ["stand"], pay="prepay") +h_oid, h_tok = j.get("order"), j.get("token") +real = {"out_trade_no": "202610050000000000000000001", "status": 2, "total_amount": "6.00", "show_amount": "6.00", + "remark": "", "custom_order_id": h_oid, "user_id": "u1", "sku_detail": [{"name": "x", "count": 1}], + "plan_title": "渲染", "title": ""} +S.payplatform_find_order = lambda no, pages=3: dict(real) if no == real["out_trade_no"] else None +hook_body = {"ec": 200, "em": "ok", "data": {"type": "order", "order": dict(real)}} +n0 = len(S.load_codes()) +st, j1, _ = req("POST", "/api/payplatform-hook", hook_body) +m = S.read_meta(h_oid) +check("回归:回调对上网页单并激活", m and m.get("state") == "waiting", "state=%s" % (m or {}).get("state")) +n1 = len(S.load_codes()) +st, j2, _ = req("POST", "/api/payplatform-hook", hook_body) # 原样重放(平台重试 / 别人照抄) +n2 = len(S.load_codes()) +c2txt = ((j2 or {}).get("data") or {}).get("content") or "" +check("洞:同一笔付款回调重放,不能再发码", n2 == n1 and "卡密" not in c2txt, + "重放前 %d 张码、重放后 %d 张;返回:%s" % (n1, n2, c2txt[:40].replace("\n", " "))) +# 第二张待付款单 + 用同一笔付款的报文、把 custom_order_id 改成它 +st, j, _ = submit([], ["stand"], pay="prepay") +h2 = j.get("order") +forged = json.loads(json.dumps(hook_body)) +forged["data"]["order"]["custom_order_id"] = h2 +real2 = dict(real) +real2.pop("custom_order_id") +S.payplatform_find_order = lambda no, pages=3: dict(real2) if no == real["out_trade_no"] else None +req("POST", "/api/payplatform-hook", forged) +m2 = S.read_meta(h2) +check("洞:同一笔付款改报文里的订单号,不能再激活另一单", (m2 or {}).get("state") in ("unpaid", "paid"), + "第二单状态=%s" % (m2 or {}).get("state")) + +# ================================================================== 5. 重渲换皮肤绕过 PNG 核验 +st, j, _ = submit([S.gen_codes(1)[0]], ["stand"]) +r_oid, r_tok = j["order"], j["token"] +S.write_meta(r_oid, dict(S.read_meta(r_oid), state="done")) +evil = png(tail=b"<>") +st, j, _ = req("POST", "/api/redo", {"oid": r_oid, "token": r_tok, "skin": durl(evil), "skin_id": "s1", "all": 1}) +saved = b"" +try: + saved = open(os.path.join(S.order_dir(r_oid), "skins", "s1.png"), "rb").read() +except OSError: + pass +check("洞:重渲换皮肤夹带尾部数据 → 必须拒、不能落盘", not (st == 200 and j.get("ok")) and b"hidden" not in saved, + "server 说:%s" % (j.get("error") if isinstance(j, dict) else j)) +st, j, _ = submit([S.gen_codes(1)[0]], ["stand"]) +r2, t2 = j["order"], j["token"] +S.write_meta(r2, dict(S.read_meta(r2), state="done")) +st, j, _ = req("POST", "/api/redo", {"oid": r2, "token": t2, "skin": durl(png(seed=9)), "skin_id": "s1", "all": 1}) +check("回归:重渲换一张正常皮肤照常可以", st == 200 and j.get("ok"), str(j)[:80]) + +# ================================================================== 6. 反馈接口灌盘 +ip = new_ip() +codes_ = [] +for i in range(7): + st, j, _ = req("POST", "/api/feedback", {"note": "测试 %d" % i, "image": durl(png(seed=i))}, ip) + codes_.append(st) +check("洞:同一 IP 连发 7 条反馈要被限流", 429 in codes_, "状态码:%s" % codes_) +st, j, _ = req("POST", "/api/feedback", {"note": "x", "image": "data:image/png;base64," + base64.b64encode(b"MZ\x90\x00not an image").decode()}, new_ip()) +fb = [f for f in os.listdir(os.path.join(ROOT, "feedback")) if not f.endswith(".json")] +check("加固:反馈里的「图片」不是图片就不收", not any(open(os.path.join(ROOT, "feedback", f), "rb").read().startswith(b"MZ") for f in fb)) + +# ================================================================== 7. 部分失败要响亮 +st, j, _ = submit([S.gen_codes(1, n_fix=2)[0]], ["stand", "wheat"], nTotal=2) +q_oid, q_tok = j["order"], j["token"] +for _ in range(5): + st, j, _ = req("POST", "/api/claim", {}, WK) + if (j.get("order") or {}).get("oid") == q_oid: + break +req("POST", "/api/finish", {"oid": q_oid, "total": 4, "results": [{"tpl": "stand", "name": "站立正反.png", + "png": base64.b64encode(big).decode(), "skin": "s1"}]}, WK) +req("POST", "/api/finish", {"oid": q_oid, "close": True, "note": "部分失败:麦田萤火 渲染卡住", "results": []}, WK) +st, j, _ = req("GET", "/api/order/%s?t=%s" % (q_oid, q_tok)) +calls = open(S.CALLS_FILE, encoding="utf-8").read() if os.path.exists(S.CALLS_FILE) else "" +check("静默失败:4 个文件只交回 1 个 → 页面要说实话(缺 3 个)+ 呼叫金钻", "有 3 个文件没渲出来" in (j.get("note") or "") and q_oid in calls, + "页面文案:%s" % (j.get("note") or "")[:40]) + +# ================================================================== 8. sweep 不许删流水线上的单 +st, j, _ = submit([S.gen_codes(1)[0]], ["stand"]) +w_oid = j["order"] +mm = S.read_meta(w_oid) +mm["created"] = (S.now() - S.timedelta(days=5)).isoformat(timespec="seconds") +S.write_meta(w_oid, mm) # 排队中,但已经是 5 天前的单(渲染机关了几天) +sw = subprocess.run([sys.executable, os.path.join(SRC, "admin.py"), "sweep"], capture_output=True, text=True, + env=dict(os.environ, YS_ROOT=ROOT), cwd=SRC, timeout=60) +check("洞:渲染机关了 5 天,排队中的单不能被 sweep 删掉", os.path.isdir(S.order_dir(w_oid)), + (sw.stdout or sw.stderr).strip()[-80:]) + +# ================================================================== 9. 跨进程:CLI 发码 与 服务器绑码 同时进行 +before = set(S.load_codes()) +child = subprocess.Popen([sys.executable, "-c", + "import sys;sys.path.insert(0,%r);import server as S\n" + "for _ in range(40): S.gen_codes(5, batch='cli')" % SRC], + env=dict(os.environ, YS_ROOT=ROOT), cwd=SRC) +mine = S.gen_codes(30, batch="pre") +bound_ok = 0 +for c in mine: + st, j, _ = submit([c], ["stand"]) + bound_ok += 1 if (st == 200 and j.get("ok")) else 0 +child.wait(timeout=300) +after = S.load_codes() +cli_n = sum(1 for c, r in after.items() if r.get("batch") == "cli") +still_active = [c for c in mine if (after.get(c) or {}).get("state") != "bound"] +check("洞:CLI 一边发码、服务器一边下单 —— 发出去的码一张不少", cli_n == 200, "CLI 发了 200 张,文件里有 %d 张" % cli_n) +check("洞:同时进行时,已下单的码不能被改回「可用」", not still_active, "被冲回去的码 %d 张(下单成功 %d 单)" % (len(still_active), bound_ok)) + +# ================================================================== 汇总 +srv.shutdown() +bad = [n for n, ok, _ in RESULTS if not ok] +print("\n%d 条,失败 %d 条" % (len(RESULTS), len(bad))) +for n in bad: + print(" ✗ " + n) diff --git a/backend/backend-site/回执-Claude.md b/backend/backend-site/回执-Claude.md new file mode 100644 index 0000000..8ab0a98 --- /dev/null +++ b/backend/backend-site/回执-Claude.md @@ -0,0 +1,333 @@ +# 回执 · Claude(受 ywsabc2 委托)· 2026-10-05 + +> 范围:`backend-site/`(server.py / admin.py / pngcheck.py)+ `deploy/nginx-片段.md`,以及它和前端 `order/index.html` 的对接。 +> 渲染机 / 本机工具那边单独一份:`backend-tools/回执-Claude.md`。 +> 行号一律指**交付时的原版**(提交 `c6034e9`)。 +> 我改过的地方都在 `server.py` / `admin.py` 里标了「2026-10-05(外部复查)」,搜这几个字就能全部找到。 + +--- + +## 0. 一句话总结 + +整体思路是对的(无人值守、渲染机只出站、收钱以服务器为准、话术不骗人),工程习惯也好(决定留痕、踩坑写进注释)。 +**最该先修的是「钱」和「数据」上的并发 / 信任问题**:一码两单、前端报的张数被直接信、支付回调重放白送码、 +CLI 和服务器互相覆盖 `codes.json`、`sweep` 会删掉还在排队的已付款单。 +这些我**都已经改了,并且写了复现测试**:同一套 27 条用例,原版失败 13 条、改后全部通过(见第 3 节末尾)。 +**接口路径一条没动**;接口字段只**新增**了一个(`/claim` 返回里的 `terms_v`),渲染机那边不用改代码。 + +--- + +## 1. 问题分析 + +> 🔴 = 会丢钱 / 丢数据 / 能被人利用;🟡 = 静默失败、显示骗人、能把机器拖死;🟢 = 小问题 / 坏味道。 +> 「已修」= 这次直接改了;「建议」= 只给意见没动(多半是要你们拍板,或者动的是部署层)。 + +| # | 严重度 | 位置(原版) | 问题是什么 | 触发条件 | 影响 | 状态 | +|---|---|---|---|---|---|---| +| 1 | 🔴 | server.py `submit` 1626 查码 → 1741 绑码 | 「查码」和「绑码」在**两次加锁**里,中间隔着 base64 解码、PNG 核验、落盘 | 同一张码**同时**提交两次(连点、两个标签页、脚本) | **一码两单**。实测:并发 6 次成了 2 单 | 已修 | +| 2 | 🔴 | server.py `submit` 1635-1637 | 卡密规则用的张数 / 模板并集是**前端报的** `nTotal` / `tplUnion`,真提交的 `templates` 不受它约束 | 「固定 1 张」的码 + `templates` 塞 7 个 + `nTotal=1`;锁模板的码 + `tplUnion=锁定那组` + `templates=别的` | **花 1 张的钱出 7 张**;锁模板(试玩券)形同虚设。实测两条都能过 | 已修 | +| 3 | 🔴 | server.py `payplatform_hook` 2014 | 幂等只认「发过码」。「对上网页单并激活」那条路记的是 `code=None` | 同一笔单再推一次:爱发电自己会重试;这个地址又是公开的,谁都能把报文原样再 POST 一次 | 第二次激活失败(单子已在排队)→ 掉进「按买码处理」→ **白送一张码,还写在返回体里**。实测:重放一次多出 1 张码 | 已修 | +| 4 | 🔴 | server.py `LOCK = threading.Lock()` 151;admin.py 各命令 | 锁只管**本进程**的线程。admin.py 是另一个进程,同样读-改-写 `codes.json` / `meta.json` | CLI 发码 / 改码 / retry 的同时,网页上有人下单 | 互相覆盖。**实测:CLI 发 200 张,最后文件里只剩 15 张;还有已下单的码被改回「可用」** | 已修 | +| 5 | 🔴 | admin.py `cmd_sweep` 279 + server.py `expire_at` | 没开放下载的单,到期按「创建 + 72h」算,**不看状态** | 渲染机关了三天(出差、断网、坏了),或者买家报了付款、金钻还没确认 | 排队中 / 待确认的单被**整目录删掉**,码还被记成「已核销」:钱收了、皮肤没了、图也没出。实测:5 天前的排队单被删 | 已修(只跳过 waiting/working/paid,见第 2 节 #5 的取舍) | +| 6 | 🔴 | server.py `new_oid` 713 / `new_owner_token` / `gen_codes` 742 / 批次号 / 反馈号 | 卡密、订单号、**取件码**都用 `random`(梅森旋转,不是密码学随机) | 攻击者攒够输出(反复领福利券、反复下网页单都会拿到码和取件码)就能还原内部状态 | 能**预测之后要生成的卡密和别人的取件码**。7.9e17 的码空间只防「盲猜」,防不住「预测」 | 已修(换 `secrets`,格式不变) | +| 7 | 🔴 | server.py `redo` 2340 | 重渲换皮肤:只 base64 解一下、看大小就落盘,**没走 PNG 结构核验** | 任何拿着自己取件码的人 | 「夹带私货」防护整个绕过,而且这个文件会直接发到家里那台电脑上给 Blender 读。实测:尾部夹带 18 字节照样落盘 | 已修 | +| 8 | 🟡 | server.py `feedback` 2413 | 不限频、不看磁盘;每条能存一张 4MB 的「图」(不校验是不是图),还往 calls.jsonl 写一条「呼叫」 | 写个循环 | 把盘写满(盘满后所有 `jsave` 都会失败);金钻手机通知被刷爆 | 已修 | +| 9 | 🟡 | server.py `download` 2559 | 下载原图是 `f.read()` 整张读进内存 | 4096 的无压缩 16bit 一张几十 MB,几个人同时下 | 服务 `MemoryMax=256M`,会被 OOM **整个杀掉**(你们说这是最值得报的一类) | 已修(边读边发,和 zip 一样) | +| 10 | 🟡 | server.py `class H` 里的 `def finish` 2694 | 和 socketserver 的 `StreamRequestHandler.finish()` **重名**。框架在**每个请求**处理完都调一次 `self.finish()` | 任何请求 | 每个请求结束后都把「回传成品」再跑一遍:多写一个 403;带渲染机令牌的请求还会再去读一次请求体(读到连接关闭才返回)。日志里大量「Exception occurred during processing of request … in finish」就是它(测试里原版一轮 32 条,改后 0 条) | 已修(方法改名,路径不变) | +| 11 | 🟡 | server.py `finish` 2754 / 2764;`order_detail` 1802-1808 | 渲染机收单(`close`)**不带 total**,服务器退回按「模板数」算;渲染机的 total 是按**文件数**(每模板 2 张)报的。另外部分失败照样标「已完成」,原因只写进 note,而 done 状态的页面文案会把 note 盖掉 | 有模板渲失败、或回传失败(见渲染机回执里的 16MB 上限问题) | **静默少交货**:买家看到「渲染完成」,金钻也收不到任何提醒 | 已修(见第 3 节) | +| 12 | 🟡 | server.py `activate` 2229-2282 | 同 #1:查码和绑码不在同一把锁里;而且输错码**不计数** | 同一张码同时激活两张网页单;拿这个接口试码不触发冷却 | 一码两单;试码没有冷却 | 已修 | +| 13 | 🟡 | server.py `edit_code` 1253(锁外读、锁里写)、`gift_batch_add` 464-467(锁外读写) | 读-改-写不在同一把锁里 | 面板改码 / 补福利券的同时有人下单或领券 | 存回去的旧快照把别人刚改的码冲掉(码被改回「可用」= 一码两用) | 已修 | +| 14 | 🟡 | server.py `jsave` 655 | 临时文件名固定是 `path + ".tmp"`;写完不 fsync | 两个线程 / 进程同时写同一个文件;或者写完马上断电 | 互相截断出半截 JSON;断电后可能留一个 0 字节的 `codes.json`(`jload` 读坏了会**静默**当成空字典 → 整个码池「消失」) | 已修 | +| 15 | 🟡 | deploy/nginx-片段.md | `/order/api/submit` 的 `client_max_body_size 4m`,但后端和页面都说皮肤最大 10MB(base64 后约 13.4MB);`add-skin` / `redo` / `feedback` 走通用 location,**没配大小 = nginx 默认 1MB** | 买家传一张 3MB 以上的皮肤;追补 / 重渲换一张 700KB 以上的皮肤;反馈带一张截图 | nginx 直接回 413 的 HTML,前端 `r.json()` 解析失败 → 买家只看到一句笼统的失败,不知道是图太大 | **建议**(部署层,见第 2 节;如果你们线上的值和片段一样的话) | +| 16 | 🟡 | server.py `ip_of` + `admin_ip_ok` 708 | 管理接口的 IP 门靠 `X-Real-IP`;取不到就用连接来源 —— 经过 nginx 时连接来源**永远是回环**,而回环在白名单里。原版白名单里还有 `"?"` | 哪天某条 location 漏配 `proxy_set_header X-Real-IP` | 来源变成回环 → IP 这道门对公网失效,只剩令牌一道 | `"?"` 已去掉;其余**建议**(第 2 节) | +| 17 | 🟡 | server.py `order_detail` 1793 | 文案里写了 Markdown 的 `**已经付过款,不用再付款**`,页面当纯文本显示 | 每一张卡密单 | 买家看到两对星号(我在浏览器里端到端点了一遍看到的) | 已修 | +| 18 | 🟡 | `order/index.html` 条款全文 vs server.py `TERMS_VERSION` | 页面上条款全文标的是「版本 2026-10-01.1」,提交时记进订单的是 `2026-10-04.1` | 每一单 | 「订单里记版本号,日后争议时证明买家当时同意的是哪一版」—— 现在记的版本和买家看到的那份**对不上** | **没动**:不知道是只改了版本号、还是条款内容也改了,要你们定 | +| 19 | 🟡 | server.py `claim` 2606 + ys_worker.py 26 / 438 | 派单不带订单的条款版本,渲染机留档时只能用自己写死的 `2026-10-01.1` | 每一单 | 永久留档里的「条款版本」全是错的 | 已修(`/claim` 新增 `terms_v`,渲染机本来就先读它,不用改) | +| 20 | 🟡 | server.py `download_zip` 2879 | PNG 再 `ZIP_DEFLATED` 一遍几乎不变小、白烧 CPU;**不限并发**,每个包最大 600MB 临时文件 | 同一个取件码连点 / 并发几次 | 盘和 CPU 一起被占满 | 已修(成品 STORED + 同时只打一个包) | +| 21 | 🟢 | server.py `my_coupons` 2462 / `coupon_status` | 一次查 60 张券 = 读 60 遍 `codes.json`;不限频 | 刷这个接口 | CPU;另外它和 `/api/code/<码>` 都能当「码是否存在」的查询口子,不计输错 | 读文件次数已修;查询口子在换成 `secrets` 之后风险可以忽略 | +| 22 | 🟢 | server.py `activate_payplatform` 2176 | 按「订单号**后缀**匹配」(≥10 位)+ 输错不计数;账本读写不在锁里 | 猜别人订单号的后 10 位 | 理论上能把别人付的款激活到自己单上(概率很低);账本和回调同时写会丢记录 | 计数 + 加锁已修;后缀匹配**建议**改成全号匹配(要你们看买家实际怎么复制) | +| 23 | 🟢 | server.py `ThreadingHTTPServer` | 线程数不设上限 | 慢请求堆积(ffmpeg 预览、打包、大下载) | 小机器上线程 + 内存一起涨 | **建议**:重活加信号量(zip 已加),或 nginx `limit_conn` | +| 24 | 🟢 | server.py `queue_pos` 1169 / `heartbeat` 1230 / `claim` | 每次都把 `orders/` 下所有 `meta.json` 读一遍 | 订单目录攒多了(sweep 不常跑的话) | 现在几十单无所谓;几千单就慢 | **建议**:现在不用动 | +| 25 | 🟢 | 脱敏误伤:server.py 53、2095、2150 | 脱敏把带 `%s` 的 URL 格式串整个换成了 `"http"`,格式化时会 `TypeError` | 只影响你们给出来的这份 | 不是线上问题,但说明**脱敏规则会吃掉 URL 里的 `%s`**,下次出站可以留意 | 没动(占位值按要求保持原样) | +| 26 | 🟢 | 前端没在用的接口 | 交给我的这份 `order/index.html` 里**没有调用** `/api/activate`、`/api/activate-payplatform`、`/api/set-templates` | — | 要么是死接口(多一份攻击面),要么是前端副本比线上旧 | **问你们**:线上页面还调不调这三个? | +| 27 | 🟢 | 其它小问题 | `order_detail` 返回体里 `"amount"` 写了两遍;`IP_FAILS` 等计数字典对「只来一次的 IP」永不清理;`call()` 每次读整个 calls.jsonl;pngcheck 不检查 IHDR 长度 / 取值、IDAT 里 zlib 流结束后的多余字节 | — | 都很轻 | 没动 | + +**我怀疑但没验证的**(没有真实环境): + +- **ffmpeg 生成 4096 预览的内存**:解一张 4096×4096 的 8bit RGBA 要约 64MB,加上缩放缓冲,和 Python 进程本身共用 256M 的 cgroup。正常应该过得去,但几单同时完成时可能顶到。建议实测一次 4096 单的峰值内存。 +- **2048 / 4096 的无压缩 16bit 回传会超过 16MB 上限**:详见渲染机那份回执第 1 条。如果成立,这些单会静默少一张无压缩版。#11 的修改至少能让它**不再静默**。 + +--- + +## 2. 改正意见(只列我没改、或者改了但你们要知道取舍的) + +| 对应 # | 建议改法 | 代价 / 风险 | 优先级 | +|---|---|---|---| +| 5 | 我只让 sweep **跳过** `waiting / working / paid`(还在流水线上的)。`unpaid`(一直没付款)和 `done` 还没收货的,照旧 72h 后清。**另外建议**:`done` 但没确认收货的单,到期从**完成时间**算,而不是创建时间 —— 不然渲染机晚上线两天,买家只剩一天能收货 | 一行,改 `expire_at`;这是业务口径,你们定 | 中 | +| 15 | nginx:`/order/api/submit` 的 `client_max_body_size` 改成 **15m**(和后端 `MAX_BODY` 一致);给 `add-skin`、`redo` 单独配 15m,`feedback` 配 6m。再给它们加 `error_page 413 = @json413;` 回一段 `{"ok":false,"error":"图片太大"}`,前端不用改就能显示人话 | 改配置 + reload,不停机 | **高**(直接影响买家能不能下单) | +| 16 | 最稳:管理接口单独监听一个端口(或者单独一条 nginx location 带 `allow <家里 IP>; deny all;`);后端看到「来源是回环但没带 X-Real-IP」就当成**未知**而不是**本机**。至少在 nginx 每条 location 都确认带了 `proxy_set_header X-Real-IP $remote_addr;`(片段里 `/finish` 那条被省略了,看不出有没有) | 小 | 中 | +| 18 | 条款版本号和全文**放一处**(比如后端 `/api/payinfo` 顺带返回 `terms_v` + 全文,页面照着显示),改一处两边一起变 | 改前端要走前端那边的流程 | 中 | +| 22 | 爱发电订单号改成**全号匹配**(或至少 ≥ 20 位);买家复制时多出的空格 / 换行前端已经洗掉了 | 一行 | 低 | +| 23 | `submit` / `add-skin` 收的请求体一个约 15MB,解码 + 清洗 + 原串一共约 4~5 份拷贝 → 单个请求峰值 ~50MB;**5 个并发就顶到 256M**。建议 nginx `limit_conn`(每 IP 2 个)+ 应用层给「收图」接口加一个 `BoundedSemaphore(2)` | 小 | 中 | +| 新 | **取件码在 URL 的 query 里**(`?t=`),所以它会进 nginx access log、浏览器历史,订单页上点外链时还会带进 `Referer`。建议:订单页加 `Referrer-Policy: no-referrer`;nginx 的 access log 用不带 `$args` 的 log_format(或把 `t=` map 掉);`payplatform-hook.log` 现在是**整包 headers 落盘**,注意别把平台带过来的鉴权头长期留着 | 改配置 | 中 | +| 新 | **下载不留痕**:买家说「我的图被别人下了」,现在没法自证。建议 `/dl` `/zip` 各记一行审计(时间、单号、第几张、IP、UA,**不记取件码**) | 小 | 中 | +| 中期 | `codes.json` + 各种 jsonl / 账本 → **SQLite**(标准库自带 `sqlite3`,零依赖)。这次修的竞态(#1 #4 #12 #13 #14 + 账本)本质都是「文件当数据库用」:拿事务一把就全解决了,不用到处想锁。交接说明里写了「数据全在本地文件 + 一个 SQLite」,但代码里没看到 SQLite —— 是不是另有东西没给? | 一次迁移脚本 + 改数据层;接口不用动 | 中(不急,锁已经补上了) | + +--- + +## 3. 你改了什么 + +> 所有改动都在 `backend-site/server.py`、`backend-site/admin.py`(+ 渲染机那份回执里的 `backend-tools/ys_local.py`)。 +> **接口路径:一条都没动。** 下面每条都单独标了「接口路径 / 请求响应字段 / 数据格式」三样。 + +### 改动 1 · 校验 + 绑码同锁(一码两单) + +``` +文件 / 函数:server.py 新增 redeem_bind() / unbind_codes() / _redeem_check();submit()、activate() 改用 redeem_bind() +为什么改:问题 #1、#12 +改成什么:查码和绑码放进同一把锁;绑不上(被别的提交抢先了)就整单不收、删掉刚建的目录; + 订单写盘失败就把码放回 active。redeem() 保留,只查不占码,判断逻辑和 redeem_bind 共用一份。 +⚠️ 有没有动:接口路径 [否] 请求响应字段 [否] 数据格式 [否] + (并发冲突时多一种报错文案,和原来「这张卡密已经用来下过单了」是同一句) +怎么验证的:同一张码并发提交 6 次 → 原版成 2 单,改后成 1 单;正常卡密单、网页单 + 卡密激活回归通过 +有没有引入新的依赖:没有 +``` + +### 改动 2 · 卡密规则不再只信前端报的张数 + +``` +文件 / 函数:server.py submit() +为什么改:问题 #2 +改成什么:张数取 max(前端报的 nTotal, 这次真提交的模板数);模板取两者并集;不认识的模板 key 提交时直接拒 +⚠️ 有没有动:接口路径 [否] 请求响应字段 [否] 数据格式 [否] + 正常页面报的 nTotal 本来就 ≥ 第一张皮肤的模板数,对正常买家没有变化 +怎么验证的:「固定 1 张」+7 模板+nTotal=1 → 拒;锁模板 + 伪造 tplUnion → 拒; + 多皮肤单(第 1 张 2 个模板、整单报 3 张)照常能交 +有没有引入新的依赖:没有 +``` + +### 改动 3 · 支付回调幂等 + 串行 + +``` +文件 / 函数:server.py payplatform_hook() → 拆成外层 + _payplatform_hook_locked();activate_payplatform() 同理;新增 HOOK_LOCK +为什么改:问题 #3、#22(账本读写不在锁里) +改成什么:同一个 out_trade_no「发过码」或「激活过单」都算处理过,再推一律原样回上次的 content; + 回调和「用爱发电订单号激活」共用一把锁,账本不会被同时写坏;后者输错计入冷却 +⚠️ 有没有动:接口路径 [否] 请求响应字段 [否] 数据格式 [否](账本结构不变) +怎么验证的:用假的反查结果模拟一笔 ¥6 付款:首次对上网页单并激活 ✔;原样重放 → 码数不变、返回同一段内容 ✔ + (原版:重放一次多出 1 张码,返回体里写着「这是你的卡密」) +有没有引入新的依赖:没有 +``` + +### 改动 4 · 跨进程锁 + 原子写加固 + +``` +文件 / 函数:server.py LOCK 换成 _DataLock(线程锁 + /.lock 上的 flock);jsave();admin.py cmd_retry 加锁 +为什么改:问题 #4、#14 +改成什么:用法不变(还是 with LOCK:),admin.py import server 后自动用同一把文件锁; + jsave 的临时文件名每次唯一 + 写完 fsync + 权限沿用原文件;拿不到文件锁就退回只用线程锁并打一行日志 +⚠️ 有没有动:接口路径 [否] 请求响应字段 [否] 数据格式 [否] + ⚠️ 但: 下会多一个空文件 .lock;临时文件名从 xxx.tmp 变成 xxx.<随机>.tmp + (如果你们有脚本按 *.tmp 清理或备份,留意一下) +怎么验证的:另起一个进程连续发 200 张码,同时 HTTP 下 30 单 → 原版文件里只剩 15 张、还有 1 张已下单的码被改回可用; + 改后 200 张一张不少、30 张码全部是「已激活」 +有没有引入新的依赖:没有(fcntl 是标准库;Windows 上不会 import 到这里) +``` + +### 改动 5 · sweep 不删流水线上的单 + +``` +文件 / 函数:admin.py cmd_sweep() +为什么改:问题 #5 +改成什么:state 是 waiting / working / paid 的单跳过,不删、不核销;其它状态口径不变 +⚠️ 有没有动:接口路径 [否] 请求响应字段 [否] 数据格式 [否] +怎么验证的:造一张 5 天前创建、还在排队的单,跑 admin.py sweep → 原版删掉并核销了码,改后保留 +有没有引入新的依赖:没有 +``` + +### 改动 6 · 卡密 / 订单号 / 取件码用 secrets + +``` +文件 / 函数:server.py new_oid() / new_owner_token() / gen_codes() / gift_batch_new() / gift_claim() / feedback() +为什么改:问题 #6 +改成什么:random.choice → secrets.choice,字符表、长度、格式一个没变 +⚠️ 有没有动:接口路径 [否] 请求响应字段 [否] 数据格式 [否] +怎么验证的:回归里所有生成的码都过 CODE_RE;订单号 / 取件码格式不变 +有没有引入新的依赖:没有 +``` + +### 改动 7 · 重渲换皮肤走 PNG 核验 + +``` +文件 / 函数:server.py redo() +为什么改:问题 #7 +改成什么:换皮肤改用 _read_skin()(和下单、追补皮肤同一个:尺寸 + 结构核验 + 剥元数据),落盘的是清洗后的字节 +⚠️ 有没有动:接口路径 [否] 请求响应字段 [否] 数据格式 [否](不合格时多一种报错文案) +怎么验证的:尾部夹带 18 字节 → 拒、不落盘;正常皮肤换图照常可以 +有没有引入新的依赖:没有 +``` + +### 改动 8 · 反馈限频 + 磁盘闸 + 只收图片 + +``` +文件 / 函数:server.py feedback();新增 feedback_allowed() / note_feedback() / _img_ext() +为什么改:问题 #8 +改成什么:每 IP 10 分钟 5 条(超了回 429);磁盘不够回 503;「图片」只认 png/jpg/webp/gif 文件头 +⚠️ 有没有动:接口路径 [否] 请求响应字段 [否] + 数据格式 [是,很小]:反馈图片的文件扩展名按真实格式存(原来一律 .png),feedback/.json 的 image 字段跟着变 +怎么验证的:同 IP 连发 7 条 → 第 6、7 条 429;伪装成 PNG 的 exe 头不落盘 +有没有引入新的依赖:没有 +``` + +### 改动 9 · 下载 / 取皮肤边读边发 + +``` +文件 / 函数:server.py 新增 H._send_file();download()、skin() 改用它 +为什么改:问题 #9 +改成什么:64KB 一块往外写,不整张进内存;响应头(Content-Type / Content-Length / no-store / Content-Disposition)完全不变 +⚠️ 有没有动:接口路径 [否] 请求响应字段 [否] 数据格式 [否] +怎么验证的:下载原图字节一致、带附件头;渲染机取皮肤内容一致、Content-Length 一致;端到端下单后订单页正常 +有没有引入新的依赖:没有 +``` + +### 改动 10 · finish 方法改名(框架重名) + +``` +文件 / 函数:server.py H.finish → H.finish_upload(路由 /api/finish 指过去) +为什么改:问题 #10 +改成什么:只是改名,逻辑见改动 11 +⚠️ 有没有动:接口路径 [否](还是 /api/finish) 请求响应字段 [否] 数据格式 [否] +怎么验证的:同一套测试,原版一轮 32 条「Exception occurred during processing of request」,改后 0 条 +有没有引入新的依赖:没有 +``` + +### 改动 11 · 部分失败要响亮 + +``` +文件 / 函数:server.py finish_upload()、claim()、order_detail() +为什么改:问题 #11(以及回执模板 Q2) +改成什么:记住渲染机报过的 total(meta.plan_total),收单时按它判断收没收满; + 没收满 → meta.partial = {got, want, why, at} + 往 calls.jsonl 写一条(走「呼叫金钻」同一套通知)+ 页面文案直说「有 N 个文件没渲出来」; + 状态仍是 done(已经出好的部分照常能看、能收货);领单时清掉上一轮的 plan_total / partial +⚠️ 有没有动:接口路径 [否] 请求响应字段 [否](note 文案多一句) + 数据格式 [是,只增]:订单 meta.json 新增 plan_total、partial 两个字段;calls.jsonl 多一种 kind="部分失败" + —— 如果你们的通知脚本按 kind 过滤,记得把它加进去 +怎么验证的:计划 4 个文件只交回 1 个 → 页面「有 3 个文件没渲出来,已经自动通知金钻补」,calls.jsonl 里有这一单 +有没有引入新的依赖:没有 +``` + +### 改动 12 · 派单带上条款版本 + +``` +文件 / 函数:server.py claim() +为什么改:问题 #19 +改成什么:/claim 返回的 order 里多一个 terms_v(订单真实同意的版本) +⚠️ 有没有动:接口路径 [否] 请求响应字段 [是,只增]:/api/claim 响应的 order 新增 terms_v 数据格式 [否] + 渲染机 ys_worker.py 本来就是 order_meta.get("terms_v") or TERMS_VERSION,所以**渲染机不用改**: + 老渲染机连新服务器 → 留档写对;新服务器配老渲染机也完全兼容 +怎么验证的:领单返回里 terms_v = 2026-10-04.1 +有没有引入新的依赖:没有 +``` + +### 改动 13 · 其它几处小改 + +``` +文件 / 函数:server.py edit_code()(拆出 _edit_code_locked,整段进锁)、gift_batch_new/add/off(写文件进锁)、 + my_coupons()/coupon_status()(一次只读一遍 codes.json)、admin_ip_ok()(去掉 "?")、 + download_zip()(成品 STORED、同时只打一个包,忙时回 503「稍等一分钟再点」)、 + order_detail()(去掉文案里的 ** 星号) +⚠️ 有没有动:接口路径 [否] 请求响应字段 [否](打包忙时多一种 503) 数据格式 [否](zip 还是标准 zip,只是成品不再二次压缩) +怎么验证的:打包下载 zip 内容完整(小票 + 两张图,字节一致);其余随回归一起跑 +有没有引入新的依赖:没有 +``` + +### 验证方式汇总 + +- 测试脚本放在 `backend-site/tests/回执复现测试.py`:在临时目录起一份 server、从 HTTP 层打接口,**全部用脚本现画的假皮肤**,每条用例各用一份新数据。 + 用法:`python3 tests/回执复现测试.py `。对原版跑能看到哪些洞真实存在。 + (你们给的这份因为脱敏弄坏了三个 URL 格式串跑不起来,我是在一份只替换了那三处的副本上跑的;线上原版可以直接跑。) +- 结果:**原版 27 条失败 13 条,改后 27 条全部通过**。 +- 端到端:在测试机上用无头浏览器打开真实的 `order/index.html`,接到改过的后端,按买家的路径点了一遍: + 卡密下单 → 填码(`/code` ✔ 识别有效)→ 勾条款、传皮肤(本地质检 ✔)→ 选模板 → 提交(`/submit` ✔)→ 结果页显示订单号, + `/status`、`/order`、`/tick` 都是 200,页面 0 个 JS 报错。上面 #17 的星号就是这时候看到的。 + +--- + +## 4. 我们这边拿不准的,请你表态 + +**Q1. 支付回调「不验签、改成拿开放接口反查」这个取舍,你认同吗?** +认同。反查比「拿不到公钥去猜签名」硬得多 —— 前提是**反查结果是唯一可信来源**,推送报文只当一条「单号 X 有动静,去查一下」的通知。现在有两处还在信报文: +- 幂等只认「发过码」(#3,已修); +- `custom_order_id` 在反查结果里没有时,会退回用**推送报文里的**(2049 行)。幂等修好之后这个口子拿不到好处了(同一笔钱只能处理一次),但更干净的做法是金额、状态、订单号、留言**全部只从反查结果取**。 + +另外两点:反查只翻前 3 页,单子多了会查不到(会落进 need_human,不丢钱,但要人工);据我所知爱发电的 `query-order` 支持按 `out_trade_no` 精确查,请你们核对一下文档,能精确查就别翻页。 +如果哪天拿到平台公钥:**验签 + 反查两道都做**最好;拿不到的话,反查加上「每个单号只处理一次」已经够用。 + +**Q2. 订单状态机在「部分失败」时怎么收口?** +「渲染机显式收尾」这个方向是对的:没有它就只能靠超时,会无限重渲。但原版收得**太安静**,而且收单时张数口径不一致(#11)。我改成:服务器记住计划张数,收单缺张就记 `partial` + 通知金钻 + 页面说实话,已经出好的部分照常能收货、能下载。 +再往前一步(没做,要你们定):缺的那几张**自动补渲一次**(上限 1 次),还不行再转人工;页面上把缺的是哪几张列出来。 + +**Q3. 「改完不生效」除了「先杀旧进程再起新的」,有没有更稳的机制?** +有:**让进程自己报版本**。部署时把代码的 git 提交号或文件 sha256 写进一个常量;渲染机心跳里带上它,服务器存进 heartbeat.json、在 `/status` 和面板上显示;部署脚本**比对「期望版本 == 心跳报上来的版本」才算成功**。这样旧进程还活着会立刻看出来,不用猜。服务器那边同理:systemd 的 `ExecStartPost` 或部署脚本打一下 `/api/status` 看版本号。 +Windows 那边:用 NSSM / WinSW 把渲染机装成**服务**,「重启」的语义是确定的(停、等退出、再起),比计划任务的「运行」可靠。 + +**Q4. 单机多单:如果要同时渲多单,怎么才不会把机器顶满?** +我会先**不加并发、先加吞吐**:现在每张图都要冷启动一次 Blender、加载一次工程,固定开销不小。同一个模板的多张皮肤放进**同一个 Blender 进程**里连着渲(换贴图、再渲),通常比开两个进程更快、峰值还更低。 +真要并发的话:瓶颈是**显存**不是 CPU。按模板估一个显存占用,用一个「显存预算」信号量决定同时开几个;Blender 进程设成低于正常优先级、限定 Cycles 线程数;白天只开一个槽,夜里再开第二个。服务器 `/claim` 不用改,渲染机开两个消费线程各领各的就行(领单本身是原子的)。 + +**Q5. 技术栈:换你会不会上框架?** +不会换 Web 框架。这个规模下纯标准库完全够,换框架解决不了这次发现的任何一个问题。 +真正缺的是**数据层**:这次的大部分问题(一码两单、CLI 和服务器互相覆盖、账本丢记录、半截 JSON)本质都是「拿 JSON 文件当数据库」。标准库自带的 `sqlite3` 一个事务就全解决了,零依赖、零安装,小机器也跑得动。路由和校验可以保持现在这样。 + +**Q6. 前后端共用一个质检脚本,值不值?** +值。前端拦是给人看的体验,后端剥是安全边界,规则来自同一份就不会出现「网页说能传、后端说不行」。 +但这次也说明了:**比「两边一致」更要紧的是「每个收皮肤的入口都过后端核验」** —— 重渲换皮肤那条路就漏了(#7)。现在所有入口都收敛到 `_read_skin()` 一个函数,以后新加入口也请走它。 +另外 `pngcheck.py` 里提到的 `tests/png_struct_test.py`(共享用例)这次没带过来,有的话请补一份,它是「两边一致」唯一的保证。 + +--- + +## 5. 苏达(运维)另外想知道的 + +- **3100 行的单文件该不该拆、先拆哪块?** + 该拆,但不急。先拆**数据层**(codes / orders / 账本的读写 + 锁,约 300 行)—— 这次的 bug 一大半在这里,拆出来才好单测;再拆**支付回调**(钱相关,最需要单测)。HTTP 路由放最后,它最不容易出事。 + +- **卡密和订单用 JSON 文件存,并发写和「写到一半崩了」风险多大?** + 实测给你一个数:CLI 一边发码、服务器一边下单,**原版 200 张码丢了 185 张**。这次的低成本加固已经做了(跨进程 flock + 唯一临时文件 + fsync),改后 0 丢失。中期还是建议换 SQLite(见 Q5)。 + +- **限流放两处(nginx + 应用),是重复还是互补?会不会打架?** + 互补:nginx 按**请求速率**挡刷接口,应用按**业务语义**挡(同 IP 开单数、输错冷却)。 + 打架的地方有两个:① 请求体大小 nginx 4m / 1m 对上应用的 10MB(#15);② nginx 回 429 / 413 时给的是 **HTML**,前端按 JSON 解析会失败,买家只看到一句笼统的错。建议 nginx 的 413 / 429 都回一段 JSON(`error_page` + 一个返回 JSON 的 location)。 + +- **内存受限的前提下,还有哪些地方可能爆?** + ① 下载整张读进内存(已改);② 收图接口单个请求峰值约 50MB,5 个并发就到 256M(建议见第 2 节 #23);③ ffmpeg 做 4096 预览(未验证,建议实测);④ 线程不设上限。 + +- **日志与审计够不够追责?** + 不够自证「我的图被别人下了」:**下载根本不留记录**(建议见第 2 节)。反过来,有些地方又记得**太多**:nginx access log 里有取件码(URL 的 `?t=`),`payplatform-hook.log` 整包 headers 落盘。建议审计记「谁、什么时候、哪一单、哪一张」,但**不记凭证本身**。 + +- **有没有「完全没想到」的角度?** + - **取件码放在 URL 里**:会进浏览器历史、服务器日志,订单页上点外链还会通过 `Referer` 带出去。订单页加 `Referrer-Policy: no-referrer` 成本最低。 + - **随机数**(#6):「码空间够大,暴力猜不中」这个论证只防盲猜,防不住预测。 + - **框架方法重名**(#10):继承标准库的类时,自己的方法名别和父类撞,`finish` / `handle` / `setup` 都是保留的。 + - **买家数据的保留期**:渲染机那边永久留档了买家皮肤和成品(你们已知缺口 2)。从隐私角度,建议给留档也定一个保留期,至少能按订单号删。 + +--- + +## 6. 你没验证的部分 + +- 真实 nginx 配置(只看了片段;`/finish` 那条省略了 headers,看不出有没有带 X-Real-IP)。 +- 爱发电真实的反查返回结构(`custom_order_id` 到底在不在反查结果里)—— 我是拿假的反查结果测的。 +- ffmpeg 预览:测试机没有水印字体,预览那一步我用「直接拷一份」顶替了,水印本身没测。 +- 2048 / 4096 的真实成品大小、ffmpeg 峰值内存(没有渲染机、没有真实成品)。 +- systemd / cgroup 配置、定时任务(sweep 多久跑一次)都没看到。 + +## 7. 你还需要什么材料 + +- 线上 nginx 里 `/order/` 相关的完整配置(脱敏)。 +- 一份 4096 单的成品文件大小(标准版 + 无压缩各多大)。 +- 爱发电 `query-order` 返回的一条样例(脱敏)。 +- `tests/png_struct_test.py`。 +- systemd unit(`MemoryMax` 等)和跑 `admin.py sweep` 的定时任务。 + +--- + +*以上改动都还只在工作区,等你们(和 ywsabc2)看过再决定要不要合。* diff --git a/backend/backend-tools/ys_local.py b/backend/backend-tools/ys_local.py index 98c43b6..741b6e5 100644 --- a/backend/backend-tools/ys_local.py +++ b/backend/backend-tools/ys_local.py @@ -325,8 +325,28 @@ class H(BaseHTTPRequestHandler): return self.send(200, f.read(), "image/png", {"Content-Disposition": cd}) return self.send(404, "not found", "text/plain; charset=utf-8") + def _same_site(self): + """只认本机页面发来的请求(2026-10-05 外部复查加)。 + + ⚠️ 这个工具只监听回环,但**本机浏览器里打开的任何网页**都能往 localhost 发 POST —— + text/plain 的跨站 POST 不需要预检,原来照单全收:一个恶意网页就能往队列里塞任意多个 + 渲染(把机器顶满)、往留档目录里写没经过核验的「皮肤」、或者直接 /api/quit 把工具关掉。 + 规则:Host 必须是本机地址(挡 DNS 重绑定);带了 Origin 就必须是本机这个端口。 + 本机页面自己发的请求两条都满足,用法不变。 + """ + host = (self.headers.get("Host") or "").strip().lower() + ok_hosts = {"localhost:%d" % PORT, "127.0.0.1:%d" % PORT, "[::1]:%d" % PORT} + if host not in ok_hosts: + return False + origin = (self.headers.get("Origin") or "").strip().lower() + if origin and origin not in {"http://" + h for h in ok_hosts}: + return False + return True + def do_POST(self): u = urllib.parse.urlparse(self.path) + if not self._same_site(): + return self.js({"ok": False, "error": "只接受本机页面的请求"}, 403) n = int(self.headers.get("Content-Length") or 0) if n > 64 * 1024 * 1024: return self.js({"ok": False, "error": "请求过大"}, 413) diff --git a/backend/backend-tools/回执-Claude.md b/backend/backend-tools/回执-Claude.md new file mode 100644 index 0000000..c6d3ae1 --- /dev/null +++ b/backend/backend-tools/回执-Claude.md @@ -0,0 +1,85 @@ +# 回执 · Claude(受 ywsabc2 委托)· 2026-10-05 · 工具后端 + +> 范围:`backend-tools/`(ys_worker.py / ys_admin.py / ys_local.py / deploy.py,make_order.py 只扫了命名部分)。 +> 网站后端那份更长、问题更多:`backend-site/回执-Claude.md`。两份里对 Q3/Q4/Q5 的回答是同一套,这里只写结论。 +> 行号指交付时的原版(提交 `c6034e9`)。 + +## 0. 一句话总结 + +渲染机这边**健壮性做得比服务器那边好**:心跳独立线程、看门狗连进程组一起杀、网络重试、进度按 `\r` 切,这些坑都踩明白了。 +最该修的是两处**静默少交货**(大图回传超上限、收单时张数口径不一致),以及本机工具能被任意网页远程操纵(`ys_local.py`)。 +前一处我在**服务器端**修好了(渲染机不用动),后一处直接改了 `ys_local.py`。 + +## 1. 问题分析 + +| # | 严重度 | 位置(原版) | 问题是什么 | 触发条件 | 影响 | 状态 | +|---|---|---|---|---|---|---| +| 1 | 🟡(怀疑,强烈建议实测) | ys_worker.py `handle_order` 575 + 服务器 `MAX_BODY_WK=16MB` + nginx `/finish` 16m | 每个文件 base64 后整包 POST。4096×4096 的 16bit RGBA 原始数据是 128MB,PNG 压一半也还有几十 MB;2048 的无压缩也很可能超 12MB(base64 前) | 出 2048 / 4096 的单 | 服务器 / nginx 拒收 → 渲染机只记一条 errs 继续往下 → 最后 close → **订单「已完成」但少了无压缩版**,买家和金钻都不知道 | 「不再静默」已在服务器端修(见网站回执改动 11);**传输本身建议**改分块上传 | +| 2 | 🟡 | ys_worker.py 596 收单不带 `total`;服务器按模板数算 | 渲染机的 total 是**文件数**(每模板 2 张),收单那一下服务器却按**模板数**判断收没收满 | 有模板失败或回传失败 | 少交的单被当成收满 → 静默 | 已修(服务器记住渲染机报过的 total) | +| 3 | 🟡 | ys_worker.py 26 / 438 | 渲染机写死 `TERMS_VERSION = "2026-10-01.1"`,服务器派单又不给订单的版本 | 每一单 | 永久留档里的「条款版本」全是错的 | 已修(服务器 `/claim` 新增 `terms_v`,渲染机本来就先读它,**不用改渲染机**) | +| 4 | 🟡 | ys_local.py `do_POST` 328 | 只监听回环,但**本机浏览器里任何网页**都能往 `localhost` 发 POST(text/plain 跨站 POST 不需要预检),原来照单全收 | 金钻开着本机工具时逛到一个恶意网页 | 往队列里塞任意多个渲染(**把机器顶满**)、往留档写没核验过的「皮肤」(本机工具不跑 pngcheck)、`/api/quit` 把工具关掉 | 已修 | +| 5 | 🟡 | deploy.py `step()` / `main()` | 每一步的返回码都**没人检查**:scp 失败、安装脚本失败,后面照样往下走,最后打印一行状态 | 隧道抖一下、宿主没开、某个文件没传上 | 正是你们说的「脚本全程报成功、功能静默缺失」 | **建议**:任何一步 rc≠0 立刻退出并打印哪一步 | +| 6 | 🟡 | deploy.py staging | `config.json`(**两把令牌明文**)留在本机 `` 和 VM `` 里,部署完不删 | 每次部署 | 令牌在两台机器的临时目录里长期躺着 | **建议**:推完就删 staging(VM 上那份也删) | +| 7 | 🟡 | ys_worker.py `--once` | `--once` 不拿单实例锁;服务器 `claim` 会把开渲超过 45 分钟的单退回队列 | 计划任务那个 worker 正在渲一张大单(4096 × 多张超过 45 分钟),有人手动又跑了一次 `--once` | 退回的单被第二个进程又领走:**两个 Blender 同时跑** + 同一单重渲两遍 | **建议**:`--once` 也要拿锁(拿不到就提示「已经有一个在跑」) | +| 8 | 🟢 | ys_admin.py PIN | 4~12 位数字 PIN 用「加盐 sha256」存:在线有冷却没问题,但 `pin.json` 一旦被拷走,离线几秒钟就能穷举完 | `pin.json` 泄露 | PIN 失效 | **建议**换 `hashlib.pbkdf2_hmac`(标准库,一行) | +| 9 | 🟢 | ys_admin.py `/api/pinset` | 还没设过 PIN 时,**局域网里谁先打开谁就能设** | 新装 / 删了 pin.json 之后的空窗 | 别人设了 PIN、金钻反而进不去 | **建议**:首次设置只允许本机回环来源 | +| 10 | 🟢 | ys_admin.py 绑定 `` | 面板监听所有网卡 | 那台电脑接到公共 Wi-Fi / 开了热点 | 面板暴露在别的网络里(还有 PIN 一道) | **建议**:只绑家里那张网卡的地址,或者 Windows 防火墙限定「专用网络」 | +| 11 | 🟢 | ys_worker.py `http()` | `HTTPError` 一律不重试(包括 502 / 503 / 504 这类网关临时错误) | 服务器重启、nginx 偶发 502 | 那一张直接算回传失败 | **建议**:5xx 也按网络抖动重试 | + +ys_admin.py 的「令牌 + PIN + 自定义请求头」做法本身是对的:敏感接口都要求 `X-Pin` 头,跨站页面发不出来(需要预检,服务器又不响应 OPTIONS),所以它没有 ys_local.py 那个问题。 + +## 2. 改正意见 + +| 对应 # | 建议改法 | 代价 / 风险 | 优先级 | +|---|---|---|---| +| 1 | **分块上传**:`/finish` 支持 `{oid, name, part, parts, data}` 一块 2~4MB,服务器按块追加到 `out/.part`,收齐再改名 + 校验 sha256。这样不受请求体上限限制,断了也只重传一块。**⚠️ 这是接口改动,两边要一起上线**(服务器先上、兼容老格式,渲染机后上) | 中(两边各几十行) | 高(如果实测证实大图超限) | +| 1(临时) | 先量一下 2048 / 4096 的无压缩版实际多大;如果只是略超,可以把 nginx 和 `MAX_BODY_WK` 一起调到 64MB 先顶着(服务器内存要算:单个请求峰值约为体积的 3~4 倍) | 小,但吃内存 | 中 | +| 5、6 | deploy.py:`step()` 返回非 0 就 `sys.exit`;最后 `finally` 里删掉本机和 VM 的 staging;部署成功的判定改成「心跳报上来的版本号 == 这次部署的版本号」(见网站回执 Q3) | 小 | 中 | +| 7 | `--once` 也走 `single_instance()`;服务器那边 45 分钟的「中断回退」改成看**进度最后一次上报的时间**(`progress.at`),而不是开渲时间 —— 大单只要还在报进度就不会被误退 | 小 | 中 | +| 8、9、10 | 见上表 | 都很小 | 低 | + +## 3. 你改了什么 + +### 改动 1 · 本机开单工具只认本机页面 + +``` +文件 / 函数:ys_local.py 新增 H._same_site();do_POST() 开头调用 +为什么改:问题 #4 +改成什么:Host 必须是 localhost / 127.0.0.1 / [::1] 加本工具端口(挡 DNS 重绑定); + 请求带了 Origin 就必须是本机这个端口;不满足回 403「只接受本机页面的请求」。GET(看页面、查进度、取图)不受影响。 +⚠️ 有没有动:接口路径 [否] 请求响应字段 [否] 数据格式 [否] + 本机页面 local.html 自己发的请求(render / openfolder / quit)两条都满足,用法不变 +怎么验证的:单测 5 种请求头组合:本机 Host ✔、本机 Host+本机 Origin ✔、本机 Host+外站 Origin ✘、 + 外站 Host(重绑定)✘、Origin=null ✘,全部符合预期 +有没有引入新的依赖:没有 +``` + +### 改动 2、3(在服务器那份代码里,渲染机不用动) + +- 收单张数口径(#2)、部分失败通知 + 页面说实话(#1 的「不再静默」)、`/claim` 带 `terms_v`(#3)。 +- 详见 `backend-site/回执-Claude.md` 第 3 节改动 11、12。**渲染机代码一行没改**;新服务器配老渲染机完全兼容。 + +## 4. 你们拿不准的两件事 + +- **部署不生效(旧进程还在跑),除了先杀再起有没有更稳的?** + 有:**让进程自己报版本**。部署时把版本号(git 提交号或文件 sha256)写进代码常量,心跳带上它,服务器存进 heartbeat.json、在 `/status` 和面板上显示;部署脚本**比对「期望版本 == 心跳报上来的版本」才算成功**。旧进程还活着会立刻看出来。 + Windows 上用 NSSM / WinSW 把渲染机和面板装成**服务**,「重启」的语义是确定的(停、等它退出、再起),比计划任务的「运行」可靠。 + +- **单线程串行,要支持多单怎么不顶满机器?** + 先**不加并发、先加吞吐**:同一个模板的多张皮肤放进**同一个 Blender 进程**连着渲(换贴图、再渲),省掉每张冷启动 + 加载工程的固定开销,峰值还不涨。 + 真要并发,瓶颈是**显存**:按模板估一个显存占用,用「显存预算」信号量决定同时开几个;Blender 设低于正常的优先级、限定 Cycles 线程数;白天一个槽、夜里两个槽。服务器的 `/claim` 本身是原子的,渲染机开两个消费线程各领各的就行,**服务器不用改**。 + +## 5. 没验证的部分 + +- 没有 Windows + Blender 环境:ys_worker.py / ys_admin.py 没有实机跑,只做了代码阅读;ys_local.py 只单测了改动的那个函数。 +- `make_order.py`、`.ps1` / `.bat` 只扫了命名和调用参数,没有逐行审。 +- 大图回传超上限(#1)是按像素数和常见压缩比推算的,**没有真实成品验证**。 + +## 6. 需要的材料 + +- 一份 2048、一份 4096 单的成品文件大小(标准版 + 无压缩)。 +- 渲染机的 `worker.log` 里一次「部分失败」的片段(脱敏),用来核对收单流程。 + +--- + +*以上改动都还只在工作区,等你们(和 ywsabc2)看过再决定要不要合。*