diff --git a/backend/README.md b/backend/README.md index 5ad04dd..970285b 100644 --- a/backend/README.md +++ b/backend/README.md @@ -124,7 +124,7 @@ Windows 下用 `pythonw.exe` 起。具体参数看 `backend-tools/make_order.py` ## 交付清单(自查用) -- [x] 网站后端:`server.py` / `admin.py` / `pngcheck.py`,已脱敏 +- [x] 网站后端:`server.py` / `admin.py` / `pngcheck.py` / `store.py`(数据库,2026-10-05 加),已脱敏 - [x] 工具后端:19 个文件(含 `.bat` / `.ps1` / `.html` / 共用的 `skincheck.js` / Blender 脚本),已脱敏 - [x] 两份交接文档(含《我们的思路与方法》) - [x] 三个模板工程,已脱敏(等长替换,文件字节数未变) diff --git a/backend/backend-site/admin.py b/backend/backend-site/admin.py index 9688d3d..bce1880 100644 --- a/backend/backend-site/admin.py +++ b/backend/backend-site/admin.py @@ -14,6 +14,7 @@ python3 admin.py calls 看「呼叫金钻」记录 python3 admin.py sweep 清理超过保留期的成品 python3 admin.py stat 概览 + python3 admin.py db [check|backup|export [目录]] 数据库:体检 / 热备份 / 导回旧版 JSON python3 admin.py audit [行数] 看兑换码失败/被拒记录 """ import csv, json, os, shutil, sys, time @@ -267,15 +268,33 @@ def cmd_retry(argv): print("%s 已退回队列" % oid) +def cmd_db(argv): + """数据库(/ys.db,2026-10-05 起)。服务器不用停。""" + sub = (argv or ["check"])[0] + if sub == "check": + ok, n, imp = S.STORE.check() + print("库文件:%s" % S.STORE.path) + print("完整性:%s" % ok) + for k, v in n.items(): + print(" %-10s %d 行" % (k, v)) + print("订单(按状态):%s" % (S.STORE.order_counts() or "无")) + print("卡密(按状态):%s" % (S.STORE.code_counts() or "无")) + print("旧数据导入:%s" % (imp or "(没导过)")) + elif sub == "backup": + print("备份好了:%s" % S.STORE.backup()) + elif sub == "export": + print("已导出到 %s" % S.STORE.export_legacy(argv[1] if len(argv) > 1 else None)) + else: + print("用法:admin.py db [check|backup|export [目录]]") + + def cmd_calls(argv): - try: - for line in open(S.CALLS_FILE, encoding="utf-8"): - if line.strip(): - r = json.loads(line) - print("%s 订单=%s IP=%s %s" % (r["ts"], r.get("order") or "-", - r.get("ip"), "已通知" if r.get("notified") else "未通知")) - except OSError: + rows = S.STORE.calls() # 数据库 calls 表(2026-10-05 起;calls.jsonl 只是给手机通知的副本) + if not rows: print("(没有呼叫记录)") + for r in rows: + print("%s 订单=%s IP=%s %s %s" % (r.get("ts"), r.get("order") or "-", r.get("ip"), + "已通知" if r.get("notified") else "未通知", r.get("kind") or "呼叫")) def cmd_sweep(argv): @@ -285,8 +304,8 @@ def cmd_sweep(argv): ⚠️ 删文件之前先把卡密核销 —— 否则文件没了、码还挂在「已激活」,账永远对不上。 """ n = freed = settled = 0 - for oid in list(os.listdir(S.ORDERS)): - d = os.path.join(S.ORDERS, oid) + for oid in S.STORE.order_ids(): + d = S.order_dir(oid) m = S.read_meta(oid) if not m: continue @@ -306,7 +325,7 @@ def cmd_sweep(argv): freed += os.path.getsize(os.path.join(root, f)) except OSError: pass - shutil.rmtree(d, ignore_errors=True) + S.purge_order(oid) # 删文件;库里那一行留着记账(之后当它不存在) n += 1 # 文件还在、但开放下载已满 72 小时的,也一起核销 settled += sum(x[1] for x in S.settle_due()) @@ -534,7 +553,7 @@ def cmd_gift(argv): CMDS = {"gen": cmd_gen, "codes": cmd_codes, "ls": cmd_ls, "show": cmd_show, "gift": cmd_gift, "price": cmd_price, - "retry": cmd_retry, "calls": cmd_calls, "sweep": cmd_sweep, "stat": cmd_stat, + "retry": cmd_retry, "calls": cmd_calls, "db": cmd_db, "sweep": cmd_sweep, "stat": cmd_stat, "audit": cmd_audit, "activate": cmd_activate, "pending": cmd_pending, "edit": cmd_edit} diff --git a/backend/backend-site/server.py b/backend/backend-site/server.py index 90929c8..e1016be 100644 --- a/backend/backend-site/server.py +++ b/backend/backend-site/server.py @@ -5,7 +5,8 @@ 设计要点 * 纯标准库(http.server),零依赖、内存小 —— 这台机器只有 1.6G 内存 - * 队列就是文件系统:orders/<订单号>/meta.json 里 state 字段 = 状态 + * 数据在 SQLite(/ys.db,见 store.py):卡密 / 订单 / 爱发电账本 / 呼叫记录 / 小块状态; + 订单的 state 字段 = 队列状态。皮肤和成品**文件**还在 orders/<订单号>/ 目录里 * 渲染机主动出站拉单(宿主只能出站),服务器不主动连宿主 * 管理操作全走本地 CLI(admin.py),**不开任何公网管理入口** @@ -123,6 +124,11 @@ LOG_FILE = os.path.join(ROOT, "server.log") os.makedirs(ROOT, exist_ok=True) # 模块导入时就要保证目录存在(token 文件要写进去) +# 数据库(2026-10-05):第一次启动自动建库,并把旧版 JSON(codes.json / meta.json / 账本 …)导进来, +# 旧文件原样留着。回退:python3 store.py export。详见 store.py 开头和交接说明「数据库」一节。 +import store # noqa: E402 同目录,零依赖 +STORE = store.Store(ROOT) + HOST, PORT = "localhost", 8080 KEEP_HOURS = 72 # 成品在服务器保留时长 OFFLINE_AFTER = 1500 # 心跳超过这么多秒 = 离线 @@ -245,7 +251,7 @@ def gift_batches(): kind(券的种类:render=渲染图 / standee=立牌 / keychain=钥匙扣 / …未来扩展) shape(版式:square/横版 portrait…留字段,先不用) """ - d = jload(GIFTS_FILE, {}) + d = STORE.kv_get("gifts", {}) if not isinstance(d, dict) or not isinstance(d.get("batches"), list): d = {"batches": []} return d @@ -310,7 +316,7 @@ def gift_public(): def gift_claim_days(): """福利券领到后**多久必须用掉**(金钻 2026-10-02:领了不用要逾期)""" try: - return max(1, int((jload(GIFTS_FILE, {}) or {}).get("claim_days") or 7)) + return max(1, int((STORE.kv_get("gifts", {}) or {}).get("claim_days") or 7)) except (TypeError, ValueError): return 7 @@ -414,7 +420,7 @@ def gift_claim(bid, token, ip): _days = gift_claim_days() cs[pick]["claim_expire"] = (now() + timedelta(days=_days)).isoformat(timespec="seconds") cs[pick]["gift_kind"] = b.get("kind") or "render" - jsave(CODES_FILE, cs) + save_codes(cs) log("福利券 %s 被领走:%s(%s)" % (bid, pick, ip)) rec = load_codes().get(pick) or {} mx = int(rec.get("n_max") or rec.get("n_fix") or 1) @@ -487,7 +493,7 @@ def gift_batch_new(name, count=20, n_fix=1, n_free=False, tpl="", lock_tpl=False "enabled": True, "direct": bool(direct), "created": now().isoformat(timespec="seconds"), }) - jsave(GIFTS_FILE, d) + STORE.kv_put("gifts", d) codes = gift_batch_add(bid, count, direct=direct) log("福利券批次建好 %s「%s」%d 张(%s)" % ( bid, name, len(codes), "不限张数" if n_free else "最多 %d 张" % n_fix)) @@ -526,7 +532,7 @@ def gift_batch_add(bid, count=20, direct=None): for c in got: if c in cs: cs[c]["gift"] = bid - jsave(CODES_FILE, cs) + save_codes(cs) log("福利券批次 %s 补货 %d 张" % (bid, len(got))) return got @@ -539,7 +545,7 @@ def gift_batch_off(bid): if not b: raise ValueError("没有这个批次:%s" % bid) b["enabled"] = False - jsave(GIFTS_FILE, d) + STORE.kv_put("gifts", d) log("福利券批次 %s 已收摊" % bid) return b @@ -724,6 +730,20 @@ def now(): return datetime.now(CST) +def add_call(rec): + """记一条「呼叫金钻」/ 反馈 / 部分失败。 + + 数据库 calls 表是正本(后台和限频都查它);**同时照旧追加一行到 calls.jsonl** —— + 手机通知那边是盯着这个文件的(那段不在这份代码里),不能让它断。 + """ + STORE.call_add(rec) + try: + with open(CALLS_FILE, "a", encoding="utf-8") as f: + f.write(json.dumps(rec, ensure_ascii=False) + "\n") + except OSError: + pass + + def log(*a): line = "[%s] %s" % (now().strftime("%Y-%m-%d %H:%M:%S"), " ".join(str(x) for x in a)) try: @@ -811,7 +831,7 @@ def admin_token(): AT = admin_token() -HOME_IPS = (jload(HB_IPS_FILE, {}) or {}).get("ips") or [] # 重启后还记得上次认出的出口 IP +HOME_IPS = (STORE.kv_get("home_ips", {}) or {}).get("ips") or [] # 重启后还记得上次认出的出口 IP def note_home_ip(ip): @@ -843,7 +863,12 @@ def new_owner_token(): # ----------------------------------------------------------------- 兑换码 def load_codes(): - return jload(CODES_FILE, {}) + return STORE.codes_all() + + +def save_codes(codes): + """整份写回卡密(一个事务里只改有变化的行)。调用方照旧要在 `with LOCK:` 里 load → 改 → save。""" + STORE.codes_save(codes) def gen_codes(n, batch="", value=6, platform="", tpl="", state="active", is_set=False, direct=False, @@ -880,7 +905,7 @@ def gen_codes(n, batch="", value=6, platform="", tpl="", state="active", is_set= "n_fix": int(n_fix or 0), "n_max": int(n_max or 0), "lock_tpl": bool(lock_tpl), "n_free": bool(n_free)} made.append(c) - jsave(CODES_FILE, codes) + save_codes(codes) return made @@ -909,7 +934,7 @@ def code_info(raw): c = (raw or "").strip().upper() if not CODE_RE.match(c): return None - rec = (load_codes() or {}).get(c) + rec = STORE.code_get(c) if not rec: return None st = code_state(rec) @@ -945,31 +970,20 @@ def note_tpl_time(tpl, sec): return if not tpl or sec <= 0 or sec > 3600: return - try: - d = json.load(open(TPL_TIMES_FILE, encoding="utf-8")) + with LOCK: + d = STORE.kv_get("tpl_times", {}) if not isinstance(d, dict): d = {} - except Exception: - d = {} - arr = list(d.get(tpl) or []) - arr.append(round(sec, 1)) - d[tpl] = arr[-50:] - try: - tmp = TPL_TIMES_FILE + ".tmp" - with open(tmp, "w", encoding="utf-8") as f: - json.dump(d, f, ensure_ascii=False) - os.replace(tmp, TPL_TIMES_FILE) # 原子替换,断电不会写坏 - except OSError: - pass + arr = list(d.get(tpl) or []) + arr.append(round(sec, 1)) + d[tpl] = arr[-50:] + STORE.kv_put("tpl_times", d) def tpl_eta_sec(templates, n_img=1): """这单大概要渲多久:按模板历史耗时求和;没样本的模板按每张 60 秒兜底,再加 20 秒收尾。""" - try: - d = json.load(open(TPL_TIMES_FILE, encoding="utf-8")) - if not isinstance(d, dict): - d = {} - except Exception: + d = STORE.kv_get("tpl_times", {}) + if not isinstance(d, dict): d = {} per = [] for t in (templates or []): @@ -1127,7 +1141,7 @@ def redeem_bind(codes_in, oid): codes[c]["used"] = False codes[c]["order"] = oid codes[c]["bound_at"] = ts - jsave(CODES_FILE, codes) + save_codes(codes) return True, None, good @@ -1145,7 +1159,7 @@ def unbind_codes(codes_list, oid): r.pop("bound_at", None) hit = True if hit: - jsave(CODES_FILE, codes) + save_codes(codes) def burn_codes(codes_list, oid): @@ -1163,7 +1177,7 @@ def burn_codes(codes_list, oid): codes[c]["used"] = False codes[c]["order"] = oid codes[c]["bound_at"] = now().isoformat(timespec="seconds") - jsave(CODES_FILE, codes) + save_codes(codes) def settle_codes(oid, why=""): @@ -1185,7 +1199,7 @@ def settle_codes(oid, why=""): r["settled"] = why n += 1 if n: - jsave(CODES_FILE, codes) + save_codes(codes) return n @@ -1238,25 +1252,31 @@ def order_dir(oid): def read_meta(oid): - p = os.path.join(order_dir(oid), "meta.json") - if not os.path.exists(p): + """订单信息(数据库 orders 表)。没有这单 / 已清理 → None。""" + if not oid or not isinstance(oid, str): return None - return jload(p, None) + return STORE.order_get(oid) def write_meta(oid, meta): - jsave(os.path.join(order_dir(oid), "meta.json"), meta) + STORE.order_put(oid, meta) def list_orders(states=None): - out = [] - if not os.path.isdir(ORDERS): - return out - for oid in sorted(os.listdir(ORDERS)): - m = read_meta(oid) - if m and (states is None or m.get("state") in states): - out.append(m) - return out + """按单号排序的订单列表;states 给了就只要这几种状态(走索引,不再一单一单读文件)。""" + return STORE.orders(states) + + +def drop_order(oid): + """单没建成(提交中途失败):删目录 + 删行。""" + shutil.rmtree(order_dir(oid), ignore_errors=True) + STORE.order_drop(oid) + + +def purge_order(oid): + """到期清理:删文件,行留着记账(之后 read_meta 当它不存在)。""" + shutil.rmtree(order_dir(oid), ignore_errors=True) + STORE.order_purge(oid) import pngcheck # PNG 结构核验(防夹带)—— 同目录,零依赖 @@ -1317,7 +1337,7 @@ def sync_voucher_nfix(m): rec["n_fix"] = img_total(m) hit = True if hit: - jsave(CODES_FILE, cs) + save_codes(cs) def img_total(m): @@ -1405,7 +1425,7 @@ def heartbeat(force=False): c = _status_cache if (not force) and c["v"] is not None and (time.monotonic() - c["t"]) < STATUS_TTL: return c["v"] - hb = jload(HB_FILE, {}) + hb = STORE.kv_get("heartbeat", {}) or {} last = hb.get("ts") online = False if last: @@ -1487,7 +1507,7 @@ def _edit_code_locked(c, patch): r[k] = str(p[k] or "")[:20] if r.get("lock_tpl") and not (r.get("tpl") or "").strip(): return False, "要锁定模板,得先给这张码带模板" - jsave(CODES_FILE, cs) + save_codes(cs) return r, None @@ -1684,6 +1704,8 @@ class H(BaseHTTPRequestHandler): return self.admin_codes(q) if p == "/api/admin/gifts": return self.admin_gifts() + if p == "/api/admin/calls": + return self.admin_calls(q) return self.err("not found", 404) except Exception as e: @@ -1758,6 +1780,10 @@ class H(BaseHTTPRequestHandler): return self.admin_gift_add() if p == "/api/admin/gift/off": return self.admin_gift_off() + if p == "/api/admin/retry": + return self.admin_retry() + if p == "/api/admin/call-done": + return self.admin_call_done() return self.err("not found", 404) except Exception as e: log("POST %s 异常 %r" % (p, e)) @@ -1887,7 +1913,7 @@ class H(BaseHTTPRequestHandler): return self.err("皮肤文件过大") oid = new_oid() - while os.path.exists(order_dir(oid)): + while os.path.exists(order_dir(oid)) or STORE.order_known(oid): oid = new_oid() tok = new_owner_token() os.makedirs(order_dir(oid), exist_ok=True) @@ -1932,7 +1958,7 @@ class H(BaseHTTPRequestHandler): # 同一张码并发提交两次的话两边都会查到「可用」。绑不上 = 被别的提交抢先了。 okb, eb, good = redeem_bind(good, oid) if not okb: - shutil.rmtree(order_dir(oid), ignore_errors=True) + drop_order(oid) log("兑换码并发冲突 %s:%s" % (ip, eb)) return self.err(eb) meta["codes"] = good @@ -1942,7 +1968,7 @@ class H(BaseHTTPRequestHandler): except Exception: if not prepay: unbind_codes(good, oid) # 单没建成,码放回去 - shutil.rmtree(order_dir(oid), ignore_errors=True) + drop_order(oid) raise note_submit(ip) if prepay: @@ -1964,7 +1990,7 @@ class H(BaseHTTPRequestHandler): _cs = load_codes() if newc in _cs: _cs[newc]["order"] = oid - jsave(CODES_FILE, _cs) + save_codes(_cs) meta["codes"] = [newc] with LOCK: write_meta(oid, meta) @@ -2249,7 +2275,7 @@ class H(BaseHTTPRequestHandler): if "测试" in title: log("爱发电回调:测试单(%s),只记账不发码" % title.strip()) return self.js({"ec": 200, "em": ""}) - led = jload(PAYPLATFORM_LEDGER, {}) or {} + led = STORE.ledger_all() # ⚠️ 2026-10-05(外部复查):幂等原来只认「发过码」。可「对上网页单、激活了」那条路记的是 # code=None + used_by=<单号> —— 同一笔单再推一次(爱发电自己会重试;这个地址又是公开的, # 谁都能把报文原样再 POST 一遍)就不算处理过:第二次激活失败(单子已经在排队)→ 掉进 @@ -2265,7 +2291,7 @@ class H(BaseHTTPRequestHandler): led[oid_af] = {"ts": now().isoformat(timespec="seconds"), "status": order.get("status"), "amount": order.get("show_amount") or order.get("total_amount"), "code": None, "note": "未付款"} - jsave(PAYPLATFORM_LEDGER, led) + STORE.ledger_save(led) return self.js({"ec": 200, "em": ""}) real = payplatform_find_order(oid_af) @@ -2275,7 +2301,7 @@ class H(BaseHTTPRequestHandler): led[oid_af] = {"ts": now().isoformat(timespec="seconds"), "code": None, "amount": order.get("show_amount") or order.get("total_amount"), "note": "接口没查到,待人工核对", "need_human": True} - jsave(PAYPLATFORM_LEDGER, led) + STORE.ledger_save(led) return self.js({"ec": 200, "em": ""}) n_img_af = payplatform_img_count(real) @@ -2329,7 +2355,7 @@ class H(BaseHTTPRequestHandler): "want_order": target, "need": need, "paid": paid, "note": "金额不足(应付 ¥%s,实付 ¥%s),待人工核对" % (need, paid), "need_human": True} - jsave(PAYPLATFORM_LEDGER, led) + STORE.ledger_save(led) return self.js({"ec": 200, "em": "", "data": {"content": "金钻工坊 · 自助模板渲染\n收到你的付款,但金额和订单应付款(¥%s)对不上,已记下来等人工核对。\n" "核对没问题就立刻排队出图;如果是付少了,补齐后我们会马上处理。" % need}}) @@ -2358,7 +2384,7 @@ class H(BaseHTTPRequestHandler): "(也可以留作支持 🙏)" % (_yuan(paid), _yuan(need), _yuan(over))) rec_led["content"] = content led[oid_af] = rec_led - jsave(PAYPLATFORM_LEDGER, led) + STORE.ledger_save(led) log("爱发电付款 %s(¥%s)→ 对上网页单 %s → 已激活进队列(靠:%s)" % (oid_af, led[oid_af]["amount"], target, how)) return self.js({"ec": 200, "em": "", "data": {"content": content}}) @@ -2377,7 +2403,7 @@ class H(BaseHTTPRequestHandler): "sku": sku_txt, "buyer": real.get("user_id"), "remark": real.get("remark"), "paid": paid, "note": "金额不足一张(¥%s),待人工核对" % paid, "need_human": True} - jsave(PAYPLATFORM_LEDGER, led) + STORE.ledger_save(led) return self.js({"ec": 200, "em": "", "data": {"content": "金钻工坊 · 自助模板渲染\n收到你的付款 ¥%s,但不足一张(¥%s),没法自动发码。\n" "已记下来等人工核对;补齐差额后会马上补发。" % (paid, PRICE_UNIT)}}) @@ -2386,10 +2412,6 @@ class H(BaseHTTPRequestHandler): % (oid_af, n_img_af, paid, afford, n_img)) code = gen_codes(1, batch="爱发电自动", value=n_img * PRICE_UNIT, platform="爱发电", tpl="", n_fix=n_img)[0] # 不限模板、只限张数(金钻口径) - try: - os.chmod(CODES_FILE, 0o640) - except OSError: - pass content = ("金钻工坊 · 自助模板渲染\n这是你的卡密(固定 %d 张,模板随便挑):%s\n" "到 http 点「卡密下单」填进去就能开始。" % (n_img, code)) @@ -2409,7 +2431,7 @@ class H(BaseHTTPRequestHandler): "待人工看一眼(可能是想多买)" % (_yuan(over_code), _yuan(n_img * PRICE_UNIT), _yuan(paid))) led[oid_af] = rec_led - jsave(PAYPLATFORM_LEDGER, led) + STORE.ledger_save(led) log("爱发电卖出:%s | 金额 %s | 规格 %s | 留言 %s | 发码 %s(%d 张)" % (oid_af, led[oid_af]["amount"], sku_txt, (real.get("remark") or "-")[:30], code, n_img)) # 发货内容塞进返回体(爱发电的自动发货会用 content 展示给买家;不认也没关系, @@ -2444,7 +2466,7 @@ class H(BaseHTTPRequestHandler): return self._activate_payplatform_locked(oid, m, ano, ip) def _activate_payplatform_locked(self, oid, m, ano, ip): - led = jload(PAYPLATFORM_LEDGER, {}) or {} + led = STORE.ledger_all() rec = None for k, v in led.items(): if str(k).endswith(ano) or str(k) == ano: @@ -2470,7 +2492,7 @@ class H(BaseHTTPRequestHandler): akey = rec["_key"] # ⚠️ 先存下来:下面要把 _key 从记录里 pop 掉, led[akey]["used_by"] = oid # 之后再读 rec["_key"] 就是 KeyError(2026-10-01 实踩,500) led[akey].pop("_key", None) - jsave(PAYPLATFORM_LEDGER, led) + STORE.ledger_save(led) m["payplatform_order"] = akey with LOCK: write_meta(oid, m) @@ -2719,13 +2741,9 @@ class H(BaseHTTPRequestHandler): with open(os.path.join(FEEDBACK_DIR, fid + ".json"), "w", encoding="utf-8") as f: json.dump(rec, f, ensure_ascii=False, indent=1) # 走「呼叫金钻」同一套通知:他手机能收到 - try: - with open(CALLS_FILE, "a", encoding="utf-8") as f: - f.write(json.dumps({"ts": rec["ts"], "ip": ip, "order": rec["order"], - "notified": False, "kind": "反馈", - "note": (note or "(只传了图)")[:120]}, ensure_ascii=False) + "\n") - except OSError: - pass + add_call({"ts": rec["ts"], "ip": ip, "order": rec["order"], + "notified": False, "kind": "反馈", + "note": (note or "(只传了图)")[:120]}) log("反馈 %s | 单 %s | 图 %s | %s" % (fid, rec["order"] or "-", rec["image"] or "无", (note or "")[:60])) return self.js({"ok": True, "id": fid}) @@ -2866,10 +2884,10 @@ class H(BaseHTTPRequestHandler): ip = ip_of(self) if ip and ip not in ("?", "localhost"): note_home_ip(ip) - jsave(HB_IPS_FILE, {"ips": HOME_IPS}) + STORE.kv_put("home_ips", {"ips": HOME_IPS}) with LOCK: status_cache_clear() - jsave(HB_FILE, {"ts": now().isoformat(timespec="seconds"), + STORE.kv_put("heartbeat", {"ts": now().isoformat(timespec="seconds"), "host": (d.get("host") or "render")[:40]}) return self.js({"ok": True, "queue": len(list_orders(("waiting",)))}) @@ -3070,15 +3088,10 @@ class H(BaseHTTPRequestHandler): m["partial"] = {"got": len(files), "want": total, "why": str(d.get("note") or "")[:300], "at": now().isoformat(timespec="seconds")} - try: - with open(CALLS_FILE, "a", encoding="utf-8") as f: - f.write(json.dumps({"ts": m["partial"]["at"], "ip": "渲染机", "order": oid, - "notified": False, "kind": "部分失败", - "note": ("收到 %d/%d 个文件:%s" % (len(files), total, - m["partial"]["why"]))[:300]}, - ensure_ascii=False) + "\n") - except OSError: - pass + add_call({"ts": m["partial"]["at"], "ip": "渲染机", "order": oid, + "notified": False, "kind": "部分失败", + "note": ("收到 %d/%d 个文件:%s" % (len(files), total, + m["partial"]["why"]))[:300]}) log("⚠️ %s 部分失败:收到 %d/%d 个文件(%s)" % (oid, len(files), total, m["partial"]["why"])) if m.get("direct"): # 直发单不用确认收货 —— 渲完就是「开放下载」,保留期/核销都从这一刻起算 @@ -3116,12 +3129,8 @@ class H(BaseHTTPRequestHandler): ip = self.headers.get("X-Real-IP") or self.client_address[0] nowt = now() # 限频:同 IP 10 分钟内最多 3 次 - try: - recent = [json.loads(l) for l in open(CALLS_FILE, encoding="utf-8") if l.strip()] - except OSError: - recent = [] - n = sum(1 for r in recent[-50:] if r.get("ip") == ip - and (nowt - datetime.fromisoformat(r["ts"])).total_seconds() < 600) + since = (nowt - timedelta(seconds=600)).isoformat(timespec="seconds") + n = len(STORE.calls(ip=ip, since=since)) if n >= 3: return self.js({"ok": True, "throttled": True}) rec = {"ts": nowt.isoformat(timespec="seconds"), "ip": ip, @@ -3131,8 +3140,7 @@ class H(BaseHTTPRequestHandler): "note": (d.get("note") or "")[:600], "email": (d.get("email") or "")[:120], "notified": False} - with open(CALLS_FILE, "a", encoding="utf-8") as f: - f.write(json.dumps(rec, ensure_ascii=False) + "\n") + add_call(rec) log("呼叫金钻 %s" % rec) return self.js({"ok": True}) @@ -3341,11 +3349,16 @@ class H(BaseHTTPRequestHandler): except ValueError: limit = 60 want = (q.get("state") or [""])[0].strip() + # 2026-10-05:后台面板加了搜索框 —— 按码 / 订单号 / 批次 / 平台 找(不分大小写) + kw = (q.get("q") or [""])[0].strip().upper()[:40] out = [] for c, r in load_codes().items(): st = code_state(r) if want and st != want: continue + if kw and not any(kw in str(x or "").upper() + for x in (c, r.get("order"), r.get("batch"), r.get("platform"))): + continue out.append({"code": c, "state": st, "platform": r.get("platform"), "tpl": r.get("tpl"), "set": bool(r.get("set")), "direct": bool(r.get("direct")), "batch": r.get("batch"), @@ -3403,6 +3416,46 @@ class H(BaseHTTPRequestHandler): write_meta(oid, m) return self.js({"ok": True, "oid": oid, "state": "void"}) + def admin_calls(self, q): + """「呼叫金钻」/ 反馈 / 部分失败 记录,新的在前(2026-10-05:原来只能 ssh 上去 admin.py calls 看)。""" + try: + limit = min(int((q.get("limit") or ["60"])[0]), 300) + except ValueError: + limit = 60 + rows = STORE.calls(limit=limit)[::-1] + return self.js({"ok": True, "calls": rows, + "open": sum(1 for r in rows if not r.get("handled"))}) + + def admin_call_done(self): + """把一条呼叫标成「处理过了」。只加 handled 字段,不碰 notified(那是手机通知那边用的)。""" + d = self.body_json() or {} + try: + cid = int(d.get("id")) + except (TypeError, ValueError): + return self.err("没有这条记录", 404) + if not STORE.call_mark(cid, handled=not d.get("undo"), + handled_at=now().isoformat(timespec="seconds")): + return self.err("没有这条记录", 404) + return self.js({"ok": True, "id": cid}) + + def admin_retry(self): + """渲染失败的单退回队列重渲(等于 admin.py retry;面板上原来只能写「喊苏达」)。""" + d = self.body_json() or {} + oid = (d.get("oid") or "").strip().upper() + with LOCK: + m = read_meta(oid) if oid else None + if not m: + return self.err("没有这个订单:%s" % oid, 404) + if m.get("state") != "failed": + return self.err("只有「渲染失败」的单能退回重渲,这一单现在是「%s」" % m.get("state")) + m["state"] = "waiting" + m["note"] = "管理员退回重渲" + m["started"] = m["finished"] = None + write_meta(oid, m) + status_cache_clear() + log("后台退回重渲 %s" % oid) + return self.js({"ok": True, "oid": oid, "state": "waiting"}) + def admin_note(self): d = self.body_json() or {} oid = (d.get("oid") or "").strip().upper() diff --git a/backend/backend-site/store.py b/backend/backend-site/store.py new file mode 100644 index 0000000..64673fb --- /dev/null +++ b/backend/backend-site/store.py @@ -0,0 +1,421 @@ +#!/usr/bin/env python3 +# -*- coding: utf-8 -*- +"""金钻工坊 · 数据层(SQLite,标准库自带,零依赖) + +2026-10-05 起,原来散在 下的这些「拿 JSON 文件当数据库」的东西,统一进一个库: + /ys.db + + | 表 | 原来在哪 | 里面是什么 | + |-------------|-----------------------------------|------------| + | codes | codes.json | 卡密池(一行一张码) | + | orders | orders/<单号>/meta.json | 订单信息(一行一单;皮肤 / 成品**文件**还在 orders/<单号>/ 目录里) | + | pay_orders | payplatform-orders.json | 爱发电回调账本(一行一笔,按平台单号幂等) | + | calls | calls.jsonl | 「呼叫金钻」/ 反馈 / 部分失败 记录 | + | kv | gifts.json / heartbeat.json / home_ips.json / tpl_times.json | 小块状态(一个键一份 JSON) | + + **还是文件、没进库的**(都是人手改的配置或二进制): + payplatform.json(凭据)、payplatform-map.json、prices.json、payinfo.json、 + worker_token / admin_token、皮肤与成品图片、feedback/ 里的反馈图、各种 .log + +设计取舍(为什么这么做): + * 每张表都是「几个能查的列 + 一列 data(整条记录的 JSON)」。上层代码拿到的还是原来的 dict, + **字段想加就加,不用改表**;能查的列(state / order_id / batch …)是写入时从 data 里抽出来的。 + * 写整份 dict 的老写法(load → 改 → save)保留:save 时在**一个事务里**只改有变化的行。 + 所以 server.py 里的路由逻辑一行都不用动,只是存取换了地方。 + * 并发:上层照旧 `with LOCK:`(线程锁 + 跨进程 flock);库本身开 WAL + busy_timeout, + 读不挡写、写不挡读,另一个进程(admin.py)在写也只是等一会儿,不会报 locked。 + * 断电:SQLite 事务要么全写进去、要么全没写,不会再有「半截 codes.json」。 + +第一次启动自动从旧 JSON 导入(只导一次,旧文件原样留着不删);要回退到旧版: + python3 store.py export 把库里的数据导回成旧版的 JSON 文件 + python3 store.py check 完整性检查 + 每张表几行 + python3 store.py backup 在线热备份一份到 /backup/ys-<时间>.db +""" +import json, os, sqlite3, sys, threading, time + +SCHEMA_VERSION = 1 + +# 哪些 kv 键原来是哪个文件(导入 / 导出用) +KV_FILES = { + "gifts": "gifts.json", + "heartbeat": "heartbeat.json", + "home_ips": "home_ips.json", + "tpl_times": "tpl_times.json", +} + +_SCHEMA = """ +CREATE TABLE IF NOT EXISTS codes ( + code TEXT PRIMARY KEY, + state TEXT NOT NULL DEFAULT 'active', + order_id TEXT, + batch TEXT, + platform TEXT, + gift TEXT, + data TEXT NOT NULL, + updated REAL NOT NULL +); +CREATE INDEX IF NOT EXISTS codes_state ON codes(state); +CREATE INDEX IF NOT EXISTS codes_order ON codes(order_id); +CREATE INDEX IF NOT EXISTS codes_batch ON codes(batch); +CREATE INDEX IF NOT EXISTS codes_gift ON codes(gift); + +CREATE TABLE IF NOT EXISTS orders ( + oid TEXT PRIMARY KEY, + state TEXT, + created TEXT, + data TEXT NOT NULL, + updated REAL NOT NULL, + purged REAL -- 文件已清理的时间;NULL = 还在。清掉的单留一行做账,不再当成「存在」 +); +CREATE INDEX IF NOT EXISTS orders_state ON orders(state) WHERE purged IS NULL; + +CREATE TABLE IF NOT EXISTS pay_orders ( + out_trade_no TEXT PRIMARY KEY, + data TEXT NOT NULL, + updated REAL NOT NULL +); + +CREATE TABLE IF NOT EXISTS calls ( + id INTEGER PRIMARY KEY AUTOINCREMENT, + ts TEXT, + ip TEXT, + order_id TEXT, + data TEXT NOT NULL +); +CREATE INDEX IF NOT EXISTS calls_ip ON calls(ip, ts); + +CREATE TABLE IF NOT EXISTS kv ( + k TEXT PRIMARY KEY, + data TEXT NOT NULL, + updated REAL NOT NULL +); + +CREATE TABLE IF NOT EXISTS schema_info (k TEXT PRIMARY KEY, v TEXT); +""" + + +def _dump(obj): + return json.dumps(obj, ensure_ascii=False, sort_keys=True, separators=(",", ":")) + + +def _code_cols(code, rec): + st = rec.get("state") + if st not in ("active", "inactive", "used", "bound"): + st = "used" if rec.get("used") else "active" + return (code, st, rec.get("order") or None, rec.get("batch") or None, + rec.get("platform") or None, rec.get("gift") or None) + + +class Store(object): + """一个库文件一个实例。每个线程自己一条连接(sqlite3 连接不能跨线程用)。""" + + def __init__(self, root): + self.root = root + self.path = os.path.join(root, "ys.db") + self._local = threading.local() + os.makedirs(root, exist_ok=True) + fresh = not os.path.exists(self.path) + c = self.conn() + c.executescript(_SCHEMA) + if fresh: + try: + os.chmod(self.path, 0o640) # 和 codes.json 一样:别的账号读不到 + except OSError: + pass + if self._info("schema") is None: + with self.tx() as c: + c.execute("INSERT OR REPLACE INTO schema_info VALUES ('schema', ?)", (str(SCHEMA_VERSION),)) + if self._info("imported") is None: + self.import_legacy() + + # ------------------------------------------------------------ 连接 / 事务 + def conn(self): + c = getattr(self._local, "c", None) + if c is None: + c = sqlite3.connect(self.path, timeout=30, isolation_level=None, check_same_thread=False) + c.execute("PRAGMA journal_mode=WAL") + c.execute("PRAGMA synchronous=NORMAL") # WAL 下 NORMAL:断电最多丢最后一个事务,不会写坏库 + c.execute("PRAGMA busy_timeout=30000") + c.execute("PRAGMA foreign_keys=ON") + self._local.c = c + return c + + class _Tx(object): + def __init__(self, c): + self.c = c + + def __enter__(self): + self.c.execute("BEGIN IMMEDIATE") + return self.c + + def __exit__(self, et, ev, tb): + self.c.execute("COMMIT" if et is None else "ROLLBACK") + return False + + def tx(self): + """写事务:`with store.tx() as c:` 里的语句要么全成、要么全不成。""" + return Store._Tx(self.conn()) + + def _info(self, k): + r = self.conn().execute("SELECT v FROM schema_info WHERE k=?", (k,)).fetchone() + return r[0] if r else None + + # ------------------------------------------------------------ 卡密 + def codes_all(self): + return {k: json.loads(d) for k, d in self.conn().execute("SELECT code, data FROM codes")} + + def code_get(self, code): + r = self.conn().execute("SELECT data FROM codes WHERE code=?", (code,)).fetchone() + return json.loads(r[0]) if r else None + + def codes_where(self, **cols): + """按列查:codes_where(order_id='YS…') / codes_where(gift='g1') / codes_where(state='active')""" + ok = ("state", "order_id", "batch", "platform", "gift") + ks = [k for k in cols if k in ok] + sql = "SELECT code, data FROM codes" + (" WHERE " + " AND ".join("%s=?" % k for k in ks) if ks else "") + return {k: json.loads(d) for k, d in self.conn().execute(sql, [cols[k] for k in ks])} + + def codes_save(self, codes): + """整份写回(老写法 load → 改 → save 用)。一个事务里:变了的更新、没了的删掉、新的插入。""" + now = time.time() + with self.tx() as c: + old = dict(c.execute("SELECT code, data FROM codes")) + for k in set(old) - set(codes): + c.execute("DELETE FROM codes WHERE code=?", (k,)) + for k, rec in codes.items(): + d = _dump(rec) + if old.get(k) == d: + continue + c.execute("INSERT OR REPLACE INTO codes (code, state, order_id, batch, platform, gift, data, updated)" + " VALUES (?,?,?,?,?,?,?,?)", _code_cols(k, rec) + (d, now)) + + def code_put(self, code, rec): + with self.tx() as c: + c.execute("INSERT OR REPLACE INTO codes (code, state, order_id, batch, platform, gift, data, updated)" + " VALUES (?,?,?,?,?,?,?,?)", _code_cols(code, rec) + (_dump(rec), time.time())) + + def code_counts(self): + return dict(self.conn().execute("SELECT state, COUNT(*) FROM codes GROUP BY state")) + + # ------------------------------------------------------------ 订单 + def order_get(self, oid): + r = self.conn().execute("SELECT data FROM orders WHERE oid=? AND purged IS NULL", (oid,)).fetchone() + return json.loads(r[0]) if r else None + + def order_put(self, oid, meta): + with self.tx() as c: + c.execute("INSERT INTO orders (oid, state, created, data, updated, purged) VALUES (?,?,?,?,?,NULL)" + " ON CONFLICT(oid) DO UPDATE SET state=excluded.state, created=excluded.created," + " data=excluded.data, updated=excluded.updated, purged=NULL", + (oid, meta.get("state"), meta.get("created"), _dump(meta), time.time())) + + def order_known(self, oid): + """这个单号用过没有(包括已清理的)—— 发新单号时防撞号。""" + return self.conn().execute("SELECT 1 FROM orders WHERE oid=?", (oid,)).fetchone() is not None + + def orders(self, states=None, include_purged=False): + sql, args = "SELECT data FROM orders", [] + cond = [] if include_purged else ["purged IS NULL"] + if states is not None: + states = list(states) + if not states: + return [] + cond.append("state IN (%s)" % ",".join("?" * len(states))) + args += states + if cond: + sql += " WHERE " + " AND ".join(cond) + sql += " ORDER BY oid" + return [json.loads(d) for (d,) in self.conn().execute(sql, args)] + + def order_ids(self): + return [r[0] for r in self.conn().execute("SELECT oid FROM orders WHERE purged IS NULL ORDER BY oid")] + + def order_purge(self, oid): + """文件清掉了:行留着(记账 / 统计用),但之后 order_get 当它不存在。""" + with self.tx() as c: + c.execute("UPDATE orders SET purged=? WHERE oid=?", (time.time(), oid)) + + def order_drop(self, oid): + """单根本没建成(提交中途失败):连行一起删。""" + with self.tx() as c: + c.execute("DELETE FROM orders WHERE oid=?", (oid,)) + + def order_counts(self): + return dict(self.conn().execute("SELECT state, COUNT(*) FROM orders WHERE purged IS NULL GROUP BY state")) + + # ------------------------------------------------------------ 爱发电账本 + def ledger_all(self): + return {k: json.loads(d) for k, d in self.conn().execute("SELECT out_trade_no, data FROM pay_orders")} + + def ledger_get(self, no): + r = self.conn().execute("SELECT data FROM pay_orders WHERE out_trade_no=?", (str(no),)).fetchone() + return json.loads(r[0]) if r else None + + def ledger_save(self, led): + now = time.time() + with self.tx() as c: + old = dict(c.execute("SELECT out_trade_no, data FROM pay_orders")) + for k in set(old) - set(led): + c.execute("DELETE FROM pay_orders WHERE out_trade_no=?", (k,)) + for k, rec in led.items(): + d = _dump(rec) + if old.get(k) != d: + c.execute("INSERT OR REPLACE INTO pay_orders VALUES (?,?,?)", (str(k), d, now)) + + # ------------------------------------------------------------ 呼叫记录 + def call_add(self, rec): + with self.tx() as c: + cur = c.execute("INSERT INTO calls (ts, ip, order_id, data) VALUES (?,?,?,?)", + (rec.get("ts"), rec.get("ip"), rec.get("order") or None, _dump(rec))) + return cur.lastrowid + + def calls(self, limit=None, ip=None, since=None): + """最近的在后。ip / since(ISO 时间串)可以筛。""" + sql, cond, args = "SELECT id, data FROM calls", [], [] + if ip is not None: + cond.append("ip=?"); args.append(ip) + if since is not None: + cond.append("ts>=?"); args.append(since) + if cond: + sql += " WHERE " + " AND ".join(cond) + sql += " ORDER BY id DESC" + if limit: + sql += " LIMIT %d" % int(limit) + out = [] + for i, d in self.conn().execute(sql, args): + r = json.loads(d); r["id"] = i; out.append(r) + return out[::-1] + + def call_mark(self, cid, **fields): + with self.tx() as c: + r = c.execute("SELECT data FROM calls WHERE id=?", (cid,)).fetchone() + if not r: + return False + d = json.loads(r[0]); d.update(fields) + c.execute("UPDATE calls SET data=? WHERE id=?", (_dump(d), cid)) + return True + + # ------------------------------------------------------------ 小块状态 + def kv_get(self, k, default=None): + r = self.conn().execute("SELECT data FROM kv WHERE k=?", (k,)).fetchone() + return json.loads(r[0]) if r else default + + def kv_put(self, k, obj): + with self.tx() as c: + c.execute("INSERT OR REPLACE INTO kv VALUES (?,?,?)", (k, _dump(obj), time.time())) + + # ------------------------------------------------------------ 导入 / 导出 / 体检 + def import_legacy(self): + """第一次启动:把旧 JSON 导进来(旧文件不动)。整个导入一个事务,失败就整体回滚、下次再试。""" + R = self.root + n = {"codes": 0, "orders": 0, "pay_orders": 0, "calls": 0, "kv": 0} + + def jl(p, default): + try: + with open(p, encoding="utf-8") as f: + return json.load(f) + except (OSError, ValueError): + return default + now = time.time() + with self.tx() as c: + for k, rec in (jl(os.path.join(R, "codes.json"), {}) or {}).items(): + if isinstance(rec, dict): + c.execute("INSERT OR IGNORE INTO codes (code, state, order_id, batch, platform, gift, data, updated)" + " VALUES (?,?,?,?,?,?,?,?)", _code_cols(k, rec) + (_dump(rec), now)) + n["codes"] += 1 + od = os.path.join(R, "orders") + if os.path.isdir(od): + for oid in sorted(os.listdir(od)): + m = jl(os.path.join(od, oid, "meta.json"), None) + if isinstance(m, dict): + c.execute("INSERT OR IGNORE INTO orders (oid, state, created, data, updated) VALUES (?,?,?,?,?)", + (oid, m.get("state"), m.get("created"), _dump(m), now)) + n["orders"] += 1 + for k, rec in (jl(os.path.join(R, "payplatform-orders.json"), {}) or {}).items(): + c.execute("INSERT OR IGNORE INTO pay_orders VALUES (?,?,?)", (str(k), _dump(rec), now)) + n["pay_orders"] += 1 + try: + with open(os.path.join(R, "calls.jsonl"), encoding="utf-8") as f: + for line in f: + try: + r = json.loads(line) + except ValueError: + continue # 旧文件里写了半行的那条跳过 + if isinstance(r, dict): + c.execute("INSERT INTO calls (ts, ip, order_id, data) VALUES (?,?,?,?)", + (r.get("ts"), r.get("ip"), r.get("order") or None, _dump(r))) + n["calls"] += 1 + except OSError: + pass + for k, fn in KV_FILES.items(): + v = jl(os.path.join(R, fn), None) + if v is not None: + c.execute("INSERT OR IGNORE INTO kv VALUES (?,?,?)", (k, _dump(v), now)) + n["kv"] += 1 + c.execute("INSERT OR REPLACE INTO schema_info VALUES ('imported', ?)", + (json.dumps({"at": time.strftime("%Y-%m-%d %H:%M:%S"), "n": n}, ensure_ascii=False),)) + return n + + def export_legacy(self, dest=None): + """把库导回旧版 JSON(回退用)。dest 不给 = 写回 (会覆盖那几个旧文件)。""" + D = dest or self.root + os.makedirs(os.path.join(D, "orders"), exist_ok=True) + + def js(p, obj): + tmp = p + ".export.tmp" + with open(tmp, "w", encoding="utf-8") as f: + json.dump(obj, f, ensure_ascii=False, indent=1) + os.replace(tmp, p) + js(os.path.join(D, "codes.json"), self.codes_all()) + js(os.path.join(D, "payplatform-orders.json"), self.ledger_all()) + for m in self.orders(): + od = os.path.join(D, "orders", m["oid"]) + os.makedirs(od, exist_ok=True) + js(os.path.join(od, "meta.json"), m) + with open(os.path.join(D, "calls.jsonl"), "w", encoding="utf-8") as f: + for r in self.calls(): + r.pop("id", None) + f.write(json.dumps(r, ensure_ascii=False) + "\n") + for k, fn in KV_FILES.items(): + v = self.kv_get(k) + if v is not None: + js(os.path.join(D, fn), v) + return D + + def check(self): + c = self.conn() + ok = c.execute("PRAGMA integrity_check").fetchone()[0] + n = {t: c.execute("SELECT COUNT(*) FROM %s" % t).fetchone()[0] + for t in ("codes", "orders", "pay_orders", "calls", "kv")} + return ok, n, self._info("imported") + + def backup(self, dest=None): + """在线热备份(服务器不用停)。""" + d = dest or os.path.join(self.root, "backup") + os.makedirs(d, exist_ok=True) + p = os.path.join(d, "ys-%s.db" % time.strftime("%Y%m%d-%H%M%S")) + b = sqlite3.connect(p) + with b: + self.conn().backup(b) + b.close() + os.chmod(p, 0o600) + return p + + +if __name__ == "__main__": + root = os.environ.get("YS_ROOT", "") + cmd = (sys.argv[1:] or ["check"])[0] + st = Store(root) + if cmd == "check": + ok, n, imp = st.check() + print("完整性:%s" % ok) + for k, v in n.items(): + print(" %-10s %d 行" % (k, v)) + print("旧数据导入:%s" % (imp or "(没导过)")) + elif cmd == "export": + print("已导出到 %s" % st.export_legacy(sys.argv[2] if len(sys.argv) > 2 else None)) + elif cmd == "backup": + print("备份好了:%s" % st.backup()) + else: + print(__doc__) + sys.exit(2) diff --git a/backend/backend-site/tests/数据库测试.py b/backend/backend-site/tests/数据库测试.py new file mode 100644 index 0000000..7778187 --- /dev/null +++ b/backend/backend-site/tests/数据库测试.py @@ -0,0 +1,289 @@ +# -*- coding: utf-8 -*- +"""数据库(store.py / ys.db)测试 —— 数据全是这里现编的假数据,不碰任何真实环境。 + +用法:python3 tests/数据库测试.py + (和 回执复现测试.py 一样:交付副本里三个 URL 格式串被脱敏弄坏了,第 9 节要起服务器,跑之前先换成能格式化的占位) + +测的是: + 1. 全新安装:空目录第一次启动 → 自动建库,什么都不用配 + 2. 老数据迁移:现编一套旧版 JSON(卡密 / 订单 meta / 爱发电账本 / 呼叫记录(含写坏的半行)/ 小块状态)→ 一次导全 + 3. 重启不重复导入;旧文件原样不动 + 4. 卡密整份写回 = 只改有变化的行;能查的列(state / order_id)跟着变 + 5. 订单清理:行留着记账,但对外当它不存在;单号不会被重新发出去 + 6. 事务:中途出错整体回滚,不留半截 + 7. 导出旧版 JSON → 再导入新库,数据一模一样(回退路径能用) + 8. 热备份能打开、行数一致;完整性检查 ok + 9. 服务器直接在「迁移过来的老数据」上跑:老订单能查、老卡密能认、admin.py db / calls / ls 能用 + 10. 并发:8 个线程同时记呼叫、两个进程同时写卡密,一条不丢 + 11. 规模:5000 张码 + 2000 单,按状态列订单的耗时 +""" +import json, os, random, shutil, sqlite3, subprocess, sys, tempfile, threading, time + +SRC = os.path.abspath(sys.argv[1]) +sys.path.insert(0, SRC) +import store # noqa: E402 + +RESULTS = [] + + +def check(name, cond, detail=""): + RESULTS.append((name, bool(cond), detail)) + print(("PASS " if cond else "FAIL ") + name + ((" —— " + detail) if detail else ""), flush=True) + + +def jw(p, obj): + os.makedirs(os.path.dirname(p), exist_ok=True) + with open(p, "w", encoding="utf-8") as f: + json.dump(obj, f, ensure_ascii=False, indent=1) + + +ALPH = "23456789ABCDEFGHJKMNPQRSTUVWXYZ" +rnd = random.Random(20261005) + + +def fake_code(): + return "YS-" + "-".join("".join(rnd.choice(ALPH) for _ in range(4)) for _ in range(3)) + + +def fake_oid(): + return "YS" + "".join(rnd.choice(ALPH) for _ in range(6)) + + +def make_legacy(root, n_codes=40, n_orders=12): + """现编一套「旧版」数据目录(形状照 server.py 写出来的样子)。""" + codes, orders = {}, {} + states = ["waiting", "working", "done", "failed", "unpaid", "paid"] + for i in range(n_orders): + oid = fake_oid() + orders[oid] = {"oid": oid, "state": states[i % len(states)], "token": "".join(rnd.choice(ALPH) for _ in range(14)), + "created": "2026-10-0%dT1%d:00:00+08:00" % (1 + i % 4, i % 10), "arm": "classic", + "templates": ["stand"], "res": 1000, "skins": [{"id": "s1", "path": "skin.png", "templates": ["stand"]}], + "codes": [], "files": [], "note": "假单 %d" % i, "expire": "2026-10-09T00:00:00+08:00"} + oids = list(orders) + for i in range(n_codes): + c = fake_code() + st = ["active", "inactive", "bound", "used"][i % 4] + rec = {"used": st == "used", "order": None, "ts": None, "batch": "测试批%d" % (i % 3), "value": 6, + "platform": ["", "闲鱼", "爱发电"][i % 3], "tpl": "", "state": st, "set": False, "direct": False, + "n_fix": 1, "n_max": 0, "lock_tpl": False, "n_free": False} + if st in ("bound", "used"): + o = oids[i % len(oids)] + rec["order"] = o + orders[o]["codes"].append(c) + codes[c] = rec + codes["YS-OLD0-OLD0-OLD0"] = {"used": True, "order": None, "batch": "最早一批"} # 老格式:只有 used 布尔 + jw(os.path.join(root, "codes.json"), codes) + for oid, m in orders.items(): + jw(os.path.join(root, "orders", oid, "meta.json"), m) + with open(os.path.join(root, "orders", oid, "skin.png"), "wb") as f: + f.write(b"\x89PNG\r\n\x1a\nfake-skin") + jw(os.path.join(root, "payplatform-orders.json"), + {"2026100500000000000000000%02d" % i: {"ts": "2026-10-05T12:00:00+08:00", "code": fake_code(), "n_img": 1, + "paid": "6.00", "notified": False} for i in range(5)}) + with open(os.path.join(root, "calls.jsonl"), "w", encoding="utf-8") as f: + for i in range(6): + f.write(json.dumps({"ts": "2026-10-05T1%d:00:00+08:00" % i, "ip": "10.0.0.%d" % i, "order": oids[i], + "note": "等太久了 %d" % i, "notified": i % 2 == 0}, ensure_ascii=False) + "\n") + f.write('{"ts": "2026-10-05T19:00:00+08:00", "ip": "10.0.0.9", "no') # 断电写了半行 + jw(os.path.join(root, "gifts.json"), {"batches": [{"id": "g1", "name": "国庆福利", "n_fix": 1, "enabled": True}]}) + jw(os.path.join(root, "heartbeat.json"), {"ts": "2026-10-05T12:00:00+08:00", "host": "render"}) + jw(os.path.join(root, "home_ips.json"), {"ips": ["198.51.100.7"]}) + jw(os.path.join(root, "tpl_times.json"), {"stand": [40.0, 42.5, 39.1]}) + return codes, orders + + +def fingerprint(root): + out = {} + for dp, _, fs in os.walk(root): + for f in fs: + p = os.path.join(dp, f) + out[os.path.relpath(p, root)] = open(p, "rb").read() + return out + + +# ================================================================== 1. 全新安装 +R1 = tempfile.mkdtemp(prefix="ys-db-fresh-") +st = store.Store(R1) +ok, n, imp = st.check() +check("全新安装:空目录第一次启动自动建库", os.path.exists(os.path.join(R1, "ys.db")) and ok == "ok" and sum(n.values()) == 0, + "完整性=%s 行数=%s" % (ok, n)) +check("全新安装:库文件权限不对外(640)", (os.stat(st.path).st_mode & 0o777) == 0o640, oct(os.stat(st.path).st_mode & 0o777)) + +# ================================================================== 2/3. 老数据迁移 +R2 = tempfile.mkdtemp(prefix="ys-db-legacy-") +codes0, orders0 = make_legacy(R2) +before = fingerprint(R2) +st2 = store.Store(R2) +check("迁移:卡密全部导入、内容一致", st2.codes_all() == codes0, "%d 张" % len(st2.codes_all())) +check("迁移:订单全部导入、内容一致", {m["oid"]: m for m in st2.orders()} == orders0, "%d 单" % len(st2.orders())) +check("迁移:爱发电账本导入", len(st2.ledger_all()) == 5) +calls = st2.calls() +check("迁移:呼叫记录导入(写坏的半行跳过,不影响别的)", len(calls) == 6 and calls[0]["note"] == "等太久了 0", "%d 条" % len(calls)) +check("迁移:小块状态(福利券 / 心跳 / 家里 IP / 模板耗时)导入", + st2.kv_get("gifts")["batches"][0]["name"] == "国庆福利" and st2.kv_get("home_ips") == {"ips": ["198.51.100.7"]} + and st2.kv_get("tpl_times")["stand"][1] == 42.5 and st2.kv_get("heartbeat")["host"] == "render") +check("迁移:老格式卡密(只有 used 布尔)能查到、状态算成 used", + st2.codes_where(state="used").get("YS-OLD0-OLD0-OLD0") is not None) +bound = [c for c, r in codes0.items() if r.get("state") == "bound"] +o1 = codes0[bound[0]]["order"] +check("迁移:按订单号查它绑的卡密(走索引)", bound[0] in st2.codes_where(order_id=o1)) +after = {k: v for k, v in fingerprint(R2).items() if not k.startswith("ys.db")} +check("迁移:旧文件原样不动(一个字节都没改)", after == before) +st2b = store.Store(R2) +check("重启:不会重复导入", len(st2b.codes_all()) == len(codes0) and len(st2b.calls()) == 6 and len(st2b.orders()) == len(orders0)) + +# ================================================================== 4. 整份写回 = 只改有变化的行 +cs = st2.codes_all() +c_up, c_del = list(cs)[0], list(cs)[1] +cs[c_up] = dict(cs[c_up], state="bound", order=o1) +del cs[c_del] +cs["YS-NEW1-NEW1-NEW1"] = {"state": "active", "batch": "新批"} +stamp = dict(st2.conn().execute("SELECT code, updated FROM codes")) +time.sleep(0.02) +st2.codes_save(cs) +stamp2 = dict(st2.conn().execute("SELECT code, updated FROM codes")) +changed = {k for k in stamp2 if stamp2[k] != stamp.get(k)} +check("写回:只动了改过 / 新加的两行,删掉的那行没了", changed == {c_up, "YS-NEW1-NEW1-NEW1"} and c_del not in stamp2, + "变动的行:%s" % sorted(changed)) +check("写回:能查的列跟着变(state=bound / order_id)", c_up in st2.codes_where(state="bound", order_id=o1)) + +# ================================================================== 5. 订单清理 +victim = list(orders0)[0] +st2.order_purge(victim) +check("清理:清掉的单对外当它不存在", st2.order_get(victim) is None and victim not in st2.order_ids()) +check("清理:行还在(记账用),单号不会被再发出去", st2.order_known(victim) + and any(m["oid"] == victim for m in st2.orders(include_purged=True))) +st2.order_put(victim, orders0[victim]) +check("清理:同号重新写入会复活(恢复误删用)", st2.order_get(victim) is not None) +st2.order_drop("YSNOPE00") +check("清理:删不存在的单不报错", True) + +# ================================================================== 6. 事务回滚 +n_before = len(st2.codes_all()) +try: + with st2.tx() as c: + c.execute("INSERT INTO codes (code, state, data, updated) VALUES ('YS-HALF-HALF-HALF','active','{}',0)") + raise RuntimeError("中途出错(模拟断电 / 异常)") +except RuntimeError: + pass +check("事务:中途出错整体回滚,不留半截", len(st2.codes_all()) == n_before and st2.code_get("YS-HALF-HALF-HALF") is None) + +# ================================================================== 7. 导出 → 再导入,一模一样 +EXP = tempfile.mkdtemp(prefix="ys-db-export-") +st2.export_legacy(EXP) +st3 = store.Store(EXP) +check("回退:导出的 JSON 再导入,卡密一模一样", st3.codes_all() == st2.codes_all()) +check("回退:订单 / 账本 / 小块状态一模一样", + st3.orders() == st2.orders() and st3.ledger_all() == st2.ledger_all() + and all(st3.kv_get(k) == st2.kv_get(k) for k in store.KV_FILES)) +check("回退:呼叫记录条数和内容一致", [dict(r, id=0) for r in st3.calls()] == [dict(r, id=0) for r in st2.calls()]) + +# ================================================================== 8. 备份 / 体检 +bp = st2.backup() +b = sqlite3.connect(bp) +bn = b.execute("SELECT COUNT(*) FROM codes").fetchone()[0] +b.close() +check("备份:热备份能打开、行数一致", bn == len(st2.codes_all()), bp) +check("体检:integrity_check = ok", st2.check()[0] == "ok") + +# ================================================================== 9. 服务器跑在迁移过来的老数据上 +R4 = tempfile.mkdtemp(prefix="ys-db-server-") +codes4, orders4 = make_legacy(R4, n_codes=12, n_orders=6) +o4 = [o for o, m in orders4.items() if m["state"] == "done"][0] +b4 = [c for c, r in codes4.items() if r.get("state") == "bound"][0] +probe = r""" +import sys, json, threading, urllib.request +sys.path.insert(0, %(src)r) +import server as S +srv = S.ThreadingHTTPServer(("127.0.0.1", 0), S.H); srv.daemon_threads = True +threading.Thread(target=srv.serve_forever, daemon=True).start() +base = "http://127.0.0.1:%%d" %% srv.server_address[1] +def get(p): + try: + with urllib.request.urlopen(base + p, timeout=20) as r: return r.status, json.loads(r.read()) + except urllib.error.HTTPError as e: return e.code, {} +out = {} +out["order"] = get("/api/order/%(oid)s?t=%(tok)s") +out["badtok"] = get("/api/order/%(oid)s?t=WRONGTOKEN0000") +out["code"] = S.code_info(%(code)r) +out["status"] = get("/api/status") +out["home_ips"] = S.HOME_IPS +out["waiting"] = [m["oid"] for m in S.list_orders(("waiting",))] +print(json.dumps(out, ensure_ascii=False)) +srv.shutdown() +""" % {"src": SRC, "oid": o4, "tok": orders4[o4]["token"], "code": b4} +env = dict(os.environ, YS_ROOT=R4) +p = subprocess.run([sys.executable, "-c", probe], capture_output=True, text=True, env=env, cwd=SRC, timeout=120) +try: + res = json.loads(p.stdout.strip().splitlines()[-1]) +except Exception: + res = {} + print(p.stdout[-800:], p.stderr[-1500:]) +check("服务器:老订单直接能查(口令对 → 200)", (res.get("order") or [0])[0] == 200, str(res.get("order"))[:100]) +check("服务器:口令错 → 404(和以前一样不承认这单)", (res.get("badtok") or [0])[0] == 404) +check("服务器:老卡密能认,带出它绑的单", (res.get("code") or {}).get("oid") == codes4[b4]["order"]) +check("服务器:状态接口照常", (res.get("status") or [0])[0] == 200) +check("服务器:重启后还记得家里的出口 IP(从 home_ips.json 迁过来)", res.get("home_ips") == ["198.51.100.7"]) +check("服务器:按状态列队列", sorted(res.get("waiting") or []) == sorted(o for o, m in orders4.items() if m["state"] == "waiting")) +for args, want in ((["db", "check"], "完整性:ok"), (["calls"], "10.0.0.1"), + (["ls", "waiting"], ""), (["stat"], "")): + q = subprocess.run([sys.executable, os.path.join(SRC, "admin.py")] + args, capture_output=True, text=True, + env=env, cwd=SRC, timeout=60) + check("admin.py %s 能跑" % " ".join(args), q.returncode == 0 and want in q.stdout, (q.stdout + q.stderr).strip()[-120:]) + +# ================================================================== 10. 并发 +R5 = tempfile.mkdtemp(prefix="ys-db-conc-") +st5 = store.Store(R5) + + +def spam(k): + for i in range(50): + st5.call_add({"ts": "2026-10-05T12:00:%02d+08:00" % (i % 60), "ip": "t%d" % k, "order": "", "note": str(i)}) + + +ths = [threading.Thread(target=spam, args=(k,)) for k in range(8)] +[t.start() for t in ths] +[t.join() for t in ths] +check("并发:8 个线程同时记呼叫,400 条一条不丢", len(st5.calls()) == 400, "%d 条" % len(st5.calls())) +writer = r""" +import sys; sys.path.insert(0, %r) +import store +s = store.Store(%r) +for i in range(300): + s.code_put("YS-P%%s-%%04d-AAAA" %% (sys.argv[1], i), {"state": "active", "batch": "proc" + sys.argv[1]}) +""" % (SRC, R5) +ps = [subprocess.Popen([sys.executable, "-c", writer, x]) for x in ("A", "B")] +[p.wait(timeout=120) for p in ps] +check("并发:两个进程同时各写 300 张码,600 张一张不少", len(st5.codes_all()) == 600, "%d 张" % len(st5.codes_all())) + +# ================================================================== 11. 规模 +R6 = tempfile.mkdtemp(prefix="ys-db-scale-") +make_legacy(R6, n_codes=5000, n_orders=2000) +t0 = time.time() +st6 = store.Store(R6) +t_imp = time.time() - t0 +t0 = time.time() +for _ in range(20): + w = st6.orders(("waiting",)) +t_q = (time.time() - t0) / 20 +t0 = time.time() +for _ in range(20): + old = [] + od = os.path.join(R6, "orders") + for oid in sorted(os.listdir(od)): + m = json.load(open(os.path.join(od, oid, "meta.json"), encoding="utf-8")) + if m.get("state") == "waiting": + old.append(m) +t_old = (time.time() - t0) / 20 +check("规模:5000 张码 + 2000 单首次导入 < 10 秒", t_imp < 10, "%.2f 秒" % t_imp) +check("规模:按状态列队列比旧版(一单一单读文件)快", t_q < t_old and len(w) == len(old), + "数据库 %.1f ms / 旧版 %.1f ms(%d 单在排队)" % (t_q * 1000, t_old * 1000, len(w))) + +# ================================================================== 汇总 +for d in (R1, R2, EXP, R4, R5, R6): + shutil.rmtree(d, ignore_errors=True) +bad = [n for n, ok, _ in RESULTS if not ok] +print("\n%d 条,失败 %d 条" % (len(RESULTS), len(bad))) +for n in bad: + print(" ✗ " + n) +sys.exit(1 if bad else 0) diff --git a/backend/backend-site/交接说明.md b/backend/backend-site/交接说明.md index fa84e00..e686021 100644 --- a/backend/backend-site/交接说明.md +++ b/backend/backend-site/交接说明.md @@ -36,7 +36,7 @@ | 进程 | 单进程,由 systemd 托管;内存上限被 cgroup 卡住(小机器上防它吃爆) | | 监听 | **只绑回环**,公网由 nginx 反代过去(后端自己不对外开端口) | | 账号 | 跑在专用非 root 用户下 | -| 数据 | 全在本地文件 + 一个 SQLite(无外部服务) | +| 数据 | **SQLite**(`/ys.db`,标准库自带 `sqlite3`,无外部服务)+ 皮肤 / 成品图片文件。2026-10-05 接入,见第五节 | | 规模 | 单机单进程,日单量个位数到几十 | **为什么不用框架**:这台机器很小(1G 多内存),装一个 Web 框架 + 一堆传递依赖不划算, @@ -51,8 +51,11 @@ | `server.py` | ~3100 | **全部服务端逻辑**:路由、订单状态机、卡密生命周期、限流、PNG 结构核验的调用方、爱发电回调、打包下载、小票生成 | | `admin.py` | ~540 | 命令行管理工具:发卡密 / 看队列 / 重渲 / 清过期 / 审计被拦记录 | | `pngcheck.py` | ~130 | PNG **结构**核验(不解码像素):防「夹带私货」——尾部塞字节、未知关键块、APNG | +| `store.py` | ~400 | **数据层**(2026-10-05 新增):SQLite 建库 / 第一次启动自动导入旧 JSON / 存取 / 导出回旧格式 / 体检 / 热备份 | +| `tests/回执复现测试.py` | ~280 | 回归 + 漏洞复现(27 条,HTTP 层打接口) | +| `tests/数据库测试.py` | ~290 | 数据库专项(37 条:全新安装、迁移、回退、事务、并发、规模),数据全是现编的 | -> 这三个文件是**自足**的:没有 import 本项目之外的模块。 +> 这几个文件是**自足**的:没有 import 本项目之外的模块。**部署时 `store.py` 必须和 `server.py` 放在同一个目录**(`server.py` 直接 `import store`)。 --- @@ -81,6 +84,15 @@ | POST | `/api/hb` `/api/claim` `/api/skin/<单号>` `/api/progress` `/api/finish` `/api/fail` | **渲染机** | 都要请求头里的 worker token | | GET/POST | `/api/admin/*` | **本机后台面板** | 头里带 admin token **且**来源 IP 必须是家里出口 IP | +**2026-10-05 管理接口新增四个**(都在上面那两道门后面;**老接口的路径和字段一个没动**): + +| 方法 | 路径 | 干什么 | +|---|---|---| +| GET | `/api/admin/calls?limit=` | 「呼叫店主」/ 反馈 / 部分失败 记录,新的在前;`open` = 还没处理的条数 | +| POST | `/api/admin/call-done` | `{id, undo?}` 把一条呼叫标成「处理过了」(只加 `handled` 字段,不碰 `notified`) | +| POST | `/api/admin/retry` | `{oid}` 渲染失败的单退回队列(等于 `admin.py retry`,只收 `failed` 状态的单) | +| GET | `/api/admin/codes?q=` | 原有接口**加了一个可选参数** `q`:按卡密 / 订单号 / 批次 / 平台模糊搜;不传和以前一样 | + ### 支付回调的处理顺序(这段是重点,欢迎挑刺) ``` @@ -96,18 +108,96 @@ --- -## 五、数据形状(都是文件/JSON,没有数据库表) +## 五、数据(2026-10-05 起:SQLite) + +> ⚠️ **数据格式变了,按第八节的规矩单独标出来**:卡密 / 订单信息 / 爱发电账本 / 呼叫记录 / 几块小状态 +> 从 JSON 文件挪进了 `/ys.db`。**接口路径、请求 / 响应字段都没变**,渲染机那份代码**不用动**。 + +### 5.1 装上就能用 + +1. 把 `store.py` 放到 `server.py` 旁边,照常重启服务。**什么都不用配、不用装**(`sqlite3` 是 Python 自带的)。 +2. 第一次启动时自动:建库 → 如果 `` 里有旧的 `codes.json` / `orders/*/meta.json` / 账本等,**一次性导进来**。 + - 导入是一个事务:中途出错就整体回滚,下次启动再试。 + - **旧文件原样留着,一个字节都不改**(测试里逐字节比对过)。 + - 只导一次:库里记了「导过了」,以后重启不会重复导。 +3. 自检:`python3 admin.py db check`,看到「完整性:ok」和每张表的行数就对了。 + +⚠️ 跑 `admin.py` 的账号要对 `` **目录**有写权限(不只是对 `ys.db`):SQLite 的 WAL 模式会在旁边建 `ys.db-wal` / `ys.db-shm` 两个文件。 +以前 `admin.py` 就要写 `codes.json`、`.lock`,权限照以前那样给就行。 + +### 5.2 库里有什么 + +| 表 | 原来在哪 | 一行是什么 | 能按什么查(有索引) | +|---|---|---|---| +| `codes` | `codes.json` | 一张卡密 | 状态、订单号、批次、平台、福利券批次 | +| `orders` | `orders/<单号>/meta.json` | 一单的信息 | 状态(只算没清理的单) | +| `pay_orders` | `payplatform-orders.json` | 一笔爱发电成交(按平台单号幂等) | 平台单号 | +| `calls` | `calls.jsonl` | 一条呼叫 / 反馈 / 部分失败 | 来源 IP + 时间(限频用) | +| `kv` | `gifts.json` / `heartbeat.json` / `home_ips.json` / `tpl_times.json` | 一块小状态 | 键名 | + +每张表都是「几个能查的列 + 一列 `data`(整条记录的 JSON)」。上层代码拿到的**还是原来那个 dict**,加字段不用改表。 + +**还是文件、没进库的**:皮肤和成品图片(`orders/<单号>/` 目录还在)、`feedback/` 里的反馈图、 +两把令牌、人手改的配置(`payplatform.json`、`payplatform-map.json`、`prices.json`、`payinfo.json`)、各种 `.log`。 + +**`calls.jsonl` 还会继续追加**:库是正本,但「呼叫店主」的手机通知是盯这个文件的(那段不在这份代码里),所以每条记录**同时**照旧写一行进去,通知不会断。 + +**清理过期订单**(`admin.py sweep`):文件照旧删掉;库里那一行**留着做账**,但之后对外当它不存在(`read_meta` 返回空),单号也不会再被发出去。 + +### 5.3 为什么换、换了有什么用 + +上一轮回执里修的竞态(一码两单、CLI 和服务器互相覆盖、账本丢记录、半截 JSON),根子都是「拿 JSON 文件当数据库」。换成 SQLite 之后: + +| | 以前(JSON 文件) | 现在(SQLite) | +|---|---|---| +| 断电 / 进程被杀 | 可能留下半截或 0 字节的 `codes.json`(后来加了 fsync 才堵上) | 事务要么全写进去、要么全没写 | +| 改一张码 | 整个 `codes.json` 重写一遍 | 一个事务里只改有变化的那几行 | +| 列出排队的单 | 把每一单的 `meta.json` 都读一遍 | 走索引:2000 单时 **38 ms,以前 1238 ms**(测试第 11 节实测) | +| 两个进程同时写 | 靠 `.lock` 文件锁 | `.lock` 照旧保留,库本身再兜一层(WAL + 等锁 30 秒,不会报 locked) | +| 查账 / 统计 | 只能自己写脚本扫文件 | 直接 SQL;`admin.py db check` 按状态出数 | +| 备份 | 拷整个目录(拷的时候可能有半截写入) | `admin.py db backup` 在线热备份,服务不用停 | + +代价:多一个 `store.py`;库文件不能直接用记事本改(要改用 `sqlite3` 命令行,或者先导出成 JSON 改完再导回)。 + +### 5.4 运维命令 + +| 命令 | 干什么 | +|---|---| +| `python3 admin.py db check` | 完整性检查 + 每张表几行 + 订单 / 卡密按状态的数 + 当初导入了多少 | +| `python3 admin.py db backup` | 在线热备份到 `/backup/ys-<时间>.db`(600 权限) | +| `python3 admin.py db export [目录]` | 把库导回**旧版 JSON 格式**;不写目录 = 写回 ``(会覆盖那几个旧文件) | +| `python3 store.py check / backup / export` | 同上(不用 `admin.py` 也能跑,要先设 `YS_ROOT`) | + +### 5.5 回退到旧版 + +1. 停服务 → `python3 admin.py db export`(把库里的最新数据写回 `codes.json` / `meta.json` / 账本 …) +2. 换回旧版 `server.py` / `admin.py` → 启动。旧版只认 JSON 文件,`ys.db` 放着不碰也没关系。 +3. 以后要再切回来:先删掉(或挪走)`ys.db`,新版启动时会从 JSON 重新导入。 + +测试第 7 节验证过:导出 → 再导入,卡密 / 订单 / 账本 / 呼叫 / 小状态**一模一样**。 + +### 5.6 测试 + +``` +python3 tests/数据库测试.py # 37 条:数据库专项 +python3 tests/回执复现测试.py # 27 条:回归 + 漏洞复现(现在跑在数据库上) +``` + +- 数据全是测试脚本**现编的**(假卡密、假订单、假呼叫,包括一行写坏的 `calls.jsonl`),建在系统临时目录,不碰 ``。 +- 交付副本里三个 URL 格式串被脱敏弄坏了(`http`),要起服务器的那几节跑之前先换成能格式化的占位;线上原版直接跑。 +- 2026-10-05 结果:**64 条全过**。另外用假数据把服务器 + 后台面板 + 浏览器整条链路点了一遍(见 `backend-tools/交接说明.md`)。 + +### 5.7 文件 / 目录(库以外的) | 路径 | 内容 | |---|---| -| `/codes.json` | 卡密池:`{码: {state, platform, tpl, n_fix, n_free, n_max, lock_tpl, oid, order, batch}}` | -| `/orders/<单号>/meta.json` | 订单:状态、皮肤数组、模板、金额、时间、条款留证、进度 | +| `/ys.db`(+ `-wal` / `-shm`) | 上面那个库(640 权限) | | `/orders/<单号>/skins/` | 买家皮肤原图(落盘前已过 PNG 结构核验并剥掉元数据块) | | `/orders/<单号>/out/` | 成品(标准压缩 + 无压缩 两个版本/张) | | `/worker_token`、`admin_token` | 两把**互不通用**的令牌(文件权限 600) | -| `/home_ips.json` | 渲染机心跳认出来的「家里的出口 IP」 | -| `/calls.jsonl` | 「呼叫店主」记录 | +| `/calls.jsonl` | 呼叫记录的**副本**(给手机通知读,正本在库里) | | `/upload.log` 等 | 审计留痕 | +| `/codes.json`、`orders/*/meta.json` … | **旧数据**:导入之后就不再读写,留着当回退的底 | ### 卡密生命周期(**激活 ≠ 核销**,这是刻意分开的) diff --git a/backend/backend-site/回执-Claude.md b/backend/backend-site/回执-Claude.md index 8ab0a98..ae0a1db 100644 --- a/backend/backend-site/回执-Claude.md +++ b/backend/backend-site/回执-Claude.md @@ -331,3 +331,48 @@ Windows 那边:用 NSSM / WinSW 把渲染机装成**服务**,「重启」的 --- *以上改动都还只在工作区,等你们(和 ywsabc2)看过再决定要不要合。* + +--- + +# 第二轮(2026-10-05 晚)· 接入数据库 + 管理接口补齐 + +> 上一轮第 2 节「中期:换 SQLite」这次做了。你们没给真实数据,所以测试全用现编的假数据; +> 设计目标是**换上就能用**:放好 `store.py` 重启即可,第一次启动自动建库并导入旧 JSON。 +> 怎么装、怎么回退、怎么测,都写进了 `交接说明.md` 第五节。 + +### 改动 14 · 数据层换成 SQLite + +``` +文件 / 函数:新增 store.py;server.py 的 load_codes / save_codes(新)/ read_meta / write_meta / list_orders / + drop_order(新)/ purge_order(新)/ add_call(新)/ note_tpl_time / tpl_eta_sec / gift_batches / + heartbeat / hb / call / feedback / finish_upload 里写呼叫的地方 / 爱发电账本读写; + admin.py 的 calls / sweep,新增 db 子命令 +为什么改:上一轮修的竞态根子都是「拿 JSON 文件当数据库」;锁补上了,但断电半截、整文件重写、 + 列队列要读遍所有 meta.json 这些还在 +改成什么:卡密 / 订单信息 / 爱发电账本 / 呼叫记录 / 小块状态进 /ys.db; + 上层还是拿到原来的 dict,路由逻辑一行没动,原来的 LOCK 也照旧保留 +⚠️ 有没有动接口路径 / 请求响应字段 / 数据格式: + 接口路径、请求 / 响应字段:没动。 + 数据格式:**动了**(存储从 JSON 文件换成 SQLite)。第一次启动自动导入、旧文件不动, + `admin.py db export` 能原样导回旧格式。calls.jsonl 照旧追加(手机通知要读)。渲染机不用动。 +你怎么验证的:tests/数据库测试.py 37 条(全新安装 / 迁移 / 重启不重导 / 只改变化的行 / 清理 / 回滚 / + 导出再导入一致 / 热备份 / 服务器跑在迁移来的数据上 / 8 线程 + 2 进程并发 / 5000 码 2000 单规模); + tests/回执复现测试.py 27 条照旧全过(现在跑在库上) +``` + +### 改动 15 · 管理接口补四个(给新面板用) + +``` +文件 / 函数:server.py 的 admin_calls / admin_call_done / admin_retry(新);admin_codes 加可选参数 q +为什么改:面板上「渲染失败」只能写「喊苏达用 admin.py retry」;呼叫记录只能 ssh 上去看 +改成什么:GET /api/admin/calls、POST /api/admin/call-done、POST /api/admin/retry(只收 failed 的单)、 + GET /api/admin/codes?q=(不传 q 和以前一样) +⚠️ 有没有动接口:**新增**四个,老的路径 / 字段没改;都在原来的两道门(令牌 + 家里 IP)后面 +你怎么验证的:假数据起真服务器 + 真面板逐个打:退回重渲成功、对非 failed 单拒绝; + 不带令牌直接打 → 403;面板不带 PIN → 401 +``` + +### 这轮没验证的 + +- 没在你们的真机器(1.6G 内存 + systemd MemoryMax)上跑过;库很小(几千行级别),按测试的内存占用不会有压力,但请部署后跑一次 `admin.py db check`。 +- `admin.py` 用别的账号跑时的目录权限(WAL 要在 `` 里建两个小文件),见交接说明 5.1。 diff --git a/backend/backend-tools/ys_admin.py b/backend/backend-tools/ys_admin.py index 1337ec5..79312a2 100644 --- a/backend/backend-tools/ys_admin.py +++ b/backend/backend-tools/ys_admin.py @@ -169,749 +169,726 @@ PAGE = r""" 金钻工坊 · 开单后台 +
+

开单后台已锁定

输入 PIN 解锁(12 小时内不用重复输)

- - -
+ + +
-

金钻工坊 · 开单后台

-
这块面板跑在家里电脑上,只在家里局域网能开 —— 不上公网。 -
-
正在连服务器…
+
+
金钻工坊 · 开单后台只在家里局域网能开,不上公网
+
正在连服务器…
+
+ + + +
+
- -
- - -
-
+
+ -
-

① 生成卡密

- -
- - - - -
- -
- -
- - - -
-
- N = - - -
- -
- - -
- -
- - 同一套设置一次生成多张(每张一模一样) -
- -
- - -
-
- - -
-
- +
+ +
+

待处理

收到钱的单点「激活」就开渲;渲挂了的点「退回重渲」;买家呼叫看完点「处理过了」。

+
+

等你处理

加载中…
+

正在渲 / 排队中 不用动,渲完买家自己来拿

加载中…
+
+ + +
+

订单记录

谁下的、渲了几张、现在什么状态。点单号可以复制。

+
+
+
+ +
+
加载中…
+
+
+ + +
+

卡密

生成新卡密,或者在卡密库里查 / 停用 / 改张数。核销 = 成品开放下载满 72 小时;提交订单只是激活。

+
+
+

生成卡密

+
+
+
+
+
N =
+
+
+
+
+
+
+
+
+
+ +
+
+

卡密库

+
+ +
加载中…
+
+
+
+ + +
+

福利券(免费码 · 买家自取)

每台设备 + 每个网络各限领 1 张(服务器硬规则);领到后 7 天内要用掉。收摊后已领走的照常能用。

+
+
+

开一批

+
+
+
+
+
N =
+
+
+
+
+
+
+
+
+
+
+
+

已开的批次

+
加载中…
+
+
+
+ + +
+

呼叫 · 反馈

买家点「呼叫金钻」、写的反馈、渲染机报的「部分失败」都在这。看完点「处理过了」。

+
+
+
加载中…
+
+
+ + +
+

开单工具

本机的开单工具(localhost:8082):拖皮肤进去、勾模板、点开始就出图,不联网、不要卡密。

+ +
+
-
-

② 待激活订单(收完款点一下就开渲)

-
加载中…
-
- -
-

③ 最近的卡密

-
- - - - -
-
- 核销 = 成品「开放下载」之后满 72 小时 —— 提交订单只是激活,不是核销。 -
-
加载中…
-
- -
-

④ 免费码(福利券 · 买家自取)

-
- 开一批「不用付钱」的券放到福利页让人自己领。规则固定、不可调: - 每台设备 + 每个网络各限领 1 张(防刷);领到后 7 天内要用掉, - 过期作废。收摊后已领走的不受影响。 -
- - - -
- - 先到先得,领完福利页上就变灰 -
- -
- - -
-
- N = - - 买家可以只出 1 张,也可以几张皮肤凑够 N 张 -
- -
- -
- - -
- -
- - - - -
- -
- - 到日子自动收摊(已领到的不受影响);填 0 = 一直开着 -
- - - -
- - -
-
- - -
-
-
加载中…
-
- -
-

⑤ 订单记录(谁下的 · 渲了几张 · 什么状态)

-
-
加载中…
-
- -
- - - -
+
""" @@ -982,6 +959,10 @@ class H(BaseHTTPRequestHandler): # 免费码(福利券):批次 + 领取情况(转服务器 /order/api/admin/gifts) ok, r = call("/admin/gifts") return self.js(r if ok else {"ok": False, "error": r}) + if p in ("/api/codes", "/api/calls"): + # 卡密搜索(state / q / limit)、呼叫与反馈记录(limit):查询串原样转给服务器 + ok, r = call("/admin/" + p[5:] + ("?" + q if q else "")) + return self.js(r if ok else {"ok": False, "error": r}) return self.js({"ok": False, "error": "not found"}, 404) def do_POST(self): @@ -1034,6 +1015,12 @@ class H(BaseHTTPRequestHandler): ok, r = call("/admin/void", {"oid": d.get("oid")}) log("注销 %s → %s" % (d.get("oid"), r)) return self.js(r if ok else {"ok": False, "error": r}) + # 2026-10-05 面板重写时补上的:服务器早就有、面板上一直没按钮的几件事 + if p in ("/api/retry", "/api/note", "/api/code-edit", "/api/call-done"): + d = self.body() + ok, r = call("/admin/" + p[5:], d) + log("%s %s → %s" % (p[5:], d.get("oid") or d.get("code") or d.get("id"), r if not ok else "ok")) + return self.js(r if ok else {"ok": False, "error": r}) if p == "/api/savecsv": d = self.body() try: diff --git a/backend/backend-tools/交接说明.md b/backend/backend-tools/交接说明.md index bedb0e2..a67eea0 100644 --- a/backend/backend-tools/交接说明.md +++ b/backend/backend-tools/交接说明.md @@ -17,7 +17,7 @@ ``` \ ├─ ys_worker.py 渲染机主程序(开机自启的计划任务;轮询领单 → 调 Blender → 回传) - ├─ ys_admin.py 开单后台(局域网面板:发卡密 / 激活订单 / 免费码),自带 PIN 锁 + ├─ ys_admin.py 开单后台(局域网面板:待处理 / 订单 / 卡密 / 福利券 / 呼叫·反馈),自带 PIN 锁 ├─ ys_local.py 纯本机开单工具(不联网、不上传、不要卡密;拖皮肤→勾模板→出图) ├─ local.html 本机开单工具的页面(ys_local.py 内嵌服务它) ├─ make_order.py Blender 出图脚本(渲染机调用它;改模板/分辨率/臂型都在这) @@ -51,9 +51,27 @@ ``` ### ② 开单后台(`ys_admin.py`,局域网) -四块:① 生成卡密 ② 待激活订单(一键激活进队列)③ 最近卡密 ④ 免费码(福利券)批次管理。 -**自带 PIN 锁**:首次打开自己设 4~12 位数字,存**加盐 sha256**(不是明文),12 小时免输; -校验在服务端,直接打接口也会 401。 +**2026-10-05 页面重写**:样子跟 2026 版网站统一(白光 + 毛玻璃卡片 + MC 方块按钮),按「要干的事」分页: + +| 页 | 干什么 | 新增 / 变化 | +|---|---|---| +| **待处理**(默认打开) | 渲染机在不在、队列、待激活、卡密数一眼看完;下面是**要你动手的**:买家说付好了的单(排最前)、渲染失败的单、没处理的呼叫 | 失败的单有「退回重渲」按钮(以前只能写「喊苏达用 admin.py」);呼叫直接在这里看、点「处理过了」 | +| 订单 | 全部订单,按状态筛 + **搜索**(单号 / 卡密 / 模板 / 备注) | 每单能**写备注**(服务器早有接口,以前面板上没按钮) | +| 卡密 | 左:生成(设置下面实时出一句「会生成什么」);右:卡密库,按状态筛 + **搜索**(码 / 订单号 / 批次 / 平台) | 能**停用 / 启用**、**改张数**(服务器早有 `code-edit`,以前面板上没按钮) | +| 福利券 | 左:开一批;右:已开的批次(复制券码 / 补货 / 收摊 / 领取情况) | 只改了排版 | +| 呼叫·反馈 | 买家「呼叫金钻」、反馈、渲染机报的「部分失败」 | **新页**:以前只能 ssh 上去 `admin.py calls` 看 | +| 开单工具 | 本机开单工具(iframe,第一次点开才加载) | 不变 | + +- 手机上导航放到底部;电脑上在左边。顶栏的状态、导航上的角标每 30 秒自动刷新(页面藏在后台时不刷)。 +- **自带 PIN 锁**:首次打开自己设 4~12 位数字,存**加盐 sha256**(不是明文),12 小时免输;校验在服务端,直接打接口也会 401。 +- 面板新增的本机接口(都要 PIN,都是原样转给服务器 `/api/admin/*`): + `GET /api/codes`、`GET /api/calls`、`POST /api/retry`、`POST /api/note`、`POST /api/code-edit`、`POST /api/call-done`。 + 老接口(`/api/state`、`/api/gen`、`/api/activate`、`/api/void`、`/api/orders`、`/api/gifts`、`/api/gift/*`、`/api/savecsv`、PIN 那三个)**一个没动**。 +- ⚠️ 用到了服务器这次新加的管理接口(`calls` / `call-done` / `retry` / `codes?q=`),所以**服务器要先升级**; + 面板先升、服务器没升的话,这几个按钮会提示「服务器回 404」,别的照常能用。 +- 怎么验证的:用现编的假数据(10 单覆盖全部状态、30 多张卡密、3 条呼叫、1 批福利券)起一份真服务器 + 真面板, + 浏览器里(电脑 1366 宽 + 手机 390 宽)把每一页点了一遍:生成卡密、搜订单、激活、退回重渲、停用卡密、标呼叫已处理都走通, + 没有报错、没有横向滚动;不带 PIN 打面板接口 → 401,不带令牌直接打服务器管理接口 → 403。 ### ③ 纯本机开单(`ys_local.py` + `local.html`,只监听回环) 给**平台单**(聊天里成交的买家)用:拖皮肤 → 同一套质检 → 勾模板 → 本机 Blender 出图 → 下载。 diff --git a/backend/backend-tools/回执-Claude.md b/backend/backend-tools/回执-Claude.md index c6d3ae1..70dbb5a 100644 --- a/backend/backend-tools/回执-Claude.md +++ b/backend/backend-tools/回执-Claude.md @@ -83,3 +83,21 @@ ys_admin.py 的「令牌 + PIN + 自定义请求头」做法本身是对的: --- *以上改动都还只在工作区,等你们(和 ywsabc2)看过再决定要不要合。* + +--- + +# 第二轮(2026-10-05 晚)· 开单后台页面重写 + +### 改动 4 · ys_admin.py 页面按功能重排 + 补按钮 + +``` +文件 / 函数:ys_admin.py 的 PAGE(整页 HTML / CSS / JS 重写);do_GET / do_POST 加了 6 个转发 +为什么改:老页面一长条五张卡,要处理的事(待激活、失败、呼叫)跟生成表单混在一起; + 服务器早有的「写备注」「改卡密 / 停用」在面板上没有按钮;失败的单和呼叫记录在面板上处理不了 +改成什么:待处理(默认)/ 订单 / 卡密 / 福利券 / 呼叫·反馈 / 开单工具 六页;样子跟 2026 版网站一致; + 订单、卡密能搜;失败的单能退回重渲;呼叫能标「处理过了」;卡密能停用 / 启用 / 改张数 +⚠️ 有没有动接口:面板本机接口**新增** /api/codes /api/calls /api/retry /api/note /api/code-edit /api/call-done, + 老接口和 PIN 锁逻辑一个没动;新按钮用到服务器这次新加的管理接口,**服务器要先升级** +你怎么验证的:现编假数据起真服务器 + 真面板,headless 浏览器在电脑宽 / 手机宽各点一遍全部页面和主要操作, + 无报错、无横向滚动(详见 交接说明.md 第三节 ②) +``` diff --git a/backend/交付清单.md b/backend/交付清单.md index 81f3d5c..6a9c327 100644 --- a/backend/交付清单.md +++ b/backend/交付清单.md @@ -1,14 +1,18 @@ # 交付清单(自查用) -> 生成:2026-10-05 18:55 共 31 个文件 合计 44.7 MB +> 生成:2026-10-05 16:20 共 36 个文件 合计 44.8 MB(2026-10-05 第二轮:加了数据库 store.py、两份测试、回执;后台面板重写) | 文件 | 字节 | SHA-256 | |---|---|---| -| `README.md` | 8,498 | `15ccb27558e0612ff1a9fc7822f7a0ec8da298753617b317cbf057a4902ddbb5` | -| `backend-site/admin.py` | 24,214 | `3b9818c063e4c7297d3052cad4ff2a88941b4d07b85e2e5eaf495eed35d3f484` | +| `README.md` | 8,543 | `ea8e0339caf30b69754f1c6ff28027c9615c43072c596406bc791b5801285eb3` | +| `backend-site/admin.py` | 26,020 | `d7f86dcf0b07962ceb55a7714b43c876628118d19159dc3a9215535db1bc47f7` | | `backend-site/pngcheck.py` | 4,945 | `ccec7ab21b0399da651029ffa5781bad498e0905b31a1102f6ba3e3f01e8594d` | -| `backend-site/server.py` | 160,560 | `9470b057f9eaf1927d06917ac5909fb0e733a4b44a04c039b82bbd907b9f2a62` | -| `backend-site/交接说明.md` | 14,711 | `6b98b87c0f061760ec73e78036cf563b1c27fc8dead2324685b7218b61c9be72` | +| `backend-site/server.py` | 181,030 | `24f052fdab2fbc5eba345cc305810b33c05b44d01b7e749cd8804d28473f401e` | +| `backend-site/store.py` | 18,948 | `283029b92e0bba8934c7075a4f3467784d7fde46104bd098eda23742f99a0158` | +| `backend-site/tests/回执复现测试.py` | 15,355 | `4529f6076abdfce89bf4406c7fbd0789482deaa595383749580bdc3e08ddc327` | +| `backend-site/tests/数据库测试.py` | 15,416 | `b9f420a353927da9e5c1bfaa9a130e5d50cae28dffd42712d9f9c42d2816f5f8` | +| `backend-site/交接说明.md` | 21,795 | `80911c91d0623497c057de8374d41337ff75f4a937571b57486a7d2a319e9c70` | +| `backend-site/回执-Claude.md` | 37,110 | `2f7fc60f48e99e7f07affcac16fe3d0ce2e8660738fbf954b89f2c00e638262f` | | `backend-tools/chk_worker.ps1` | 486 | `939a42cafa0954347f28d69e75b8af407ed1dab870cc3956fa8b7c5eb55e372f` | | `backend-tools/deploy.py` | 5,694 | `bf2cf47e715a3663faba5f1125ca9dee57596fd59664e2898515985924a0cc8c` | | `backend-tools/install_worker.ps1` | 8,902 | `95c339f2a69359fd1c980fb649217bb18371d9ba0b06eadce049b58537c11c1e` | @@ -24,10 +28,11 @@ | `backend-tools/skincheck.js` | 13,011 | `dc9c65ac8b8551aaa42ca7399517bb1d6c28956c4c80997132f16862e1239b8d` | | `backend-tools/stop_admin.bat` | 281 | `9b38682234f2e07b58c478c939f4f1d58cefe9624b13d0af2656d5522fd5509d` | | `backend-tools/stop_worker.bat` | 332 | `f7c8ab10d1d03d7a75c2fcb3343bec0c6d52409ef5cc6dd68c0f9e342e0077b4` | -| `backend-tools/ys_admin.py` | 58,367 | `05878039c3728fc119c75ad76f216298d6c82e6cc19b79024090a89d8cc7fc84` | -| `backend-tools/ys_local.py` | 17,021 | `27948a19f45aa984e0f9ffc88b6cd85bbe127e8f4ceff272fd189a49524fec1f` | +| `backend-tools/ys_admin.py` | 74,901 | `69f7938cb7f4fb96ec16fecb2272b1d1b6688dafbc28a4d72dc7b1ea53853f35` | +| `backend-tools/ys_local.py` | 18,243 | `ea0b3208ec34ba4817b4513feb64d47eb7746cb5d1536191f295eb830107d15d` | | `backend-tools/ys_worker.py` | 30,465 | `ab6cdff13ce16ed15363c28cf016628b378a1ec255d2b8eeb62566cf38631eb9` | -| `backend-tools/交接说明.md` | 11,008 | `731c591b545c4332c3ad5336910a78e5dfb8b6541da6f33e8f4e70bb3b7dab48` | +| `backend-tools/交接说明.md` | 13,615 | `9f0fef12b20e974d0d8526d98d8225a86af33155c6694be783309b042b05674e` | +| `backend-tools/回执-Claude.md` | 10,836 | `9eddc5c67122d75090c869f2f81b64fd0b6cd1db8ee124283592b60d40ad0a81` | | `deploy/nginx-片段.md` | 4,145 | `183179dc694e1f2ac3a791f3c96aa6f7d292b1968276ae1af4d850e26fbf78d0` | | `他应该知道的.md` | 6,988 | `177f08cb455bf5cf4b299abda5b227ff530c1da634c69f81c8ca7498ccc00cbe` | | `回执模板.md` | 5,049 | `0e38a6c19dff7b55767b8998d294b0252aa6024053dad0c63956ddd58b56a07a` | @@ -36,4 +41,4 @@ | `模板/5不看爆炸.blend` | 11,849,599 | `3bb67516632e206c89fe44e2cf04667f5e34e1eab70e395c00830555e033e223` | | `模板/说明.md` | 2,775 | `491fa0587a9ff662a8e8893d0657eb412d87af8161de19abeba993e5a8ff4675` | -> 用途:对方收到后可以逐文件核哈希,确认传输没损坏 / 没被改动。 \ No newline at end of file +> 用途:对方收到后可以逐文件核哈希,确认传输没损坏 / 没被改动。