Files
lc-mcp/tests/test_audit_runs.py
T
Codex Agent 9432a0762b ⛔ 发现"换到的模块没保留" + 游戏改成优雅关闭 + 加跨轮倒退检查
06:03 那轮本身是成功的(模组 33 -> 35 (+2), 狂气前后一致, LastResult=0, 新的启动
重试逻辑第一次尝试 6 秒就起来)。但比对跨轮的模组数发现:

  18:10  合成前 31 -> 合成后 33
  22:05  合成前 33 -> 合成后 35     (扣掉 40 点体力)
  06:04  合成前 **33**              <- 22:05 那两个模块不见了

原因没查明。两个可能: (a) 关游戏用的 taskkill /F 太狠, 未保存的状态丢了;
(b) 有人手动用掉了。合成→关闭的间隔实测 26~34 秒, 每次都差不多, 所以不是"关得太快"。

能做的两件事都做了:

1) close_game 改成优雅关闭: 先 taskkill(不带 /F, 等于发关闭请求)等它自己退,
   最多 20 秒; 不退再强杀。强制结束本来就有丢未保存状态的风险, 换掉成本很低。

2) audit_runs.py 加跨轮检查: 这一轮读到的"合成前"如果小于上一轮成功合成的"合成后",
   就报"模组数倒退"。只比较**接连两轮都成功合成**的情况, 免得把"体力不足跳过"误判成倒退。
   实测立刻报出: "模组数倒退: 10-16 22:03 合成后是 35, 而 10-17 06:03 读到合成前只有 33"。
   这种事靠人肉比对每一轮迟早会漏, 必须让机器看得见。

⛔ 写这个检查时又踩了同一类坑两次: 第一版 load_reports 只挑了 5 个字段, 把 steps
丢掉了 -> 检查拿不到数据; 第二版又依赖调用方先算好 owned_before/after -> 单测直接
传原始报告时就静默跳过。现在解析移进函数内部, 自洽。这类"看着在查、实际查不到"
已经是第四次了, 每次都是同样的模式: 数据链路中间断了一节。

全套 351/351 通过。
2026-10-17 06:50:09 +08:00

203 lines
9.1 KiB
Python

# -*- coding: utf-8 -*-
"""audit_runs 的核对逻辑。
这个工具的职责是"把日志和报告对起来", 所以测试重点不是它能通过, 而是
**它能不能抓到问题** —— 一个什么都不报的体检工具等于没有。
⛔ 第一版就踩过这个坑: 它拿"报告.started + elapsed"去找日志结论行, 能对上就说明
elapsed 一致, 于是"耗时不符"那个分支永远不可能触发 —— 是死代码。现在改成按日志里
的"=== 开始: 体力换模块 ===" 配对, 时间关系和耗时才能各自独立核对。
"""
import json
import os
import shutil
import sys
import tempfile
import unittest
from datetime import datetime
from pathlib import Path
sys.path.insert(0, str(Path(__file__).resolve().parents[1] / 'scripts'))
import audit_runs as ar # noqa: E402
START = '=== 开始: 体力换模块 ==='
def start_line(t):
return '[%s] %s' % (t, START)
def conclusion(t, result, secs, ok='OK'):
return '[%s] === %s (%s), 耗时 %ds ===' % (t, result, ok, secs)
def report(start, secs, result, ok=True):
return json.dumps({'started': start, 'elapsed_s': secs, 'ok': ok,
'result': result, 'steps': []}, ensure_ascii=False)
class AuditTest(unittest.TestCase):
def setUp(self):
self.d = tempfile.mkdtemp()
def write_log(self, lines):
with open(os.path.join(self.d, 'convert.log'), 'w', encoding='utf-8') as f:
f.write('\n'.join(lines) + '\n')
def write_report(self, name, content):
with open(os.path.join(self.d, name), 'w', encoding='utf-8') as f:
f.write(content)
def problems(self):
return ar.audit(self.d)['problems']
# ---------------------------------------------------------- 正常情况
def test_matching_run_is_clean(self):
self.write_log([start_line('2026-01-01 10:00:00'),
conclusion('2026-01-01 10:00:30', '合成完成: 模组 1 -> 2 (+1)', 30)])
self.write_report('convert_20260101_100000.json',
report('2026-01-01 10:00:00', 30, '合成完成: 模组 1 -> 2 (+1)'))
self.assertEqual(self.problems(), [])
def test_empty_dir_is_clean(self):
self.assertEqual(self.problems(), [])
# ---------------------------------------------------------- 抓问题
def test_report_without_run_is_flagged(self):
self.write_report('convert_20260101_110000.json',
report('2026-01-01 11:00:00', 40, '体力不足(3<20), 本轮无需合成'))
self.assertTrue(any('找不到对应的开始行' in p for p in self.problems()))
def test_run_without_report_is_flagged(self):
self.write_log([start_line('2026-01-01 12:00:00'),
conclusion('2026-01-01 12:00:10', '跑了但没留报告', 10)])
self.assertTrue(any('没有对应报告' in p for p in self.problems()))
def test_elapsed_mismatch_is_flagged(self):
"""日志说耗时 30s, 报告说 99s —— 必须能发现。
老版本这里永远查不出来(死代码), 所以这条用例是专门守它的。
"""
self.write_log([start_line('2026-01-01 10:00:00'),
conclusion('2026-01-01 10:00:30', '合成完成', 30)])
self.write_report('convert_20260101_100000.json',
report('2026-01-01 10:00:00', 99, '合成完成'))
got = self.problems()
self.assertTrue(any('耗时不符' in p for p in got), got)
def test_end_time_mismatch_is_flagged(self):
# 开始和耗时都对得上, 但结论时刻对不上 -> 时间关系有问题
self.write_log([start_line('2026-01-01 10:00:00'),
conclusion('2026-01-01 10:05:00', '合成完成', 30)])
self.write_report('convert_20260101_100000.json',
report('2026-01-01 10:00:00', 30, '合成完成'))
self.assertTrue(any('时间对不上' in p for p in self.problems()))
def test_result_text_mismatch_is_flagged(self):
self.write_log([start_line('2026-01-01 10:00:00'),
conclusion('2026-01-01 10:00:30', '合成完成: 模组 1 -> 2 (+1)', 30)])
self.write_report('convert_20260101_100000.json',
report('2026-01-01 10:00:00', 30, '合成完成: 模组 5 -> 9 (+4)'))
self.assertTrue(any('结果文本不符' in p for p in self.problems()))
def test_same_second_cluster_is_flagged(self):
"""同一秒多行结论 = 测试批量产生的典型特征。"""
self.write_log([conclusion('2026-01-01 12:00:00', '第一条', 0),
conclusion('2026-01-01 12:00:00', '第二条', 0)])
self.assertTrue(any('同一秒' in p for p in self.problems()))
def test_impossible_content_is_flagged(self):
self.write_log([start_line('2026-01-01 12:00:00'),
conclusion('2026-01-01 12:00:05', '看门狗执行失败: powershell not found', 5)])
self.assertTrue(any('可疑内容' in p for p in self.problems()))
# ---------------------------------------------------------- 解析
def test_parse_pairs_start_with_conclusion(self):
self.write_log([
'[2026-01-01 09:00:00] === 开始: 体力换模块 ===',
'[2026-01-01 09:00:05] 游戏已在运行',
conclusion('2026-01-01 09:01:00', '合成完成', 60),
])
runs = ar.parse_runs(os.path.join(self.d, 'convert.log'))
self.assertEqual(len(runs), 1)
self.assertEqual(runs[0]['secs'], 60)
self.assertEqual(runs[0]['start'].strftime('%H:%M:%S'), '09:00:00')
def test_parse_handles_missing_file(self):
self.assertEqual(ar.parse_runs(os.path.join(self.d, 'nope.log')), [])
def test_conclusion_without_start_line_still_listed(self):
# 没有开始行的结论不该被丢掉(要能报"没有对应报告")
self.write_log([conclusion('2026-01-01 12:00:00', '独苗', 10)])
runs = ar.parse_runs(os.path.join(self.d, 'convert.log'))
self.assertEqual(len(runs), 1)
self.assertIsNone(runs[0]['start'])
def test_skip_broken_report_json(self):
with open(os.path.join(self.d, 'convert_20260101_100000.json'), 'w', encoding='utf-8') as f:
f.write('{ 半截')
self.assertEqual(ar.load_reports(self.d), [])
class ModuleTrajectoryTest(unittest.TestCase):
"""跨轮检查模组数不该倒退。
⛔ 2026-10-17 实测: 22:05 合成后是 35, 06:04 那轮读到的合成前只有 33 ——
两个模块不见了, 而那时的 40 点体力是真扣了的。靠人肉比对每一轮的
"合成前/合成后"迟早会漏, 所以做成检查。
"""
def _rep(self, started, info, converted=True):
return {'start': datetime.strptime(started, '%Y-%m-%d %H:%M:%S'),
'steps': [{'step': '合成', 'ok': True, 'info': info}],
'converted': converted}
def test_normal_progress_is_clean(self):
reps = [self._rep('2026-01-01 10:00:00', '模组 29 -> 30 (+1)'),
self._rep('2026-01-01 14:00:00', '模组 30 -> 31 (+1)')]
self.assertEqual(ar.module_trajectory(reps), [])
def test_regression_is_reported(self):
reps = [self._rep('2026-10-16 22:03:42', '模组 33 -> 35 (+2)'),
self._rep('2026-10-17 06:03:42', '模组 33 -> 35 (+2)')]
got = ar.module_trajectory(reps)
self.assertEqual(len(got), 1)
self.assertIn('倒退', got[0])
self.assertIn('35', got[0])
self.assertIn('33', got[0])
def test_skipped_runs_do_not_count(self):
"""中间那些"体力不足没合成"的轮次不该被当成倒退链上的一环。"""
reps = [self._rep('2026-01-01 10:00:00', '模组 29 -> 30 (+1)'),
self._rep('2026-01-01 14:00:00', '', converted=False),
self._rep('2026-01-01 18:00:00', '模组 30 -> 31 (+1)')]
self.assertEqual(ar.module_trajectory(reps), [])
def test_missing_numbers_are_skipped(self):
reps = [self._rep('2026-01-01 10:00:00', '合成完成'),
self._rep('2026-01-01 14:00:00', '模组 30 -> 31 (+1)')]
self.assertEqual(ar.module_trajectory(reps), [])
def test_audit_includes_trajectory_problems(self):
"""端到端: 报告目录里的倒退要被 audit() 报出来。"""
d = tempfile.mkdtemp()
self.addCleanup(shutil.rmtree, d, True)
for name, started, secs, info in (
('convert_a.json', '2026-01-01 10:00:00', 30, '模组 29 -> 31 (+2)'),
('convert_b.json', '2026-01-01 14:00:00', 30, '模组 29 -> 31 (+2)')):
with open(os.path.join(d, name), 'w', encoding='utf-8') as f:
f.write(json.dumps({'started': started, 'elapsed_s': secs, 'ok': True,
'result': '合成完成', 'steps': [
{'step': '合成', 'ok': True, 'info': info}],
'converted': True}, ensure_ascii=False))
problems = ar.audit(d)['problems']
self.assertTrue(any('倒退' in p for p in problems), problems)
if __name__ == '__main__':
unittest.main()