值守: 狂气读数进报告 + 堵住测试往报告目录写假记录
一、狂气读数写进 JSON(原先只在 convert.log 文本里) 报告加 lunacy_before / lunacy_after / lunacy_checked 三个字段。 值守看的是报告, 而"前后读数是否一致"恰恰是最该一眼看到的一项。 modules_status.py 据此多了一栏: 一致显示 "N 前后一致", 没比对上明写 "未比对", 告警显示 "⚠️ A -> B"; 开头统计也加了"未比对 N 轮"。 二、⛔ 测试在往真实报告目录里写假记录(实测已产生 7 条) EnkephalinGateTest 调 cm.main() 时没指 --report-dir, 于是往 ~/lc_mcp/modules/convert_*.json 里写了一批 elapsed_s=0、内容为 "读不到体力读数"的记录。值守翻报告时会以为真出过这些事。 日志那边上次用 QuietLogMixin 堵住了, 报告这边漏了 —— 同一类问题的另一面。 修法: main() 调用一律带 --report-dir 指向临时目录; 再加一条 AST 检查 (NoRealReportPollutionTest), 以后谁再漏就红。 已清掉那 7 条假记录, 验证: 跑完测试报告数 6 -> 6 不变。 三、实跑汇总立刻见效: 现有 6 份报告全部显示"未比对" —— 因为它们都是 "LUNACY 被 OCR 读成 UNACY"那个 bug 修好之前跑的, 等于没校过。这正是 这一栏存在的意义: 把"看起来校过了"和"真的校过了"分开。 全套 282/282 通过。
This commit is contained in:
@@ -39,17 +39,33 @@ def summarize(rows):
|
|||||||
for r in rows:
|
for r in rows:
|
||||||
steps = r.get('steps') or []
|
steps = r.get('steps') or []
|
||||||
conv = steps[0] if steps else {}
|
conv = steps[0] if steps else {}
|
||||||
|
lb, la = r.get('lunacy_before'), r.get('lunacy_after')
|
||||||
|
checked = r.get('lunacy_checked')
|
||||||
|
if checked is None: # 老报告没这个字段
|
||||||
|
checked = lb is not None and la is not None
|
||||||
out.append({
|
out.append({
|
||||||
'started': r.get('started', '?'),
|
'started': r.get('started', '?'),
|
||||||
'ok': bool(r.get('ok')),
|
'ok': bool(r.get('ok')),
|
||||||
'result': r.get('result', ''),
|
'result': r.get('result', ''),
|
||||||
'elapsed_s': r.get('elapsed_s'),
|
'elapsed_s': r.get('elapsed_s'),
|
||||||
'info': conv.get('info', ''),
|
'info': conv.get('info', ''),
|
||||||
|
'lunacy_before': lb,
|
||||||
|
'lunacy_after': la,
|
||||||
|
'lunacy_checked': bool(checked),
|
||||||
'lunacy_alarm': '狂气读数发生变化' in (r.get('result') or ''),
|
'lunacy_alarm': '狂气读数发生变化' in (r.get('result') or ''),
|
||||||
})
|
})
|
||||||
return out
|
return out
|
||||||
|
|
||||||
|
|
||||||
|
def lunacy_cell(r):
|
||||||
|
"""狂气那格的显示。没比对上时明说, 不装作校过了。"""
|
||||||
|
if r['lunacy_alarm']:
|
||||||
|
return '⚠️ %s -> %s' % (r['lunacy_before'], r['lunacy_after'])
|
||||||
|
if not r['lunacy_checked']:
|
||||||
|
return '未比对'
|
||||||
|
return '%s 前后一致' % r['lunacy_after']
|
||||||
|
|
||||||
|
|
||||||
def fmt_secs(s):
|
def fmt_secs(s):
|
||||||
if s is None:
|
if s is None:
|
||||||
return '-'
|
return '-'
|
||||||
@@ -81,13 +97,17 @@ def main(argv=None):
|
|||||||
got = sum(1 for r in rows if '+1' in r['info'] or '模组' in r['info'] and '->' in r['info'])
|
got = sum(1 for r in rows if '+1' in r['info'] or '模组' in r['info'] and '->' in r['info'])
|
||||||
fails = [r for r in rows if not r['ok']]
|
fails = [r for r in rows if not r['ok']]
|
||||||
alarms = [r for r in rows if r['lunacy_alarm']]
|
alarms = [r for r in rows if r['lunacy_alarm']]
|
||||||
|
unchecked = [r for r in rows if not r['lunacy_checked']]
|
||||||
|
|
||||||
print('共 %d 轮: 换到模块 %d 轮, 失败 %d 轮, 狂气告警 %d 轮'
|
print('共 %d 轮: 换到模块 %d 轮, 失败 %d 轮, 狂气告警 %d 轮, 未比对 %d 轮'
|
||||||
% (len(rows), got, len(fails), len(alarms)))
|
% (len(rows), got, len(fails), len(alarms), len(unchecked)))
|
||||||
if alarms:
|
if alarms:
|
||||||
print('⚠️ 有狂气告警, 需要人工核查:')
|
print('⚠️ 有狂气告警, 需要人工核查:')
|
||||||
for r in alarms:
|
for r in alarms:
|
||||||
print(' %s %s' % (r['started'], r['result']))
|
print(' %s %s' % (r['started'], r['result']))
|
||||||
|
if unchecked and not alarms:
|
||||||
|
print(' 提示: 有 %d 轮没读到狂气(前后至少一次是 None), 那几轮等于没校过。'
|
||||||
|
% len(unchecked))
|
||||||
# 连着失败(最新几条都不是好结果)要醒目 —— 那说明流程坏了
|
# 连着失败(最新几条都不是好结果)要醒目 —— 那说明流程坏了
|
||||||
streak = 0
|
streak = 0
|
||||||
for r in rows:
|
for r in rows:
|
||||||
@@ -98,12 +118,12 @@ def main(argv=None):
|
|||||||
print('⚠️ 连续 %d 轮不成功, 可能是流程问题而不是资源不足' % streak)
|
print('⚠️ 连续 %d 轮不成功, 可能是流程问题而不是资源不足' % streak)
|
||||||
|
|
||||||
print()
|
print()
|
||||||
print('%-19s %-4s %-7s %s' % ('时间', 'OK', '耗时', '结果'))
|
print('%-19s %-4s %-7s %-18s %s' % ('时间', 'OK', '耗时', '狂气', '结果'))
|
||||||
print('-' * 100)
|
print('-' * 110)
|
||||||
for r in rows:
|
for r in rows:
|
||||||
print('%-19s %-4s %-7s %s'
|
print('%-19s %-4s %-7s %-18s %s'
|
||||||
% (r['started'], '✅' if r['ok'] else '❌', fmt_secs(r['elapsed_s']),
|
% (r['started'], '✅' if r['ok'] else '❌', fmt_secs(r['elapsed_s']),
|
||||||
(r['result'] or r['info'])[:70]))
|
lunacy_cell(r), (r['result'] or r['info'])[:56]))
|
||||||
return 0
|
return 0
|
||||||
|
|
||||||
|
|
||||||
|
|||||||
Reference in New Issue
Block a user