28 lines
2.2 KiB
Markdown
28 lines
2.2 KiB
Markdown
---
|
||
title: Checkpoint 2026-09-17 03:46:37 UTC [16147020e2]
|
||
type: checkpoint
|
||
permalink: main/projects/62afe036-4c36-42b0-89fd-e2231d3d6788/checkpoint-2026-09-17-03-46-37-utc-16147020e2
|
||
stable_id: 5e8e39d4-dccf-4052-8b9a-bbcd0fa22e58
|
||
scope: project
|
||
project_id: 62afe036-4c36-42b0-89fd-e2231d3d6788
|
||
memory_type: checkpoint
|
||
status: active
|
||
revision: 1
|
||
restored_from_commit: 6a6a895eafcca6052e81a14fca103a42635dd1c2
|
||
created_at: '2026-09-23T14:55:41.413035+00:00'
|
||
updated_at: '2026-09-23T14:55:41.413090+00:00'
|
||
tags:
|
||
- data-update
|
||
- metrics
|
||
- handoff
|
||
---
|
||
|
||
完成：把 2026-09-17 新导出的两个周指标 xlsx（2026-07-12 ~ 2026-09-13 共 10 周）合并进 SourceData/2.6G.xlsx 和 SourceData/700M.xlsx，列结构以旧文件为准，新文件的 gNBplmn/gNBId/cellId 由 masterOperatorId 拆出。合并后 2.6G 487321 行，700M 643294 行，共 38 个周（2025-12-28 ~ 2026-09-13）。原文件和两个新导出文件已移到 SourceData/Backup_20260917/（不在 main.py 的 glob 范围内）。已用 main.rebuild_metric_cache 重建 CacheData/metric_cache.sqlite 并验证新旧衔接处数值量级一致。合并脚本是 /tmp 临时脚本，未入库；main.py 未改动。同时用 uv + Python 3.13 重建了失效的 .venv。
|
||
|
||
数据质量问题（已告知用户）：
|
||
1. 2026-07-05 周是残缺周（旧文件导出于 07-06，只有约 1 天数据，流量约为正常周 1/7），新导出从 07-12 开始未覆盖它。开通日在 06-28~07-19 附近的站点，前后周对比会失真。
|
||
2. 2026-09-13 周（09-13~09-20）导出时也未走完，同样是残缺周。
|
||
|
||
下一步：若用户重新导出 07-05 周（或以后的 09-13 周），需要先删除合并文件中该周的旧行再追加（当前合并逻辑是“周已存在则跳过”，不会自动替换）。可选改进：让 main.py 直接兼容新模板（缺 gNBplmn/gNBId/cellId 时从 masterOperatorId 拆），以后新导出直接丢进 SourceData 即可，不用再合并。
|
||
|
||
给下个会话：验证/辅助脚本如果调用 main 里的进程池函数，必须放在 if __name__ == "__main__" 下，否则 Windows spawn 会报 BrokenProcessPool。openpyxl write_only 写 50~65MB xlsx 约 3~4 分钟。700M.xlsx 已 64 万行，每周增约 1 万行，距 Excel 104 万行上限还有约 40 周。 |