Files
MemRelay/projects/280dd2a0-d23d-4a71-91e1-dce4353163be/Checkpoint 2026-09-25 16-43-59 UTC [cfbfed06d4].md
T
memrelay 4f5e68347a create: Checkpoint 2026-09-25 16:43:59 UTC [cfbfed06d4]
MemRelay-Operation: checkpoint-save:rapt-home-feed-checkpoint-20260926
MemRelay-Resource: d321fdf2-f97c-4d80-b8d5-b5264e75ce35
2026-09-26 00:44:02 +08:00

32 lines
2.6 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
---
title: Checkpoint 2026-09-25 16:43:59 UTC [cfbfed06d4]
type: checkpoint
permalink: main/projects/280dd2a0-d23d-4a71-91e1-dce4353163be/checkpoint-2026-09-25-16-43-59-utc-cfbfed06d4
stable_id: d321fdf2-f97c-4d80-b8d5-b5264e75ce35
scope: project
memory_type: checkpoint
project_id: 280dd2a0-d23d-4a71-91e1-dce4353163be
usage_profile_id: 0c9feb46-d06e-43cd-9ef0-c5813c84a998
status: active
revision: 1
request_id: rapt-home-feed-checkpoint-20260926
created_at: '2026-09-25T16:43:59.068583+00:00'
updated_at: '2026-09-25T16:43:59.068583+00:00'
tags:
- scraper
- handover
---
完成:rapt_scraper.py 改为抓首页顶栏分类(Comedy 18、Passion 20、Newest 21、Western 22、Comic drama 23)、New Releases(GET /app/open/orgin)和 Recommend 全量分页。同一部剧只拉一次播放地址,sections 标记区块。输出改为 raptdrama_catalog.json,.gitignore 已加上,旧的 raptdrama_passion_full.json 没删。docs/接口清单.md 补了首页对应和 Recommend 分页。没有 git commit,没有推送。
原因:用户要抓首页圈出的分类、Trending Now、New Releases 和 Recommend 全量,并且明确不抓 foryou。
关键实现:list_paged 从 page=1、limit=10 翻页,空页或整页重复 id 才停,分类上限 50 页,Recommend 上限 80 页。播放仍然先 playlist,失败再 playlistv2,下载询问仍然只下有 cdn_url 的集到 video/剧名/。
验证:游客 token。New Releases 10 部,末尾三部是 Reaping What She Sowed、The Fall of a Mountain Flower、The Delivery Guy's Rise。Recommend 332 部,第 1–33 页各 10 条,第 34 页 2 条,第 35 页空页停止。Trending Now 不能唯一对上:extra_broadcast 当前 9 部不含截图三部;Bai Jie 在 orgin 第 5 部并在 Recommend 第 4 页,Desire Manor 在 Recommend 第 11 页、Newest 第 2 页,The Love Curse 在 Recommend 第 7 页、Comic drama 第 7 页。三部 ishot 都是 0。没有跑全量播放地址和下载。没有调用 foryou。
问题:发现页有 trendingDramas,但安装包里没有对应的 open 路径。脚本因此不抓 Trending Now。
下一步:用户要全量目录时运行 python -u rapt_scraper.py。它会为去重后的每部剧拉 playlist 并展开 m3u8,结束时才询问是否下载到 video/。
给下个会话:不要调用 /app/open/foryou。不要把 extra_broadcast 当成首页 Trending Now。输出文件是 raptdrama_catalog.json,不要改回 passion_full,也不要删用户已有的旧 json。不要把 token、邮箱、密码或 CDN 签名写进源码或普通记忆。未验证全量 playlist 和下载。