create: Checkpoint 2026-09-25 16:43:59 UTC [cfbfed06d4]
MemRelay-Operation: checkpoint-save:rapt-home-feed-checkpoint-20260926 MemRelay-Resource: d321fdf2-f97c-4d80-b8d5-b5264e75ce35
This commit is contained in:
+32
@@ -0,0 +1,32 @@
|
|||||||
|
---
|
||||||
|
title: Checkpoint 2026-09-25 16:43:59 UTC [cfbfed06d4]
|
||||||
|
type: checkpoint
|
||||||
|
permalink: main/projects/280dd2a0-d23d-4a71-91e1-dce4353163be/checkpoint-2026-09-25-16-43-59-utc-cfbfed06d4
|
||||||
|
stable_id: d321fdf2-f97c-4d80-b8d5-b5264e75ce35
|
||||||
|
scope: project
|
||||||
|
memory_type: checkpoint
|
||||||
|
project_id: 280dd2a0-d23d-4a71-91e1-dce4353163be
|
||||||
|
usage_profile_id: 0c9feb46-d06e-43cd-9ef0-c5813c84a998
|
||||||
|
status: active
|
||||||
|
revision: 1
|
||||||
|
request_id: rapt-home-feed-checkpoint-20260926
|
||||||
|
created_at: '2026-09-25T16:43:59.068583+00:00'
|
||||||
|
updated_at: '2026-09-25T16:43:59.068583+00:00'
|
||||||
|
tags:
|
||||||
|
- scraper
|
||||||
|
- handover
|
||||||
|
---
|
||||||
|
|
||||||
|
完成:rapt_scraper.py 改为抓首页顶栏分类(Comedy 18、Passion 20、Newest 21、Western 22、Comic drama 23)、New Releases(GET /app/open/orgin)和 Recommend 全量分页。同一部剧只拉一次播放地址,sections 标记区块。输出改为 raptdrama_catalog.json,.gitignore 已加上,旧的 raptdrama_passion_full.json 没删。docs/接口清单.md 补了首页对应和 Recommend 分页。没有 git commit,没有推送。
|
||||||
|
|
||||||
|
原因:用户要抓首页圈出的分类、Trending Now、New Releases 和 Recommend 全量,并且明确不抓 foryou。
|
||||||
|
|
||||||
|
关键实现:list_paged 从 page=1、limit=10 翻页,空页或整页重复 id 才停,分类上限 50 页,Recommend 上限 80 页。播放仍然先 playlist,失败再 playlistv2,下载询问仍然只下有 cdn_url 的集到 video/剧名/。
|
||||||
|
|
||||||
|
验证:游客 token。New Releases 10 部,末尾三部是 Reaping What She Sowed、The Fall of a Mountain Flower、The Delivery Guy's Rise。Recommend 332 部,第 1–33 页各 10 条,第 34 页 2 条,第 35 页空页停止。Trending Now 不能唯一对上:extra_broadcast 当前 9 部不含截图三部;Bai Jie 在 orgin 第 5 部并在 Recommend 第 4 页,Desire Manor 在 Recommend 第 11 页、Newest 第 2 页,The Love Curse 在 Recommend 第 7 页、Comic drama 第 7 页。三部 ishot 都是 0。没有跑全量播放地址和下载。没有调用 foryou。
|
||||||
|
|
||||||
|
问题:发现页有 trendingDramas,但安装包里没有对应的 open 路径。脚本因此不抓 Trending Now。
|
||||||
|
|
||||||
|
下一步:用户要全量目录时运行 python -u rapt_scraper.py。它会为去重后的每部剧拉 playlist 并展开 m3u8,结束时才询问是否下载到 video/。
|
||||||
|
|
||||||
|
给下个会话:不要调用 /app/open/foryou。不要把 extra_broadcast 当成首页 Trending Now。输出文件是 raptdrama_catalog.json,不要改回 passion_full,也不要删用户已有的旧 json。不要把 token、邮箱、密码或 CDN 签名写进源码或普通记忆。未验证全量 playlist 和下载。
|
||||||
Reference in New Issue
Block a user