القائمة
小红书批量爬虫（反爬感知版）。在 xiaohongshu-skills 基础上增加批量抓取能力， 自动处理反爬验证码、智能退避、断点续爬、进度持久化。 当用户要求批量浏览/分析小红书博主的帖子、评论、或需要连续抓取多篇笔记时触发。 单篇笔记抓取仍使用 xiaohongshu-skills 的 get-feed-detail。
التثبيت باستخدام Codex أو Claude انسخ هذا Prompt والصقه في Codex أو Claude أو مساعد آخر ليراجع صفحة Skill ويثبّتها لك.
استنادا إلى تصنيف SOC المهني
| name | xhs-batch-crawler |
| description | 小红书批量爬虫（反爬感知版）。在 xiaohongshu-skills 基础上增加批量抓取能力， 自动处理反爬验证码、智能退避、断点续爬、进度持久化。 当用户要求批量浏览/分析小红书博主的帖子、评论、或需要连续抓取多篇笔记时触发。 单篇笔记抓取仍使用 xiaohongshu-skills 的 get-feed-detail。 |
基于 xiaohongshu-skills CLI 的高层批量抓取框架。解决连续调用 CLI 导致小红书触发扫码验证的问题。
小红书的反爬机制检测短时间内的连续页面导航。xiaohongshu-skills 的 get-feed-detail 每次调用都会 navigate 到新 URL，连续 8-15 次后几乎必定触发扫码验证。
反爬特征：
批次大小: 5-8 篇（随机）
批次间隔: 60-120 秒（随机）
请求间隔: 8-15 秒（随机，而非原来的 2-4 秒）
每次请求后检测返回是否包含验证码错误。一旦检测到：
进度保存到 JSON 文件，支持中断后从上次位置继续：
{
"target": "user_profile",
"user_id": "xxx",
"total_posts": 62,
"completed": ["feed_id_1", "feed_id_2"],
"failed": {"feed_id_3": "blocked"},
"pending": ["feed_id_4", ...],
"state_file": "/tmp/xhs_crawl_<timestamp>.json"
}
在批次之间随机访问小红书首页（explore）或搜索页，模拟正常用户行为，降低被检测概率。
scripts/batch_crawl.py# 批量抓取博主所有帖子（含评论）
python scripts/batch_crawl.py crawl-user \
--user-id 5b78e2bfafee930001b97776 \
--xsec-token "AByofUPDrJ..." \
--output /tmp/xhs_results.json \
--batch-size 6 \
--batch-delay 90 \
--request-delay 12
# 从断点恢复
python scripts/batch_crawl.py resume \
--state /tmp/xhs_crawl_1714364400.json
# 查看抓取进度
python scripts/batch_crawl.py status \
--state /tmp/xhs_crawl_1714364400.json
| 参数 | 默认值 | 说明 |
|---|---|---|
--batch-size | 6 | 每批抓取数量 |
--batch-delay | 90 | 批次间隔（秒） |
--request-delay | 12 | 请求间隔（秒） |
--max-retries | 3 | 单篇最大重试次数 |
--output | 必须 | 结果输出 JSON 文件 |
--state | 自动生成 | 状态文件路径 |
--no-comments | false | 不加载评论 |
{
"user_id": "5b78e2bfafee930001b97776",
"nickname": "酱香玉桂狗",
"crawl_time": "2026-04-28T20:00:00+08:00",
"total_posts": 62,
"successful": 58,
"blocked": 4,
"posts": [
{
"feed_id": "...",
"title": "...",
"content": "...",
"comments": [
{
"user_id": "...",
"nickname": "...",
"content": "...",
"ip_location": "广东",
"like_count": 10,
"sub_comments": [...]
}
]
}
]
}
PageNotAccessibleError 或包含"扫码"关键词# 基础请求间隔：8-15秒随机
base_delay = random.uniform(8, 15)
# 每 3 篇额外休息：20-40秒
if i % 3 == 0 and i > 0:
time.sleep(random.uniform(20, 40))
# 批次间隔：60-120秒
batch_delay = random.uniform(60, 120)
# 随机长休息（每 2 个批次）：30-60秒额外延迟
if batch_index % 2 == 1:
time.sleep(random.uniform(30, 60))
自动保存在 /tmp/xhs_crawl_<timestamp>.json。每次成功抓取一篇帖子后更新。
xiaohongshu-skills（已安装在 workspace skills 中）