web-scraping-bypass

name	web-scraping-bypass
description	爬虫绕过网站反爬机制的实战技巧合集 — 请求头伪装、TLS指纹、代理轮换、频率控制、JS渲染、验证码绕过、字体反爬等
version	1.0.0
author	Hermes Agent
license	MIT
platforms	["linux","wsl","macos"]
metadata	{"hermes":{"tags":["web-scraping","anti-bot","crawler","bypass"],"related_skills":["web-to-documents"]}}

爬虫绕反爬实战手册

核心原则

遇到反爬，按以下优先级递进尝试：
1. web_extract 工具（最简单，先试试）
2. curl + 完整浏览器 headers（静态页面，见我 headers 清单）
3. 搜索引擎找镜像/转载（绕过反爬）
4. 浏览器工具（JS 渲染页面用）
5. 代理 + 频率控制（IP 被限时用）
6. 专项对抗（字体反爬/验证码/Cloudflare 等）

---

1. 请求头伪装

完整 Chrome 浏览器 Header 模板

curl -sL --max-time 15 \
  -H "User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36" \
  -H "Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8" \
  -H "Accept-Language: zh-CN,zh;q=0.9,en;q=0.8" \
  -H "Accept-Encoding: gzip, deflate, br" \
  -H "Cache-Control: no-cache" \
  -H "Sec-Ch-Ua: \"Not_A Brand\";v=\"8\", \"Chromium\";v=\"120\", \"Google Chrome\";v=\"120\"" \
  -H "Sec-Ch-Ua-Mobile: ?0" \
  -H "Sec-Ch-Ua-Platform: \"Windows\"" \
  -H "Sec-Fetch-Dest: document" \
  -H "Sec-Fetch-Mode: navigate" \
  -H "Sec-Fetch-Site: none" \
  -H "Sec-Fetch-User: ?1" \
  -H "Upgrade-Insecure-Requests: 1" \
  -H "Referer: https://www.google.com/" \
  --compressed \
  "URL"

关键 Headers 说明

Header	作用	容易被忽略
User-Agent	浏览器标识	太旧的 UA 会被识别为爬虫
Sec-Ch-Ua	客户端品牌信息	很多站点靠这个判断是不是真浏览器
Sec-Fetch-* 系列	请求来源/模式/目的	新浪博客缺了必 418
Accept-Encoding: gzip	告诉服务器可以解压	缺了可能返回乱码
Referer	从哪里来的	有些站校验收 Referer
Accept-Language	语言偏好	中文站缺了这个容易被打回

浏览器 UA 轮换池

USER_AGENTS = [
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36",
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36 Edg/120.0.0.0",
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:121.0) Gecko/20100101 Firefox/121.0",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.2 Safari/605.1.15",
    "Mozilla/5.0 (Linux; Android 14; Pixel 8) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.6099.230 Mobile Safari/537.36",
]

注意：UA 要搭配匹配的 Sec-Ch-Ua 和 Sec-Ch-Ua-Platform。

---

2. 请求频率控制

基本策略

成功请求 → 随机延迟 1-3 秒 失败（429/503） → 指数退避：等待 2^n 秒（n=1,2,3...），最大 60 秒 连续失败 → 切 IP 再重试

Python 实现

import time, random

def smart_delay(base_min=1.0, base_max=3.0):
    time.sleep(random.uniform(base_min, base_max))

def exponential_backoff(attempt, max_wait=60):
    wait = min(2 ** attempt + random.uniform(0, 1), max_wait)
    time.sleep(wait)

不要固定等 2 秒——固定间隔更容易被识别。

---

3. IP 代理与轮换

curl 使用代理

curl -x http://proxy_ip:port URL
curl -x http://user:pass@proxy_ip:port URL

Python 代理轮换

import random, requests
PROXY_LIST = ["http://proxy1:port", "http://proxy2:port", ...]

def fetch_with_proxy(url, headers=None):
    proxy = {"http": random.choice(PROXY_LIST), "https": random.choice(PROXY_LIST)}
    try:
        return requests.get(url, headers=headers, proxies=proxy, timeout=15)
    except (requests.ConnectionError, requests.Timeout):
        return None

---

4. TLS 指纹（JA3）

服务器通过 TLS 握手参数生成哈希值识别客户端。curl 和 Python requests 的默认指纹容易被识别。

实战建议： 目标站检测 TLS 指纹时（Cloudflare、Akamai），直接上 browser 工具，别折腾 curl 伪装。

---

5. Cookie & Session 管理

# 获取 Cookie
curl -c /tmp/cookies.txt -L "https://example.com/login"
# 带着 Cookie 访问
curl -b /tmp/cookies.txt -L "https://example.com/protected"

import requests
session = requests.Session()
session.headers.update({"User-Agent": "..."})
resp = session.get("https://example.com/protected")

---

6. JS 渲染页面

判断方法： curl 抓 HTML，body 只有 <div id="root"> 或 <script> 没有可见文字 → JS 渲染。

处理方案（按推荐顺序）：

1. web_extract — 先试试，有些 SPA 有 SSR fallback
2. 搜索引擎找转载
3. browser 工具 — 用 headless 浏览器渲染后提取
4. Playwright — 手动启动 headless 浏览器

---

7. 常见反爬对抗

7.1 HTTP 418

原因：请求头不完整。对策：加完整 Sec-Fetch* headers + --compressed。

7.2 HTTP 429

原因：请求太频繁。对策：降频 + 随机延迟 + 切 IP。

7.3 HTTP 403

原因：IP 黑名单 / Referer 检查。对策：切 IP、检查 Referer。

7.4 Cloudflare

• Basic JS 挑战 → browser 可过
• 5 秒盾 → 必须 browser 渲染 JS
• Turnstile → 浏览器 + 人工交互
• WAF → 换干净 IP + 真实 UA

7.5 字体反爬

原理：自定义字体映射字符到不同 Unicode。对策：下载 woff，用 fonttools 解析映射，或 browser 渲染后取最终文字。

7.6 CSS 偏移反爬

最简单对策：browser 工具渲染后提取。

7.7 验证码

文字→OCR，滑块→模拟轨迹+browser，reCAPTCHA→浏览器+人工过一次。 实战：能走搜索绕过就不要搞验证码。

---

8. 搜索引擎替代法（最省事）

web_search("文章标题")
web_search("site:原始域名 关键字")

找到转载/镜像 URL 再去抓。很多站的反爬只防自己的域名。

已验证的转载/聚合站： 见 references/aggregator-sites.md。包括 tophub.today（最全）、readep.com（知乎）、rebang.today 等。

按日期搜索找最新内容

网站的"排行榜"或"今日热文"往往是历史总点击排名，不是真的今日内容。要找真正的新文章，用日期搜索：

# 找2026年的内容
web_search("site:blog.sina.com.cn 2026年")

# 找具体月份
web_search("site:blog.sina.com.cn 2026年5月")

# 找具体日期
web_search('"2026年5月21日" site:blog.sina.com.cn')

通用原则： 不要相信网站排行榜的"今日"标签。用搜索引擎的时间过滤来验证内容时效性。

---

9. 具体站点反爬速查

站点	反爬类型	绕过难度	推荐方案
新浪博客	Header检测（418）	低	完整Sec-Fetch* headers
知乎	zse-ck JS挑战 + 登录验证	中	搜索引擎找转载站（readep.com / tophub.today）
微信公众号	封闭生态	高	搜索转载
BOSS直聘	字体反爬 + 登录	高	浏览器渲染 + 字体映射
豆瓣	限频严格	中	低频率 + 代理轮换
小红书	签名加密 + 登录	高	浏览器 + Cookie
淘宝（搜索热门榜）	重度JS渲染 + App封闭	高	第三方聚合（tophub.today 淘宝热卖）
百度百科	基本无	低	web_extract 直接可用
Twitter/X	限频	低	xurl skill

---

10. 实战决策流程

开始 → web_extract → curl+完整headers → 搜索引擎找转载
     JS渲染? → browser工具
     字体反爬? → 下载woff解析
     需要登录? → 加Cookie
     限频? → 代理+降频
     都不行 → 搜API接口(SPA常见隐藏JSON API)

最后一关：验证数据真实性
     检查内容日期是否真的是"今日"
     生成HTML/文件 → 给用户检验

绕过反爬 ≠ 原文链接可用

你用 curl+完整headers 成功抓取的内容，原文链接在浏览器中仍然打不开（反爬还在）。用户点原文链接只会看到 418/403/空白页，容易被误解为"你胡编数据"。

正确做法：

1. 抓取完成后同时保存一份本地副本（完整HTML页面存成文件）
2. 交付时说明："数据是从目标站真实抓取的，但原文链接被反爬拦截浏览器打不开。本地副本文件可直接打开查看，内容一致。"
3. 本地副本文件路径在交付时要写清楚

11. 文章正文提取方法

新浪博客正文提取

新浪博客的正文在 class="articalContent" 的 div 中。需要用嵌套 div 计数法来找到正确的闭合标签：

import re

def extract_artical_content(html):
    """从新浪博客HTML中提取正文"""
    m = re.search(r'class="articalContent[^"]*"[^>]*>', html)
    if not m:
        return ""
    start = m.end()
    depth = 0
    pos = start
    while pos < len(html):
        if html[pos:pos+5] == '</div' and (pos+5 >= len(html) or html[pos+5] in '> \t\r\n'):
            if depth == 0:
                return html[start:pos]
            depth -= 1
            pos += 5
        elif html[pos:pos+4] == '<div' and (pos+4 >= len(html) or html[pos+4] in '> \t\r\n'):
            depth += 1
            pos += 4
        else:
            pos += 1
    return ""

# 清理HTML标签
text = re.sub(r'<br\s*/?>', '\n', content)
text = re.sub(r'<[^>]+>', '', text)
text = re.sub(r'&nbsp;', ' ', text)

诊断文章是否有效

抓取新浪博客文章时，检查 <title> 标签：

• 包含具体标题（如 山_古天乐_新浪博客）→ 文章有效
• 只有 新浪博客 → 文章已失效/404
• 空的 <title></title> → 文章不存在

不要在所有失效文章上浪费时间，快速诊断后跳过。

排行榜页面编码问题

新浪博客排行页面（/lm/rank/）返回的内容通过 web_extract 会有编码乱码问题（标题和正文均为 garbled text）。但其中的文章 URL 是有效的。直接从排行页面提取 URL，然后用完整 headers 逐个抓取单篇文章获取真实内容。

---

常见陷阱

1. 只设 UA 不设 Sec-Fetch* headers — 新浪博客必死
2. 固定延迟比随机延迟更容易被识别
3. 用 requests 默认 JA3 — Cloudflare/Akamai 会检测
4. 同一 IP 高频连续失败 — IP 可能被永久封禁
5. 抓到的页面内容不全 — 可能是 gzip 没解压，加 --compressed
6. 返回200但内容是404页面 — 说明反爬绕过了，是URL本身失效，不是反爬问题。先确认URL是否有效再折腾headers。
7. 新浪博客即使完整headers也可能个别文章返回418 — 不是方案不行，是新浪反爬不稳定，换几篇文章试试
8. "今日热文排行"往往是历史总排名 — 新浪博客等网站的排行标签可能是误导性的，实际按全站总点击量排序。不要依赖"今日"标签，用日期搜索（site:域名 年月）验证内容时效性。交付数据前先检查内容日期。