网页抓取救火队｜反爬与付费墙应对

分享海报

@indiv-haikousohot/web-page-rescue

网页抓不到时的逐级救火手册。遇到 403/429、Cloudflare/WAF 反爬拦截、人机验证页、验证码、付费墙、JS 空壳站、抓取失败等情况，按「先分诊、再降级」的顺序依次尝试：请求头与 UA 修正 → 站点公开数据端点 → 网页存档（Wayback / archive.today）→ 阅读代理 → 真实浏览器，并给出各类拦截的特征识别方法与「该停止并如实告知用户」的合规边界。适用于 web scraping / anti-bot / blocked page 场景。