很多采集项目接入代理后的第一版逻辑是“每个请求换一个 IP”。结果往往是验证码更多、登录态丢失、失败率反而上升。使用支持轮换与粘性会话的动态住宅代理时,也不是 IP 换得越快越好;关键是让 IP 生命周期符合目标网站的访问流程。

代理轮换的三种会话模式

三种常见轮换模式

每请求轮换

适合无状态的公开页面抓取,例如搜索结果、商品列表和公开接口。每个请求使用新出口,能分散单个地址的请求压力,但不适合需要 Cookie 的连续流程。

粘性会话

当一组相关请求需要保持同一出口时,可以使用粘性会话。KiloProxy 动态住宅代理当前支持配置 1–120 分钟的 Sticky Session,应按流程预计时长选择,不能把配置时长理解为连接绝不会中断的保证。

Cookie 和其他应用状态由浏览器或采集客户端管理。代理轮换本身不会自动清除、保存或恢复 Cookie。

任务级固定

一个账号或一个完整任务使用同一 IP。适合需要登录的低频自动化,但账号运营应优先使用独享静态 IP,而不是共享动态池。

重试不能只换 IP

重试前先分类失败。遇到 429 时,检查目标返回的限速信息、请求频率和建议等待时间;遇到 403 或验证页时,先确认访问授权、请求方式和目标规则;HTTP 200 但缺少目标字段时,检查页面类型、选择器与解析器;连接超时时,同时排查本地网络、代理配置和目标可达性。

重试应设置上限,并根据目标反馈采用适当等待和随机抖动。不存在适用于所有网站的固定等待参数,也不应把立即换 IP 当作默认处理。

稳定采集的请求处理流程

并发应该如何控制?

并发应从保守水平开始,并同时记录有效数据量、错误类型、响应时间和流量消耗。只有在获准目标保持稳定、有效结果质量没有下降时才逐步增加。

不同来源的页面成本、规则和容量不同,不存在通用的固定并发起始值。出现 429 或验证页时,应优先降低请求压力并遵循目标反馈。

地区与流量预算

只在业务需要时使用城市级定向,因为条件越细,可选出口越少。图片、视频和字体会大量消耗流量,采集脚本应只下载必要的 HTML 或 JSON。按 GB 计费方式可参考动态住宅代理选购指南。

建议监控的指标

  • 请求成功率与有效数据率;
  • 403、429 和验证码比例;
  • 单次成功任务消耗的流量;
  • 每个出口 IP 的平均请求数;
  • P50、P95 响应时间;
  • 重试后成功率。

总结

稳定采集依赖会话、频率、重试、并发和地区策略的组合。公开无状态页面可以快速轮换,需要连续操作的流程应使用粘性会话,账号型任务则需要固定网络身份。先建立指标和限速机制,再扩大代理池,通常比单纯堆 IP 更有效。