住宅代理
推荐每次请求都轮换至不同的真实家庭 IP，可规避速率限制和机器人评分。城市和 ASN 定位能够还原本地用户看到的内容。按 GB 计费，流量永不过期。
$2.45/GB永不过期 · 全球统一价格
住宅代理
- $2.45GB住宅代理，我们为此任务推荐的网络
- $257.02每月按 500,000 页、每个 350 KB 估算
- 24 小时粘性会话流程需要时，代理池出口可保持一分钟至一天
- ∞线程所有网络均不限制并发；请自行按域名控制请求速率
01 — 选择哪种网络
首选住宅代理。以下是对四种网络的分析。
只有说明取舍，建议才真正有用。下方卡片介绍每种网络在网页抓取中的优势，以及何时不再物有所值。
02 — 配置步骤
如何完成配置。
这里列出网页抓取所需的重要设置，右侧提供可用示例。请将 USER 和 PASS 替换为注册时签发的凭据。
- 轮换
- 轮换模式：省略 -sid-，让每次请求都从新的出口发出。
- 定位
- 使用 -cc- 指定抓取的市场；当价格或列表因城市而异时，再添加 -city-。
- 并发
- 网关不限制线程数；请为每个域名设置合理的请求速率，代理池并不意味着可以肆意冲击网站。
- 协议
- 大多数客户端使用 9000 端口的 HTTP(S)；非 HTTP 工具使用 9001 端口的 SOCKS5。
- 重试
- 遇到 403 或验证码时重试一次；下一次请求已经会使用不同的 IP。
import requests
proxy = "http://USER-cc-us:[email protected]:9000"
session = requests.Session()
session.proxies = {"http": proxy, "https": proxy}
for url in urls:
r = session.get(url, timeout=30) # 每次请求都使用新的美国家庭 IP
if r.status_code in (403, 429):
r = session.get(url, timeout=30) # 只重试一次：出口已自动更换
parse(r.text)- cc
- 出口所在国家；添加 city 或 asn 可缩小范围。
- sid
- 可自行选择任意字符串；具有相同会话 ID 的请求共用一个 IP。
- ttl
- 会话保持 IP 的时长，最长为 24h；省略时每次请求均轮换 IP。
03 — 预算
按您的用量，网页抓取需要多少费用。
了解页面大小后，按 GB 计费的成本便可准确预估。输入每月用量；平均大小已根据此任务填入合理数值，也可自行修改。
页
KB
平均页面大小（仅 HTML）
流量166.9 GB每月
单价$1.54住宅代理阶梯价格中的每 GB 单价
预估费用$257.02流量永不过期
住宅代理采用全球统一阶梯价格。一次购买整月所需流量即可达到所示档位；较小额充值按各自达到的档位计价。查看完整阶梯价格。
04 — 最佳实践
网页抓取的常见错误，以及如何避免。
代理池通常不是问题所在。以下四个习惯决定成功率和费用。
让出口与目标市场匹配
抓取德国商店时使用德国住宅代理 IP；混用不同位置会触发一致性检查，并造成价格偏差。
在网站需要时保持会话
对于多页面流程（先搜索，再打开结果页），使用同一个粘性出口保持数分钟，效果通常优于每跳一次就更换 IP。
减轻页面负载
在无头浏览器中屏蔽图片、字体和跟踪器：费用按 GB 计算，而 HTML 只占整个页面很小的一部分。
尊重目标网站
按域名限制请求速率，在适用时遵守 robots.txt，绝不采集没有合法依据持有的个人数据。
05 — 常见问题
关于网页抓取代理的直接解答。
抓取应该使用住宅代理还是数据中心代理？
如果目标网站不拦截请求，可先使用数据中心代理，它的单次请求成本最低。一旦遇到验证码、403 或内容降级，就将该目标切换到住宅代理；按 GB 支付的费用换来的是更高的成功率。
抓取会使用多少流量？
如果只加载 HTML，每页通常为 100 到 500 KB。按每页 350 KB 计算，50 万个页面约为 170 GB，采用住宅代理阶梯价格时费用约为 $262。无头浏览器如果加载图片，流量可能增至五倍，因此应屏蔽图片。
允许进行网页抓取吗？
允许采集公开可用的数据。禁止攻击网站、绕过身份验证，或在没有合法依据的情况下收集个人数据；我们会严格执行可接受使用政策。
能否按请求轮换，并在需要时保持会话？
可以，同一个账户即可实现。需要轮换时省略会话参数；必须共用一个 IP 的请求则添加 -sid- 和 -ttl-。
预期成功率是多少？
成功率更多取决于目标网站，而非代理池。规范运行的爬虫使用住宅代理出口时，绝大多数请求通常都能成功；其余请求可使用新 IP 重试，除产生的流量外不会增加额外成本。