住宅代理
推荐逐个市场完整覆盖受到保护或设有地理限制的数据源，并通过轮换支持大规模采集。
$2.45/GB永不过期 · 全球统一价格
住宅代理
- $2.45GB住宅代理，我们为此任务推荐的网络
- $667.57每月按 2,000,000 份文档、每个 250 KB 估算
- 24 小时粘性会话流程需要时，代理池出口可保持一分钟至一天
- ∞线程所有网络均不限制并发；请自行按域名控制请求速率
02 — 配置步骤
如何完成配置。
这里列出市场研究与数据采集所需的重要设置，右侧提供可用示例。请将 USER 和 PASS 替换为注册时签发的凭据。
- 按数据源分流
- 开放数据源使用数据中心代理，受保护或有地理限制的数据源使用住宅代理；一个账户即可使用两种网络。
- 定位
- 每个市场使用对应的 -cc-；从各个国家/地区境内采集当地数据，确保样本具有可比性。
- 轮换
- 需要扩大覆盖面时使用轮换模式；分页依赖会话 Cookie 时使用粘性会话。
- 存储
- 将原始 HTML 与出口元数据一并保存；日后重新解析的成本低于重新抓取。
import requests
OPEN = "http://USER:[email protected]:8000" # 专用数据中心代理 IP，用于批量采集开放数据源
GUARDED = "http://USER-cc-{cc}:[email protected]:9000" # 住宅代理，用于有地理限制的数据源
def fetch(url, market=None):
proxy = GUARDED.format(cc=market) if market else OPEN
return requests.get(url, proxies={"http": proxy, "https": proxy}, timeout=30).text- cc
- 出口所在国家；添加 city 或 asn 可缩小范围。
- sid
- 可自行选择任意字符串；具有相同会话 ID 的请求共用一个 IP。
- ttl
- 会话保持 IP 的时长，最长为 24h；省略时每次请求均轮换 IP。
03 — 预算
按您的用量，市场研究与数据采集需要多少费用。
了解页面大小后，按 GB 计费的成本便可准确预估。输入每月用量；平均大小已根据此任务填入合理数值，也可自行修改。
份文档
KB
平均文档大小（HTML 或 JSON）
流量476.8 GB每月
单价$1.40住宅代理阶梯价格中的每 GB 单价
预估费用$667.57流量永不过期
住宅代理采用全球统一阶梯价格。一次购买整月所需流量即可达到所示档位；较小额充值按各自达到的档位计价。查看完整阶梯价格。
04 — 最佳实践
市场研究与数据采集的常见错误，以及如何避免。
代理池通常不是问题所在。以下四个习惯决定成功率和费用。
根据防护强度分流，而非沿用习惯
所有数据源都走住宅代理会浪费资金；所有数据源都走数据中心代理则会降低覆盖率。只需为每个数据源分类一次。
在各市场境内采集当地样本
进行跨国家/地区比较时，需要在每个国家/地区本地采集数据。
遵守请求频率和条款
研究并不意味着可以让网站超负荷运行；请按域名控制请求频率，并在适用时遵守 robots.txt。
谨慎处理个人数据
仅采集有合法依据处理的数据，并尽量减少其余数据的收集。
05 — 常见问题
关于市场研究与数据采集代理的直接解答。
数据集应该使用住宅代理还是数据中心代理？
两者都需要：开放数据源使用数据中心代理，每个 IP $0.80，每月共享 100 GB 流量；受保护或有地理限制的数据源使用按 GB 计费的住宅代理。请将每个数据源分配到能够成功访问且成本最低的网络。
抓取 200 万份文档需要多少费用？
按每份文档 250 KB 计算，流量约为 500 GB。住宅代理的 500 GB 套餐价格为每 GB $1.19，总计约 $595；数据中心代理使用 5 个 IP，每月可共享 500 GB 流量，费用约为 $4。
可以采集数据用于 AI 训练吗？
在遵守可接受使用政策以及适用于你和数据源的法律时，可以采集公开数据。你有责任排除个人数据、付费墙后的内容以及明确禁止采集的网站。
并发量有限制吗？
没有。所有网络均支持不限线程数；你需要自行控制每个域名的合理请求频率。