并发带来的收益#
吞吐量。一个每页等待 800 毫秒的爬虫,使用单个连接时每分钟可采集 75 页,使用一百个连接时则可采集 7,500 页。在轮换代理池中,每个连接通常也对应不同出口,因此并发量与轮换规模会一同增长。
真正的上限在哪里#
- 目标:遵守各域名的合理访问频率,比代理本身的限制更重要。
- 代理池:500 个柏林并发会话需要当时有 500 个柏林家庭设备在线。
- 客户端:打开的文件描述符、DNS 和连接池通常会先于代理达到上限。
在 ProxShift 中如何运作#
ProxShift 的所有网络均不限制并发连接或会话数量;住宅与移动代理按 GB 计费,独享地址按 IP 计费。