如何批量获取可用IP 详细教程与注意事项说明

常见的批量获取IP方法

在做网络爬虫、数据采集或者测试服务器连接性时，经常需要一批可用的IP地址。手动找太费时间，这时候就得靠一些实用的方法来批量获取。

最直接的方式是使用公开的代理IP网站，比如国内的一些高匿代理发布页，上面会定时更新大量免费IP。虽然稳定性一般，但胜在数量多，适合短期使用。可以配合脚本自动抓取页面内容，提取出IP和端口。

用Python快速抓取并验证IP

写个简单的爬虫脚本就能从网页上提取IP列表。例如，目标页面中包含如下结构的数据：

<tr><td>112.95.76.12</td><td>8080</td></tr>

通过requests库请求页面，再用正则或BeautifulSoup解析，把所有IP:端口组合提取出来。

光有IP不行，还得验证是否能用。可以用requests发起一个带代理的GET请求，比如访问http://httpbin.org/ip，看能不能正常返回。

import requests

def check_ip(ip, port):
    proxy = f"http://{ip}:{port}"
    try:
        response = requests.get("http://httpbin.org/ip", proxies={"http": proxy}, timeout=5)
        if response.status_code == 200:
            print(f"[+] 可用: {ip}:{port}")
            return True
    except:
        return False
    return False

利用第三方API服务

如果不想自己折腾爬虫和验证，可以直接接入付费IP代理平台的API。这类服务通常提供动态提取接口，每次调用返回一批可用IP，支持按地区、协议类型筛选，稳定性也比免费的好很多。

比如某个API返回JSON格式：

{"code":0, "data":["116.20.18.34:9090", "116.20.18.35:9090"]}

程序里直接调用这个接口，拿到列表后立即投入使用，适合自动化任务。

从日志或设备中导出IP

有些场景下，IP来源不靠爬取，而是来自内部系统。比如公司防火墙日志、路由器记录的访问客户端IP，或者是CDN服务商提供的访问者原始IP列表。这类数据虽然不是代理IP，但在做安全分析或用户行为追踪时很有价值。

导出后可以用shell命令去重排序：

cat access.log | grep -oE '([0-9]{1,3}\.){3}[0-9]{1,3}' | sort -u > ip_list.txt

注意事项

批量获取IP时要注意频率控制，别对目标网站造成压力，容易被封。另外，使用他人提供的代理IP要小心隐私泄露，避免传输敏感信息。部分免费IP可能本身就是蜜罐，专门收集测试者的请求数据。

对于长期项目，建议结合多种方式：主用稳定API，辅以自建爬虫补充，定期清理失效IP，保持池子更新。