找寻代理上网搜索会发现有很多免费网站，但是拿过来之后会失效，于是可以采取多找几家网站集合起来使用，数量大致能够达到几百到几千个ip
测试代理最快速的，用curl命令就可以检测某个代理是否能用：佛边# 使用代理 48.139.133.93:3128 访问 某易首页curl -x "48.139.133.93:3128"理所当然，这类方式仅仅为了演试便捷，实际最好是的方式是：用多线程方式，应用代理去访问某一网站，随后输出能用的代理。这样做能最快速的找出召八能用代理。
使用代理1、读取代理文件2、随机选择代理IP，发起HTTP请求
这样，如果代理有几百个，基本上可以保持过段时间抓取某个网站的数据了，抓个几千几万条数据不成问题。但如果数量不足以满足需求，争互斤那么就需要寻求专业供应商的帮助了。
标签：爬虫,代理
版权声明：文章由 百问十四 整理收集，来源于互联网或者用户投稿，如有侵权，请联系我们，我们会立即处理。如转载请保留本文链接：https://www.baiwen14.com/life/248623.html
