您的位置：首页 > 新闻资讯 > 正文

爬取免费代理IP方法以及怎么连接免费代理ip

发布时间：2018-12-20 10:56:23 来源：互联网

有一些工作，日常使用代理IP的时候比较少，如果购买代理IP也不划算，就想着使用免费代理IP，那么这免费的IP怎么找来的，又是怎么连接免费代理ip呢，今天黑洞代理小编就为大家解答以上的问题，其实许多网站都提高免费的IP，关键时怎么连接使用，一起看看下文。

一、怎么连接免费代理ip

1.找IP资源

免费的代理IP只要找到IP地址以及端口就可以进行连接，但是从哪里找呢？如果需要的数量少，可以从黑洞代理领取每日免费IP；如果需要的数量比较多，那就需要多找一些代理IP商，在他们的网站提取免费的IP。

2.进行连接

找到的IP如果需要在浏览器使用，可以找到浏览器的设置-高级设置-网络-更改代理服务器设置-局域网设置-勾选代理服务器-高级。然后填写IP地址，端口使用。

注意：这种方法仅支持HTTP代理IP，如果不是HTTP代理，要用其他的方法连接。

二、爬虫怎么爬取免费代理IP

上文介绍了怎么连接免费代理ip的方法，大家也知道代理IP可以直接提取，但是一家一家的找，再提取是比较麻烦的，那么有没有更快的方法呢？

有的，可以使用爬虫进行爬取，提高工作效率。那么爬虫怎么爬取免费代理IP？爬取流程：

步骤1：了解requests代理如何使用。

步骤2：从代理网页爬取到ip和端口。

步骤3：检测爬取到的ip是否可用。

步骤4：将爬取的可用代理存入MongoDB。

步骤5：从存入可用ip的数据库里随机抽取一个ip,测试成功后返回。

对于requests来说，代理的设置比较简单，只需要传入proxies参数即可。

不过需要注意的是，这里我是在本机安装了抓包工具Fiddler，并用它在本地端口8888创建了一个HTTP代理服务，即代理服务为：127.0.0.1:8888，我们只要设置好这个代理，就可以成功将本机ip切换成代理软件连接的服务器ip了。

不管是免费代理IP还是付费购买的代理IP，都不能保障IP百分百的可用，还是需要进行检测的，但一个一个检测花费时间比较久，我们可以通过脚本,自动化地从这些网站上抓取代理IP并测试其可用性,最终过滤出一批可用的代理IP。

与免费代理IP相比，付费购买的代理IP可用率非常高，就像黑洞代理，可以达到95%以上，同时还可以先提取IP进行测试，可以只用优质的IP，当IP使用时才进行扣费，更好的保障用户的权益。