python爬虫之创建属于自己的ip代理池
在后续需求数据量比较大的情况下，自建一个ip代理池可以帮助我们获得更多的数据。
下面我来介绍一下整个过程
1.找到目标代理网站
https://www.dailiservers.com/go/webshare
https://proxyscrape.com/
https://spys.one/
https://free-proxy-list.net/
http://free-proxy.cz/en/
https://www.proxynova.com/proxy-server-list/
https://github.com/clarketm/proxy-list
https://github.com/opsxcq/proxy-list2.解析网站获得免费的代理ip列表
使用解析网站或者是发送网络请求都可以
3.使用request中的参数proxies
如果代理不需要密码和用户名
prox = {
"http":"http://ip地址:端口号",
"https":"http://ip地址:端口号"
}如果代理需要密码和用户名
prox = {
"http":"http://用户名:用户密码@ip地址:端口号",
"https":"http://用户名:用户密码@ip地址:端口号"
}注意如果当你的格式 填写不正确的时候，也是会出现请求成功的，但是使用的是自己本机的ip,所以请注意使用时的格式填写
prox的使用
直接在requests中填写参数请求，proxies = prox
4.进行代理验证
大部分免费的代理都是不可以使用的，这里可以使用telnetlib进行验证
使用方法
try:
telnetlib.Telnet(ip, port=端口号, timeout=3)
except:
print('ip无效！')
else:
print("有效)建议将可以使用的ip储存到文件中，以便后续的使用，可以减少筛选的事件。