第一部分:探索并获取66免费代理网与西刺代理的代理资源指南
最编程
2024-07-19 21:09:17
...
66免费代理网
西刺免费代理
66免费代理分析:
曾经尝试过网站提供的提取,用正则爬下来后当时正常,过两天数量异常
于是,采用正规手段,分页抓取,抓取1300页,对每页进行分析
为此,构造正则表达式即可
#代理66
import requests,re
from redis import Redis
redis = Redis(db=7)
def craw_66ip():
url = 'http://www.66ip.cn/{}.html'
for i in range(1,1300):
r = requests.get(url.format(i)).text
ips = re.findall(