欢迎您访问 最编程 本站为您分享编程语言代码,编程技术文章!
您现在的位置是: 首页

第一部分:探索并获取66免费代理网与西刺代理的代理资源指南

最编程 2024-07-19 21:09:17
...
66免费代理网
西刺免费代理

66免费代理分析:

曾经尝试过网站提供的提取,用正则爬下来后当时正常,过两天数量异常
于是,采用正规手段,分页抓取,抓取1300页,对每页进行分析

这里写图片描述

为此,构造正则表达式即可
#代理66
import requests,re
from redis import Redis
redis = Redis(db=7)

def craw_66ip():
    url = 'http://www.66ip.cn/{}.html'
    for i in range(1,1300):
        r = requests.get(url.format(i)).text
        ips = re.findall(