PornHub爬虫:全球最大成人网站的数据抓取程序
概述
全球最大成人网站PornHub爬虫 (Scrapy、MongoDB) 一天500w的数据
1/项目主要是爬取全球最大成人网站PornHub的视频标题、时长、mp4链接、封面URL和具体的PornHub链接
2/项目爬的是PornHub.com,结构简单,速度飞快
3/爬取PornHub视频的速度可以达到500万/天以上。具体视个人网络情况,因为我是家庭网络,所以相对慢一点。
4/10个线程同时请求,可达到如上速度。若个人网络环境更好,可启动更多线程来请求,具体配置方法见 [启动前配置]
下载地址
开发语言: Python2.7
开发环境: MacOS系统、4G内存
数据库: MongoDB。主要使用 scrapy 爬虫框架从Cookie池和UA池中随机抽取一个加入到Spider。start_requests 根据 PorbHub 的分类,启动了5个Request,同时对五个分类进行爬取。并支持分页爬取数据,并加入到待爬队列。
https://gitee.com/xiyouMc/pornhubbot.git
本项目旨在学习Scrapy爬虫框架和MongoDB数据库,不可使用于商业和个人其他意图。若使用不当,均由个人承担。
SpringCloud 系列精品文章
1、springcloud学习手册-什么是微服务?
2、springcloud学习手册-什么是springcloud?
3、springcloud学习手册-Eureka(第一节)?
4、springcloud学习手册-Eureka(第二节)?
5、springcloud学习手册-Eureka(第三节)?
6、springcloud学习手册-Eureka常见问题总结
7、springcloud学习手册-Ribbon(第一节)
8、springcloud学习手册-Ribbon(第二节)
9、springcloud学习手册-Ribbon(常见问题和补充说明)
10、springcloud学习手册-Hystrix(服务容错保护)
11、springcloud学习手册-Hystrix(工程引入)
12、springcloud学习手册-Hystrix(仪表盘说明)
13、springcloud学习手册-API Gateway (API网关)
14、springcloud学习手册-zuul(概念和内容)
15、springcloud学习手册-微服务架构中的进程间通信
16、springcloud学习手册-Config 分布式配置中心
17、springcloud学习手册-市面主流分布式配置中心框架汇总
18、springcloud学习手册-实现Config server的高可用
推荐阅读
-
全球最大的成人网站 Pornhub 可能关闭
-
全球最大的成人交友网站数据泄密,近百万用户信息外露--AdultFriendFinder作为汇集全球6300万用户的平台,自称为一个“活跃的性交流社区”,用户常在此分享私密性和照片。其主页以诱人的言语和美女图示吸引人们加入。然而,据安全专家指出,仅凭姓名、生日、邮箱等基本信息,犯罪分子就能利用数据库中的敏感内容对你实施欺诈或勒索。 据报道,包括用户名、电邮地址、出生日期、邮编以及有助于定位的IP地址在内,大约400万用户的个人资料,在黑市上正遭倒卖。知名媒体Channel 4于周四曝出这一惊人消息,警示加州地区约6400万该交友网站用户的网络安全风险。 这次数据泄露导致近四百万用户的性生活隐私信息公开化。
-
使用Scrapy构建全球最大的成人网站PornHub的爬虫系统
-
全球最大成人网站Pornhub公布2017年度调查:利用大数据读懂你的情人节羞涩
-
PornHub爬虫:全球最大成人网站的数据抓取程序
-
使用Scrapy的爬虫教程:探索全球最大成人网站PornHub