欢迎您访问 最编程 本站为您分享编程语言代码,编程技术文章!
您现在的位置是: 首页

暑假期间接到一个值500块的外包项目,我用技术就能赚到钱,这是否让你也相信自己也能行呢?

最编程 2024-02-05 14:14:19
...

大家好,我是辣条。

暑假刚刚开始没多久,却比在学校还要繁忙很多,白天在我爸朋友的公司上班,晚上回来学数据分析,感觉比在学校还要忙,不过还是很充实的,昨天在一个外包群看到一个单价钱合理刚好自己会爬虫就做了,给大家分享一下整个过程和项目。

爬取目标

网站:天气预报

在这里插入图片描述

工具使用

开发工具:pycharm

开发环境:python3.7, Windows10

使用工具包:requests,lxml,csv,threading

前言

此项目为一个兼职外包项目(采集全国城市未来15天天气) 前期缺少沟通导致把当前网址全部的城市数据进行采集, 后面是拿的2345天气进行城市匹配

项目解析思路

先采集天气预报网的所以城市信息

在这里插入图片描述

获取到当前网页上所以的城市地址以及详情页面链接 当前网页的城市包含了很多的区需要进行去除 从2345网页提成出城市进行对比取出市区数据(你说啥? 为什么不从2345直接取, 因为2345数据有些麻烦)

在这里插入图片描述

在这里插入图片描述​ 匹配之后之后的数据

provinces_citys = [['新余,/xinyu/', '天津,/tianjin/', '上海,/shanghai/', '重庆,/chongqing/', '周宁,/zhouning/', '珠晖,/zhuhuiqu/', '南昌,/nanchang/', '沧州新华,/cangzhouxinhuaqu/', '大兴安岭,/daxinganling/', '昆山,/kunshan/', '合肥,/hefei/', '咸宁,/xianning/', '钟山,/zhongshanxian/', '宜宾,/yibinxian/', '苏州,/suzhou/', '乌海,/wuhai/', '宝鸡,/baoji/', '庆阳,/qingyang/', '长子,/zhangzi/', '中方,/zhongfang/', '正安,/zhengan/', '呼伦贝尔,/hulunbeier/', '临沂,/linyi2/', '镇海,/zhenhai/', '卓资,/zhuozi/', '昌都,/changdu/', '临沧,/lincang/', '枣庄,/zaozhuang/', '锦州,/jinzhou1/', '许昌,/xuchangxian/', '衡阳,/hengyangxian/', '九江,/jiujiang/', '黄山风景,/huangshanfengjingqu/', '莱芜,/laiwu/', '兴安,/xinganmeng/', '朝阳,/chaoyang1/', '海南,/hainan/', '果洛,/guoluo/', '赞皇,/zanhuang/', '曾都,/zengduqu/', '昭通,/zhaotong/', '云浮,/yunfu/', '汕尾,/shanwei/', '株洲,/zhuzhou/', '辽阳,/liaoyang/', '承德,/chengde/', '贵阳,/guiyang1/', '绥化,/suihua/', '德阳,/deyang/', '九江,/jiujiangxian/', '衡水,/hengshui/', '南阳,/nanyang/', '甘南州,/gannan/', '汉中,/hanzhong/', '中宁,/zhongning/', '湘潭,/xiangtanxian/', '阳江,/yangjiang/', '长沙,/changshaxian/', '大同,/datongxian/', '汕头,/shantou/', '铁岭,/tielingxian/', '长沙,/changsha/', '自贡,/zigong/', '衢州,/quzhou1/', '梧州,/wuzhou/', '南通,/nantong/', '丽水,/lishui/', '凉山,/liangshan1/', '抚州,/fuzhou1/', '赣州,/ganzhou/', '成都,/chengdu/', '保定,/baoding/', '镇巴,/zhenba/', '漳平,/zhangping/', '东莞,/dongguan/', '咸阳,/xianyang/', '正镶白旗,/zhengxiangbaiqi/', '巴中,/bazhong/', '拉萨城关,/lasachengguanqu/', '中山,/zhongshanqu1/', '安顺,/anshun/', '峨眉山,/emeishan/', '杭州,/hangzhou/', '林芝,/linzhi/', '章丘,/zhangqiu/', '鞍山,/anshan/', '中山,/zhongshan/', '黑河,/heihe/', '本溪满族,/benximanzu/', '周村,/zhoucun/', '攀枝花东区,/panzhihuadongqu/', '承德,/chengdexian/', '广州,/guangzhou/', '邯郸,/handan/', '楚雄州,/chuxiong/', '平顶山,/pingdingshan/', '株洲,/zhuzhouxian/', '六安,/luan/', '张家口桥东,/zhangjiakouqiaodong/', '上饶,/shangraoxian/', '眉山,/meishan/'], ['昭阳,/zhaoyangqu/', '札达,/zhada/', '岳阳楼,/yueyanglouqu/', '黔西南,/qianxinan/', '内江,/neijiang/', '宣城,/xuancheng/', '玉林,/yulin1/', '大同,/daqingdatong/', '延边朝鲜族,/yanbian/', '镇雄,/zhenxiong/', '桂林,/guilin/', '兴安,/xinganxian/', '泽州,/zezhou/', '常州,/changzhou/', '葫芦岛,/huludao/', '邵阳,/shaoyangxian/', '玉溪,/yuxi/', '肇庆,/zhaoqing/', '河池,/hechi/', '石家庄桥东,/shijiazhuangqiaodongqu/', '徐州鼓楼,/gulouqu/', '防城港,/fangchenggang/', '乐山,/leshan/', '石家庄,/shijiazhuang/', '烟台,/yantai/', '金昌,/jinchang/', '娄底,/loudi/', '珠海,/zhuhai/', '芝罘,/zhifuqu/', '池州,/chizhou/', '黄冈,/huanggang/', '淮安,/huaian1/', '增城,/zengcheng/', '毕节,/bijie/', '邢台桥西,/xingtaiqiaoxiqu/', '资兴,/zixing/', '孝感,/xiaogan/', '资溪,/zixi/', '银川,/yinchuan/', '招远,/zhaoyuan1/', '常德,/changde/', '黄山,/huangshanqu/', '临夏,/linxiaxian/', '甘孜州,/ganzi/', '武威,/wuwei/', '邵阳,/shaoyang/', '朝阳,/chaoyangqu/', '朔州,/shuozhou/', '驻马店,/zhumadian/', '赵县,/zhaoxian/', '中原,/zhongyuanqu/', '嘉峪关,/jiayuguan/', '茂名,/maoming/', '吉林,/jilinshi/', '日照,/rizhao/', '吕梁,/lvliang/', '张湾,/zhangwan/', '阿里,/ali/', '龙岩,/longyan/', '镇赉,/zhenlai/', '宿迁,/suqian/', '漯河,/luohe/', '泽库,/zeku/', '枣阳,/zaoyang/', '连云港海州,/lianyunganghaizhou/', '福州,/fuzhou/', '昭平,/zhaopingqu/', '芜湖,/wuhu/', '嘉兴,/jiaxing/', '山南,/shannan/', '哈尔滨,/haerbin/', '中江,/zhongjiang/', '南京,/nanjing/', '扬州,/yangzhou/', '日喀则,/rikaze/', '牡丹江,/mudanjiang/', '滁州,/chuzhou1/', '日喀则地,/shigatsequ/', '安庆,/anqing/', '保山,/baoshan1/', '新乡,/xinxiang/', '昭平,/zhaopingxian/', '焦作,/jiaozuo/', '泽普,/zepu/', '抚顺,/fushun/', '迪庆,/diqing/', '竹山,/zhushan/', '忻州,/xinzhou/', '宁波,/ningbo/', '六盘水,/liupanshui/', '玉树,/yushu1/', '东营,/dongying/', '天水,/tianshui/', '西安,/xianqu/', '吉安,/jianxian/', '张家界,/zhangjiajie/', '秭归,/zigui/', '贺州,/hezhou/'], ['自流井,/ziliujingqu/', '海北,/haibei/', '盐城,/yancheng/', '镇安,/zhenan/', '文山州,/wenshan/', '廊坊,/langfang/', '湘西,/xiangxi/', '吕梁离石,/lvlianglishi/', '扎兰屯,/zhalantun/', '衡阳,/hengyang/', '新乡,/xinxiangxian/', '安阳,/anyangxian/', '金华,/jinhua/', '张家港,/zhangjiagang/', '彰武,/zhangwu/', '三亚,/sanya/', '湘潭,/xiangtan/', '惠州,/huizhou/', '绵阳,/mianyang/', '铁岭,/tieling/', '益阳,/yiyang1/', '长治,/changzhixian/', '钟祥,/zhongxiang/', '沈阳,/shenyang/', '黔东南,/qiandongnan/', '梅州,/meizhou/', '周口,/zhoukou/', '景德镇,/jingdezhen/', '锡林郭勒,/xilingguole/', '荆州,/jingzhouqu/', '大连,/dalian/', '湛江,/zhanjiang/', '榆林,/yulin/', '沾益,/zhanyi/', '淮南,/huainan/', '张掖,/zhangye/', '枣庄市中,/shizhongqu/', '黄南,/huangnan/', '涿鹿,/zhuolu/', '佳木斯,/jiamusi/', '韶关,/shaoguan/', '通辽,/tongliao/', '铜川,/tongchuan/', '漳州,/zhangzhou/',