暑假接了一个五百的外包，我都能用技术赚钱你还担心自己不行吗？
大家好，我是辣条。
暑假刚刚开始没多久，却比在学校还要繁忙很多，白天在我爸朋友的公司上班，晚上回来学数据分析，感觉比在学校还要忙，不过还是很充实的，昨天在一个外包群看到一个单价钱合理刚好自己会爬虫就做了，给大家分享一下整个过程和项目。
爬取目标
网站：天气预报
工具使用
开发工具：pycharm
开发环境：python3.7， Windows10
使用工具包：requests，lxml，csv，threading
前言
此项目为一个兼职外包项目（采集全国城市未来15天天气） 前期缺少沟通导致把当前网址全部的城市数据进行采集， 后面是拿的2345天气进行城市匹配
项目解析思路
先采集天气预报网的所以城市信息
获取到当前网页上所以的城市地址以及详情页面链接 当前网页的城市包含了很多的区需要进行去除 从2345网页提成出城市进行对比取出市区数据（你说啥？ 为什么不从2345直接取， 因为2345数据有些麻烦）
匹配之后之后的数据
provinces_citys = [['新余,/xinyu/', '天津,/tianjin/', '上海,/shanghai/', '重庆,/chongqing/', '周宁,/zhouning/', '珠晖,/zhuhuiqu/', '南昌,/nanchang/', '沧州新华,/cangzhouxinhuaqu/', '大兴安岭,/daxinganling/', '昆山,/kunshan/', '合肥,/hefei/', '咸宁,/xianning/', '钟山,/zhongshanxian/', '宜宾,/yibinxian/', '苏州,/suzhou/', '乌海,/wuhai/', '宝鸡,/baoji/', '庆阳,/qingyang/', '长子,/zhangzi/', '中方,/zhongfang/', '正安,/zhengan/', '呼伦贝尔,/hulunbeier/', '临沂,/linyi2/', '镇海,/zhenhai/', '卓资,/zhuozi/', '昌都,/changdu/', '临沧,/lincang/', '枣庄,/zaozhuang/', '锦州,/jinzhou1/', '许昌,/xuchangxian/', '衡阳,/hengyangxian/', '九江,/jiujiang/', '黄山风景,/huangshanfengjingqu/', '莱芜,/laiwu/', '兴安,/xinganmeng/', '朝阳,/chaoyang1/', '海南,/hainan/', '果洛,/guoluo/', '赞皇,/zanhuang/', '曾都,/zengduqu/', '昭通,/zhaotong/', '云浮,/yunfu/', '汕尾,/shanwei/', '株洲,/zhuzhou/', '辽阳,/liaoyang/', '承德,/chengde/', '贵阳,/guiyang1/', '绥化,/suihua/', '德阳,/deyang/', '九江,/jiujiangxian/', '衡水,/hengshui/', '南阳,/nanyang/', '甘南州,/gannan/', '汉中,/hanzhong/', '中宁,/zhongning/', '湘潭,/xiangtanxian/', '阳江,/yangjiang/', '长沙,/changshaxian/', '大同,/datongxian/', '汕头,/shantou/', '铁岭,/tielingxian/', '长沙,/changsha/', '自贡,/zigong/', '衢州,/quzhou1/', '梧州,/wuzhou/', '南通,/nantong/', '丽水,/lishui/', '凉山,/liangshan1/', '抚州,/fuzhou1/', '赣州,/ganzhou/', '成都,/chengdu/', '保定,/baoding/', '镇巴,/zhenba/', '漳平,/zhangping/', '东莞,/dongguan/', '咸阳,/xianyang/', '正镶白旗,/zhengxiangbaiqi/', '巴中,/bazhong/', '拉萨城关,/lasachengguanqu/', '中山,/zhongshanqu1/', '安顺,/anshun/', '峨眉山,/emeishan/', '杭州,/hangzhou/', '林芝,/linzhi/', '章丘,/zhangqiu/', '鞍山,/anshan/', '中山,/zhongshan/', '黑河,/heihe/', '本溪满族,/benximanzu/', '周村,/zhoucun/', '攀枝花东区,/panzhihuadongqu/', '承德,/chengdexian/', '广州,/guangzhou/', '邯郸,/handan/', '楚雄州,/chuxiong/', '平顶山,/pingdingshan/', '株洲,/zhuzhouxian/', '六安,/luan/', '张家口桥东,/zhangjiakouqiaodong/', '上饶,/shangraoxian/', '眉山,/meishan/'], ['昭阳,/zhaoyangqu/', '札达,/zhada/', '岳阳楼,/yueyanglouqu/', '黔西南,/qianxinan/', '内江,/neijiang/', '宣城,/xuancheng/', '玉林,/yulin1/', '大同,/daqingdatong/', '延边朝鲜族,/yanbian/', '镇雄,/zhenxiong/', '桂林,/guilin/', '兴安,/xinganxian/', '泽州,/zezhou/', '常州,/changzhou/', '葫芦岛,/huludao/', '邵阳,/shaoyangxian/', '玉溪,/yuxi/', '肇庆,/zhaoqing/', '河池,/hechi/', '石家庄桥东,/shijiazhuangqiaodongqu/', '徐州鼓楼,/gulouqu/', '防城港,/fangchenggang/', '乐山,/leshan/', '石家庄,/shijiazhuang/', '烟台,/yantai/', '金昌,/jinchang/', '娄底,/loudi/', '珠海,/zhuhai/', '芝罘,/zhifuqu/', '池州,/chizhou/', '黄冈,/huanggang/', '淮安,/huaian1/', '增城,/zengcheng/', '毕节,/bijie/', '邢台桥西,/xingtaiqiaoxiqu/', '资兴,/zixing/', '孝感,/xiaogan/', '资溪,/zixi/', '银川,/yinchuan/', '招远,/zhaoyuan1/', '常德,/changde/', '黄山,/huangshanqu/', '临夏,/linxiaxian/', '甘孜州,/ganzi/', '武威,/wuwei/', '邵阳,/shaoyang/', '朝阳,/chaoyangqu/', '朔州,/shuozhou/', '驻马店,/zhumadian/', '赵县,/zhaoxian/', '中原,/zhongyuanqu/', '嘉峪关,/jiayuguan/', '茂名,/maoming/', '吉林,/jilinshi/', '日照,/rizhao/', '吕梁,/lvliang/', '张湾,/zhangwan/', '阿里,/ali/', '龙岩,/longyan/', '镇赉,/zhenlai/', '宿迁,/suqian/', '漯河,/luohe/', '泽库,/zeku/', '枣阳,/zaoyang/', '连云港海州,/lianyunganghaizhou/', '福州,/fuzhou/', '昭平,/zhaopingqu/', '芜湖,/wuhu/', '嘉兴,/jiaxing/', '山南,/shannan/', '哈尔滨,/haerbin/', '中江,/zhongjiang/', '南京,/nanjing/', '扬州,/yangzhou/', '日喀则,/rikaze/', '牡丹江,/mudanjiang/', '滁州,/chuzhou1/', '日喀则地,/shigatsequ/', '安庆,/anqing/', '保山,/baoshan1/', '新乡,/xinxiang/', '昭平,/zhaopingxian/', '焦作,/jiaozuo/', '泽普,/zepu/', '抚顺,/fushun/', '迪庆,/diqing/', '竹山,/zhushan/', '忻州,/xinzhou/', '宁波,/ningbo/', '六盘水,/liupanshui/', '玉树,/yushu1/', '东营,/dongying/', '天水,/tianshui/', '西安,/xianqu/', '吉安,/jianxian/', '张家界,/zhangjiajie/', '秭归,/zigui/', '贺州,/hezhou/'], ['自流井,/ziliujingqu/', '海北,/haibei/', '盐城,/yancheng/', '镇安,/zhenan/', '文山州,/wenshan/', '廊坊,/langfang/', '湘西,/xiangxi/', '吕梁离石,/lvlianglishi/', '扎兰屯,/zhalantun/', '衡阳,/hengyang/', '新乡,/xinxiangxian/', '安阳,/anyangxian/', '金华,/jinhua/', '张家港,/zhangjiagang/', '彰武,/zhangwu/', '三亚,/sanya/', '湘潭,/xiangtan/', '惠州,/huizhou/', '绵阳,/mianyang/', '铁岭,/tieling/', '益阳,/yiyang1/', '长治,/changzhixian/', '钟祥,/zhongxiang/', '沈阳,/shenyang/', '黔东南,/qiandongnan/', '梅州,/meizhou/', '周口,/zhoukou/', '景德镇,/jingdezhen/', '锡林郭勒,/xilingguole/', '荆州,/jingzhouqu/', '大连,/dalian/', '湛江,/zhanjiang/', '榆林,/yulin/', '沾益,/zhanyi/', '淮南,/huainan/', '张掖,/zhangye/', '枣庄市中,/shizhongqu/', '黄南,/huangnan/', '涿鹿,/zhuolu/', '佳木斯,/jiamusi/', '韶关,/shaoguan/', '通辽,/tongliao/', '铜川,/tongchuan/',