爬虫【爬取汽车之家新闻】
代码示例
# coding:utf-8 import requests from bs4 import BeautifulSoup # http方式 response = requests.get('http://www.autohome.com.cn/news/') # response.encoding='gbk' # print(response.text)
# 因为汽车之家的编码是gbk # 文件方式 with open('autohome_new_txt','r',encoding='utf-8') as f: data = f.read() soup = BeautifulSoup(data,'html.parser') tag = soup.find(name='div',attrs={'id':'auto-channel-lazyload-article'}) li_list = tag.find_all('li') # [标签对象,标签对象] for li in li_list: h3 = li.find(name='h3') if not h3: continue print(h3.text,li.find(name='a').get('href')) #print(li.find(name='a').attrs['href']) # print(li.find('p').text) img_url = li.find('img').get('src') print(img_url) res = requests.get('http:'+img_url) with open('xxxx.jpg','wb') as f: f.write(res.content)
运行结果
搭10AT 林肯新领航员广州车展在华首发 //www.autohome.com.cn/news/201710/908079.html#pvareaid=102624 //www2.autoimg.cn/newsdfs/g7/M0B/AE/1A/120x90_0_autohomecar__wKgH3VniOJeAIiSnAAFNvbfnshQ672.jpg 2020年亮相 西雅特将推出Coupe造型SUV //www.autohome.com.cn/news/201710/908073.html#pvareaid=102624 //www2.autoimg.cn/newsdfs/g13/M12/AA/D7/120x90_0_autohomecar__wKjBylniGjqAbqrgAADbfo74HXo817.jpg 基于新平台 Dacia或2019年推新Sandero //www.autohome.com.cn/news/201710/908074.html#pvareaid=102624 //www2.autoimg.cn/newsdfs/g13/M0E/A5/7D/120x90_0_autohomecar__wKgH1FniIZOAZ0iCAAFc6QNvKZQ978.jpg 2018年下半年面世 吉利全新MPV谍照曝光 //www.autohome.com.cn/news/201710/908081.html#pvareaid=102624 //www3.autoimg.cn/newsdfs/g12/M0A/A2/D2/120x90_0_autohomecar__wKgH01niTPGASV7xAAE-aV6aDL8325.jpg 12月底上市 MINI将推Blackfriars特别版 //www.autohome.com.cn/news/201710/908080.html#pvareaid=102624 //www3.autoimg.cn/newsdfs/g21/M08/82/64/120x90_0_autohomecar__wKjBwlniPYqAA0wIAAE6DFEdIuk786.jpg 搭载插电混动 全新卫士或2018年底亮相 //www.autohome.com.cn/news/201710/908071.html#pvareaid=102624 //www2.autoimg.cn/newsdfs/g11/M09/A8/5F/120x90_0_autohomecar__wKjBzFnh4QiALQrIAADCA1i9nhw374.jpg IIHS新成绩:沃尔沃全新XC60获“优+” //www.autohome.com.cn/news/201710/908070.html#pvareaid=102624 //www2.autoimg.cn/newsdfs/g7/M07/AD/78/120x90_0_autohomecar__wKgH3Vnh0O-AOMpMAAD8u1J7isY005.jpg 2018年发布并投产 曝全新奥迪A1新谍照 //www.autohome.com.cn/news/201710/908067.html#pvareaid=102624 //www3.autoimg.cn/newsdfs/g12/M08/AC/64/120x90_0_autohomecar__wKgH4lnhhwyAb0jTAAHlS9YQ1j0456.jpg 2019年实现L3自动驾驶 北汽/百度合作 //www.autohome.com.cn/news/201710/908065.html#pvareaid=102624 //www3.autoimg.cn/newsdfs/g8/M12/A0/D6/120x90_0_autohomecar__wKjBz1nheOmATS4KAAGS7D5LH40773.jpg 越野怪兽 奔驰G 500 4X4十月底停产 //www.autohome.com.cn/news/201710/908063.html#pvareaid=102624 //www2.autoimg.cn/newsdfs/g16/M0A/AB/21/120x90_0_autohomecar__wKgH5lnhcA-AeS34AAGnPRLtaO0804.jpg IIHS新成绩:雷克萨斯IS改进后获“优+” //www.autohome.com.cn/news/201710/908062.html#pvareaid=102624 //www2.autoimg.cn/newsdfs/g4/M04/A4/3E/120x90_0_autohomecar__wKgHy1nhbTWARnxvAAFH5HT1j6o152.jpg 褪去部分伪装 曝全新雅阁最新国内谍照 //www.autohome.com.cn/news/201710/908060.html#pvareaid=102624 //www2.autoimg.cn/newsdfs/g7/M07/A5/30/120x90_0_autohomecar__wKgHzlnhZH2ALG7WAAGLhtjpejM462.jpg 600马力? Polestar品牌首款车型定名 //www.autohome.com.cn/news/201710/908061.html#pvareaid=102624 //www3.autoimg.cn/newsdfs/g11/M04/A4/DD/120x90_0_autohomecar__wKgH0lnhZHKAZQNsAAC_hS-TeTY446.jpg 改动较大 新款荣威360或于10月下旬上市 //www.autohome.com.cn/news/201710/908040.html#pvareaid=102624 //www2.autoimg.cn/newsdfs/g16/M15/A8/5D/120x90_0_autohomecar__wKjBx1nghgWAJN8gAAEHg_Ki_fA048.jpg 中华V3降9千 中国品牌小型SUV降价排行 //www.autohome.com.cn/news/201710/907981.html#pvareaid=102624 //www2.autoimg.cn/newsdfs/g14/M00/9F/38/120x90_0_autohomecar__wKgH1Vne1f6ASyJLAAGtxiYiB6w255.jpg 内饰更具质感 北京新款BJ40L最新谍照 //www.autohome.com.cn/news/201710/908052.html#pvareaid=102624 //www3.autoimg.cn/newsdfs/g9/M05/A6/1F/120x90_0_autohomecar__wKgH0Fnglv6AJBZxAAFd0K9OMdg767.jpg 91kWh/综合续航450km 比亚迪新款e6信息 //www.autohome.com.cn/news/201710/908057.html#pvareaid=102624 //www3.autoimg.cn/newsdfs/g14/M08/A2/E5/120x90_0_autohomecar__wKgH1Vng43SAfw7gAAEaXfhZn5E705.jpg 或配1.4T发动机 新款帝豪GL内饰谍照 //www.autohome.com.cn/news/201710/908051.html#pvareaid=102624 //www2.autoimg.cn/newsdfs/g10/M12/A3/D1/120x90_0_autohomecar__wKgH0Vngk6yAJiilAAFlL17TFLE837.jpg 开启预定 阿斯顿·马丁DB11敞篷版官图 //www.autohome.com.cn/news/201710/908055.html#pvareaid=102624 //www3.autoimg.cn/newsdfs/g17/M01/A2/47/120x90_0_autohomecar__wKjBxlngw6eAe1RyAAFsH2zBGkw462.jpg 或2018上市 东风雪铁龙将推智联网汽车 //www.autohome.com.cn/news/201710/908050.html#pvareaid=102624 //www3.autoimg.cn/newsdfs/g22/M0B/4F/37/120x90_0_autohomecar__wKgFW1ngkseAUPpKAAFHiS8KHco234.jpg 长城公告回应与宝马合作事宜:尚在探讨 //www.autohome.com.cn/news/201710/908049.html#pvareaid=102624 //www3.autoimg.cn/newsdfs/g19/M07/80/1C/120x90_0_autohomecar__wKjBxFnglSqAAxDbAAE664eVjqI086.jpg 最高降4000元 伽途ix5/ix7部分车型官降 //www.autohome.com.cn/news/201710/908047.html#pvareaid=102624 //www2.autoimg.cn/newsdfs/g21/M0A/7C/99/120x90_0_autohomecar__wKgFVVngjmuAbuDsAAHNdfbcovU135.jpg 将于10月16日上市 曝2018款荣威RX5消息 //www.autohome.com.cn/news/201710/908039.html#pvareaid=102624 //www2.autoimg.cn/newsdfs/g23/M09/85/F1/120x90_0_autohomecar__wKgFXFnghUGAL-rnAAE3n5NCL8E628.jpg 还是高田气囊 奔驰在华召回35万辆车 //www.autohome.com.cn/news/201710/908036.html#pvareaid=102624 //www2.autoimg.cn/newsdfs/g8/M0B/A4/F7/120x90_0_autohomecar__wKgHz1ngd_KAR1FrAAEgaKMKxBA251.jpg 商务MPV新秀 传祺GM8将于广州车展首发 //www.autohome.com.cn/news/201710/908033.html#pvareaid=102624 //www2.autoimg.cn/newsdfs/g7/M07/A4/22/120x90_0_autohomecar__wKgHzlngdWGAR_9RAAFi66c-EtE217.jpg 将于11月上市 比速T5 8AT内饰官图发布 //www.autohome.com.cn/news/201710/908032.html#pvareaid=102624 //www3.autoimg.cn/newsdfs/g16/M08/A9/FA/120x90_0_autohomecar__wKgH5lngcruAYnMEAAFJMSZD-mM436.jpg 将于11月上市 五菱宏光S3配置信息曝光 //www.autohome.com.cn/news/201710/908030.html#pvareaid=102624 //www3.autoimg.cn/newsdfs/g18/M06/A6/EB/120x90_0_autohomecar__wKjBxVngZwKAMWeZAAEfD75mzCs222.jpg 或售62.18万起 曝福特F-150猛禽将调价 //www.autohome.com.cn/news/201710/908028.html#pvareaid=102624 //www3.autoimg.cn/newsdfs/g4/M0C/AB/9A/120x90_0_autohomecar__wKgH2lngYMqAHB7rAAGHxSdjD84664.jpg 10月25日亮相 日产Serena NISMO官图 //www.autohome.com.cn/news/201710/908026.html#pvareaid=102624 //www3.autoimg.cn/newsdfs/g8/M0F/9F/44/120x90_0_autohomecar__wKjBz1ngWt2AMQ7tAAEpSCeuF8c847.jpg 售25.6万元起 宝马新款1系/2系正式上市 //www.autohome.com.cn/news/201710/908025.html#pvareaid=102624 //www3.autoimg.cn/newsdfs/g5/M13/A9/29/120x90_0_autohomecar__wKgH21ngVmCAHPZ3AAF7t5Sz3sI594.jpg 外观大变? 全新一代奔驰B级谍照首曝 //www.autohome.com.cn/news/201710/908021.html#pvareaid=102624 //www3.autoimg.cn/newsdfs/g22/M06/4B/D2/120x90_0_autohomecar__wKjBwVngOPiAE7aOAAFARPvL3EQ486.jpg 多种动力 新奔驰A级2018日内瓦车展亮相 //www.autohome.com.cn/news/201710/908022.html#pvareaid=102624 //www2.autoimg.cn/newsdfs/g13/M10/AA/9B/120x90_0_autohomecar__wKgH41ngPj-AHUnaAAHP0KkpX2w048.jpg 补贴前售19.88万元 华骐300E正式上市 //www.autohome.com.cn/news/201710/908020.html#pvareaid=102624 //www3.autoimg.cn/newsdfs/g17/M12/9D/E3/120x90_0_autohomecar__wKgH2FngMU6AHrLdAAF4vOWMYOI409.jpg 外观内饰小升级 新款2系敞篷版国内谍照 //www.autohome.com.cn/news/201710/908017.html#pvareaid=102624 //www2.autoimg.cn/newsdfs/g21/M03/7B/51/120x90_0_autohomecar__wKgFVVngITOAKp7aAAEaERNNR0A417.jpg 定制打造/仅此2辆 迈凯伦MSO R官图发布 //www.autohome.com.cn/news/201710/908016.html#pvareaid=102624 //www2.autoimg.cn/newsdfs/g14/M09/A5/82/120x90_0_autohomecar__wKjByVngIsmAK_z9AAESf43VdNY163.jpg 11月14日亮相 全新英菲尼迪QX80预告图 //www.autohome.com.cn/news/201710/908015.html#pvareaid=102624 //www2.autoimg.cn/newsdfs/g16/M08/A2/12/120x90_0_autohomecar__wKgH11ngGf6ATLeSAAD0XNJ6tlw700.jpg 新款Ghibli Nerissimo车型明年1月上市 //www.autohome.com.cn/news/201710/908014.html#pvareaid=102624 //www3.autoimg.cn/newsdfs/g14/M0A/A8/77/120x90_0_autohomecar__wKgH5FngHCqAVZKWAAEri6YsWtc265.jpg 途胜N/KONA N 现代将打造高性能SUV车型 //www.autohome.com.cn/news/201710/908005.html#pvareaid=102624 //www3.autoimg.cn/newsdfs/g6/M07/A8/91/120x90_0_autohomecar__wKjB0VnfRd6ALJL6AAFeTo2t9Cg698.jpg 雅马哈新概念车将亮相10月25日东京车展 //www.autohome.com.cn/news/201710/908008.html#pvareaid=102624 //www2.autoimg.cn/newsdfs/g12/M00/9E/FE/120x90_0_autohomecar__wKgH01nfmhqAaXN5AAB7KsrP7kY224.jpg 顶级奢华 全新幻影10月15日国内上市 //www.autohome.com.cn/news/201710/908001.html#pvareaid=102624 //www2.autoimg.cn/newsdfs/g4/M0E/A1/35/120x90_0_autohomecar__wKgHy1nfOeaAXGD6AAEf5wN921I612.jpg 外观时尚 东风风光S560将于11月上市 //www.autohome.com.cn/news/201710/907972.html#pvareaid=102624 //www3.autoimg.cn/newsdfs/g20/M06/7E/26/120x90_0_autohomecar__wKjBw1ne-8-ABkOfAAESOldqlig583.jpg 德国不再接受订单 大众尚酷或正式停产 //www.autohome.com.cn/news/201710/908000.html#pvareaid=102624 //www3.autoimg.cn/newsdfs/g8/M0F/A2/F2/120x90_0_autohomecar__wKgHz1nfPq6AP4QOAAFd48nJufM226.jpg 转向系统缺陷 部分2017款探险者召回 //www.autohome.com.cn/news/201710/907992.html#pvareaid=102624 //www3.autoimg.cn/newsdfs/g7/M0E/A2/13/120x90_0_autohomecar__wKgHzlnfKneAFN1gAAExtn-Byuw971.jpg 售9.39万元 东风风行F600新车型上市 //www.autohome.com.cn/news/201710/907986.html#pvareaid=102624 //www3.autoimg.cn/newsdfs/g20/M06/7B/F9/120x90_0_autohomecar__wKgFVFnfJGCAIoTDAAFapJyUMaw753.jpg 推三种车型 依维柯Daily 11月4日上市 //www.autohome.com.cn/news/201710/907985.html#pvareaid=102624 //www3.autoimg.cn/newsdfs/g7/M05/A1/E2/120x90_0_autohomecar__wKgHzlnfGZuAdckXAADOIJ2lfYA972.jpg 2017年9月国内热销SUV/轿车/MPV排行榜 //www.autohome.com.cn/news/201710/907984.html#pvareaid=102624 //www2.autoimg.cn/newsdfs/g4/M0D/A9/A2/120x90_0_autohomecar__wKgH2lnfF56ACftlAAFN7xUs2r4784.jpg 售12.69-13.39万元 风行CM7手动挡上市 //www.autohome.com.cn/news/201710/907983.html#pvareaid=102624 //www2.autoimg.cn/newsdfs/g17/M12/A2/20/120x90_0_autohomecar__wKgH51nfFrWAPDioAAFjgd_SuJE320.jpg 售10.58-16.58万元 众泰Z700H正式上市 //www.autohome.com.cn/news/201710/907888.html#pvareaid=102624 //www2.autoimg.cn/newsdfs/g20/M09/7B/CA/120x90_0_autohomecar__wKgFVFnfFdqAalasAAE50kbvu3w713.jpg 售23.98-33.48万元 新款森林人正式上市 //www.autohome.com.cn/news/201710/907980.html#pvareaid=102624 //www2.autoimg.cn/newsdfs/g23/M08/7F/FB/120x90_0_autohomecar__wKjBwFnfDg2ALyn3AADzlcfYorc910.jpg 国产MINI? 宝马/长城合作最新消息曝光 //www.autohome.com.cn/news/201710/907976.html#pvareaid=102624 //www2.autoimg.cn/newsdfs/g19/M05/7E/CC/120x90_0_autohomecar__wKjBxFngJVmAJ0ofAADLrdxV02c781.jpg 10月31日上市 曝新款陆风X7更多信息 //www.autohome.com.cn/news/201710/907975.html#pvareaid=102624 //www2.autoimg.cn/newsdfs/g16/M11/A5/AA/120x90_0_autohomecar__wKjBx1nfAjeAK1guAAFxslhnBv8563.jpg 配置升级 2018款海马S5 10月26日上市 //www.autohome.com.cn/news/201710/907974.html#pvareaid=102624 //www3.autoimg.cn/newsdfs/g14/M0D/A6/FA/120x90_0_autohomecar__wKgH5Fne_JGAA5cOAAEzh5fWuoo679.jpg 10月15日上市 曝铃木启悦Pro更多消息 //www.autohome.com.cn/news/201710/907971.html#pvareaid=102624 //www3.autoimg.cn/newsdfs/g8/M07/A2/3A/120x90_0_autohomecar__wKgHz1ne8zmAPqfDAAEaHP59g08906.jpg 售18.48-27.08万元 2018款翼虎正式上市 //www.autohome.com.cn/news/201710/907970.html#pvareaid=102624 //www3.autoimg.cn/newsdfs/g22/M06/4A/E1/120x90_0_autohomecar__wKgFW1ne8dOAS-BEAAGRaS3IB_k686.jpg 售24.98-44.98万 2018款锐界正式上市 //www.autohome.com.cn/news/201710/907965.html#pvareaid=102624 //www2.autoimg.cn/newsdfs/g17/M09/A1/B9/120x90_0_autohomecar__wKgH51ne6S-AWAlEAAFxUDbSReU081.jpg 补贴前售21.28万起 东风风神E70上市 //www.autohome.com.cn/news/201710/907969.html#pvareaid=102624 //www3.autoimg.cn/newsdfs/g4/M10/A6/68/120x90_0_autohomecar__wKjB01ne6I-ATVDVAAFIBdK2-XE974.jpg 搭互联智行系统 名爵6将于11月3日上市 //www.autohome.com.cn/news/201710/907967.html#pvareaid=102624 //www2.autoimg.cn/newsdfs/g5/M0D/9F/97/120x90_0_autohomecar__wKgHzFne5TCASxOTAADCq2QuyHs907.jpg 定位中型SUV/12月上市 君马S70官图发布 //www.autohome.com.cn/news/201710/907966.html#pvareaid=102624 //www3.autoimg.cn/newsdfs/g17/M10/9E/F1/120x90_0_autohomecar__wKjBxlne5HyAZAxOAAEf8i6n_D0436.jpg FCA官方否认出售Jeep 法拉利将推出SUV //www.autohome.com.cn/news/201710/907964.html#pvareaid=102624 //www3.autoimg.cn/newsdfs/g19/M10/79/FC/120x90_0_autohomecar__wKgFU1ne4VCAfvsEAACuxRycfog112.jpg 售26.78-43.08万 2018款蔚揽正式上市 //www.autohome.com.cn/news/201710/907953.html#pvareaid=102624 //www3.autoimg.cn/newsdfs/g22/M00/49/F6/120x90_0_autohomecar__wKgFW1neR6aAflecAAFiwj8oeJo211.jpg
做有积累的事~~