爬虫入门新手,自学笔记,如果理解有错误请指正。
1 2 3 4 5 6 7 | import requests from bs4 import BeautifulSoup import urllib url = 'http://www.nipic.com/index.html' #图片网站 data = requests.get(url) #获取网站响应 soup = BeautifulSoup(data.text, 'html.parser' ) #解析 imgs = soup.find_all( 'img' ) |
BeautifulSoup库的find_all函数可以搜索返回的网页源码中参数对应的标签对象。
尝试打印一下获取的img标签内容。
1 | print imgs |
我们可以看到一大堆img标签内容,比如 <img src="http://static.nipic.com/images/originalNewTip.png"/>, <img alt="\u4e03\u5915" desc="0" smallsrc="http://icon.nipic.com/BannerPic/20170815/home/20170815172311_1.jpg" src="http://icon.nipic.com/BannerPic/20170815/home/20170815172311.jpg"/>
我们怎么从其中分离出所需要的图片URL地址呢。从BeautifulSoup的库中可以查到,可以通过tag的属性直接获得标签内容。
1 2 3 | for img in imgs: img_url = img[ 'src' ] print img_url |
可以观察到 我们所需要的图片url主要在src="http://static.nipic.com/images/originalNewTip.png" 这个属性中,所以直接通过img['src']就可以获得到图片的下载地址。
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步