爬虫初识之BeautifulSoup库的使用-爬取某图片站的image
beautifulsoup:是一款非常强大的工具,爬虫利器。“美味的汤,绿色的浓汤”。一个灵活又方便的网页解析库,处理高效,支持多种解析器。 利用它就不用编写正则表达式也能方便的实现网页信息的抓取。
lxml:是python的一个解析库,支持HTML和XML的解析,支持XPath解析方式,而且解析效率非常高。(具体可参考:https://www.cnblogs.com/zhangxinqi/p/9210211.html ) (XPath:全称XML Path Language,即XML路径语言,是一门在XML文档中查找某部分位置信息的语言,最初是用来搜寻XML文档节点信息的,但是它同样适用于HTML文档的搜索。可参考:https://zhuanlan.zhihu.com/p/37177627 XPath的选择功能十分强大,它提供了非常简明的路径选择表达式,另外,它还提供了超过100个内建函数,用于字符串、数值、时间的匹配以及节点、序列的处理等,几乎所有我们想要定位的节点,都可以用XPath来选择。 XPath于1999年11月16日成为W3C标准,它被设计为供XSLT、XPointer以及其他XML解析软件使用,更多的文档可以访问其官方网站:https://www.w3.org/TR/xpath/ )
本次demo目的:
准备工作:安装bs4库,因用到解析库lxml,so也要pip install下lxml模块。(sublime的python环境配置这里就不多做赘述)
参考用例:
<!DOCTYPE html> <html> <head> <meta charset="utf-8"/> <meta http-equiv="X-UA-Compatible" content="IE=edge,chrome=1"/> <title>测试bs4</title> <meta name="description" content=""/> <meta name="keywords" content=""/> <link href="" rel="stylesheet"/> </head> <body> <div> <p>python</p> </div> <div class="song" > 唐宋八大家 <a href="http://www.song.com/" title="豪放派" target="_self"> <p class='su'> <a href="" id='su'>苏轼</a></p> <p>...</p> <p>唐有韩柳,宋为欧阳、三苏和曾王</p> </a> <a href="" class="du" title="婉约派">李清照</a> <p id='li'> <a href="" id='li'>千古第一才女李清照</a></p> <img src="http://www.baidu.com/meinv.jpg" alt=""> </div> <div class="tang"> <ul> <li><b>生当作人杰,死亦为鬼雄</b></li> <li><i>易安居士</i></li> <li><a href="http://www.baidu.com" title="qing">清明时节雨纷纷,路上行人欲断魂,借问酒家何处有,牧童遥指杏花村</a></li> <li><a href="http://www.163.com" title="qin">秦时明月汉时关,万里长征人未还,但使龙城飞将在,不教胡马度阴山</a></li> <li><a href="http://www.126.com" alt="qi">岐王宅里寻常见,崔九堂前几度闻,正是江南好风景,落花时节又逢君</a></li> <li><a href="http://www.haha.com" id='feng'>凤凰台上凤凰游,凤去台空江自流,吴宫花草埋幽径,晋代衣冠成古丘</a></li> <li><a href="http://www.sina.com" class="du">杜甫</a></li> <li><a href="http://www.dudu.com" class="du">杜牧</a></li> </ul> </div> </body> </html>
from bs4 import BeautifulSoup # 1.生成对象 soup = BeautifulSoup(open('soup_text.html', encoding='utf-8'), 'lxml') print(soup.prettify()) print(type(soup)) print(soup) # 标签选择器:通过这种soup.标签名查找,如果文档中有多个这样的标签,只能找到第一个符合要求的标签 print(soup.title.name) # 获取名称 print(type(soup.title)) print(soup.head) print(soup.p) print(soup.div) # 2.获取属性 # soup.a.arrts # 获取a标签所有属性和值,返回一个字典 # soup.a.attrs['href'] # 获取href属性 # soup.a['href'] # 也可简写成这种 #上面两种方式都可以获取a标签的href属性值 print(soup.a['href']) print(soup.a['title']) print(soup.a['target']) print(soup.a.attrs['href']) #attrs可以传入字典的方式来查找标签,但是这里有个特殊的就是class,因为class在python中是特殊的字段,所以如果想要查找class相关的可以更改attrs={'class_':'element'}或者soup.find_all('',{"class":"element}),特殊的标签属性可以不写attrs,例如id print(soup.find_all(attrs={'id': 'li'})) # 3.获取内容 # soup.a.text # soup.a.get_text() # soup.a.string # 只能够获取文本,如果标签里还有标签就返回None,而前两个,可以获取所有文本内容 print(soup.a.get_text()) print(soup.div.text) print(soup.div.string) print(soup.div.get_text()) #嵌套选择 #我们直接可以通过下面嵌套的方式获取子节点和子孙节点 print(soup.head.title.string) # 4.find # soup.find('a') #找到第一个符合要求的标签 # print(soup.find('a', title='qin')) # print(soup.find('a', alt='qi')) # print(soup.find('a', class_='du')) # print(soup.find('a', id='feng')) # print(soup.find('a', class_='du')) # 注意使用class_,区别于类关键字 # div = soup.find('div', class_='tang') # print(div) # print(div.find('a', alt='qi')) print(div.find('a', class_='du')) # find方法不仅soup可以调用,普通的div对象也能调用,会去指定的div里面去查找符合要求的节点 # 5.find_all lt = soup.find_all('a') print('soup.find_all\'s type:', type(lt)) div = soup.find('div', class_='tang') a = div.find_all('a') # print(a) print('soup.find().find_all\'s type:', type(a)) # <class 'bs4.element.ResultSet'> print('soup.find().find_all element\'s type:', type(a[0])) # <class 'bs4.element.ResultSet'> # print(a[0].get_text('href')) print(div.find_all(['a', 'b'])) # 返回列表内所有的标签内容 # print(div.find_all('a', limit=2)) # 取前两个 # find、find_all返回列表,类型都为<class 'bs4.element.ResultSet'>,元素为<class 'bs4.element.Tag'> # find_all(name,attrs,recursive,text,**kwargs) # find(name,attrs,recursive,text,**kwargs) # 可以根据标签名,属性,内容查找文档。 # find返回的匹配结果的第一个元素其他一些类似的用法: # find_parents()返回所有祖先节点,find_parent()返回直接父节点。 # find_next_siblings()返回后面所有兄弟节点,find_next_sibling()返回后面第一个兄弟节点。 # # find_previous_siblings()返回前面所有兄弟节点,find_previous_sibling()返回前面第一个兄弟节点。 # find_all_next()返回节点后所有符合条件的节点, find_next()返回第一个符合条件的节点 # find_all_previous()返回节点后所有符合条件的节点, find_previous()返回第一个符合条件的节点 # 6.select s = soup.select('.song') print(len(s)) print('soup.select\'s type:', type(s)) # 返回列表<class 'list'> # print(s[0]) print('select\'s element type:', type(s[0])) # <class 'bs4.element.Tag'> s1 = soup.select('.song a') # 组合查找,可层级筛选 print(s1) print(s1[0].get('href')) s2 = soup.select('.song img') print(s2[0].get('src')) # print(s2[0].get('alt')) print(soup.select(' p #su')) # 组合查找,p标签下id为su的内容 print(soup.select(' p.su')) # 组合查找,class为su的p标签内容 print(soup.select('p#li')) # 组合查找,id为li的p标签的内容 print(soup.select('head>title')) # 直接子标签查找 # select返回列表,类型为<class 'list'>,list中元素为<class 'bs4.element.Tag'>
具体使用:
from bs4 import BeautifulSoup #设置头部信息 ... headers={ 'cookie': cookie, # 自行补充cookies 'referer': referer, # 跳转自的页面 'user-agent': user_agent # 伪装浏览器引擎 } main_count = 1
# 获取具体图片所在url,并下载相应图片信息 def get_url(url, headers): global main_count print('******主页第{}页,url:{}*****'.format(main_count, url)) res = requests.get(url, headers=headers) soup = BeautifulSoup(res.text, 'lxml') div = soup.find('div', class_='main-content') # 限定div,尽量缩小查找节点的范围,避免获取到垃圾url造成不必要麻烦 for i in div.find_all(target='_blank'): if i.select('img'): img_url = i.get('href') print(img_url) # 获取图片 get_second_parse(img_url, headers) time.sleep(2) # 由于网站图片集有分页,所以需要处理分页,获取下一图集所在url,并回调 if soup.select('a.next.page-numbers')[0].get('href'): next_url = soup.select('a.next.page-numbers')[0].get('href') main_count += 1 get_url(next_url, headers) # 获取具体图片所在url,并下载相应图片信息 def get_url(url, headers, img_num_per_page): global main_count print('******主页第{}页,url:{}*****'.format(main_count, url)) res = requests.get(url, headers=headers) soup = BeautifulSoup(res.text, 'lxml') div = soup.find('div', class_='main-content') # 限定div,尽量缩小查找节点的范围,避免获取到垃圾url造成不必要麻烦 for i in div.find_all(target='_blank'): if i.select('img'): img_url = i.get('href') print(img_url) # 获取图片 get_inside_parse(img_url, headers, img_num_per_page) # break time.sleep(2) # 由于网站图片集有分页,所以需要处理分页,获取下一图集所在url,并回调 if soup.select('a.next.page-numbers')[0].get('href'): next_url = soup.select('a.next.page-numbers')[0].get('href') main_count += 1 get_url(next_url, headers, img_num_per_page) # 下载每张照片,注意单位时间访问服务器的频率防止被forbidden def get_inside_parse(lst_url, headers, img_num_per_page): count = 1 print('second_parse') res = requests.get(lst_url, headers=headers) time.sleep(1) try: img_title_soup = BeautifulSoup(res.text, 'lxml') if img_title_soup.select('.main-title')[0].get_text(): img_title = img_title_soup.select('.main-title')[0].get_text() # print(img_title) for index in range(1, img_num_per_page): # 最多下载到img_num_per_page-1张,可自行设置 page_url = lst_url + '/' + str(index) res = requests.get(page_url, headers=headers) time.sleep(1) print(page_url, res.status_code) if res.status_code != 200: # 超出图片列表,status错误则跳出 break soup = BeautifulSoup(res.text, 'lxml') # 注意select的使用,select返回值类型:<class 'bs4.element.ResultSet'>列表 if soup.select('.main-image p a img')[0].get('src'): img_url = soup.select('.main-image p a img')[0].get('src') filename = 'my_imgs/{}'.format(img_title) if not os.path.exists(filename): os.makedirs(filename) print('正在下载{}第{}张图片'.format(img_title, count)) print(soup.select('.main-image p a img')[0].get('src')) print(filename) dirname = '%s/%s.jpg' % (filename, count) with open(dirname, 'wb+') as jpg: jpg.write(requests.get(img_url, headers=headers).content) time.sleep(1) count += 1 else: print('URL:{}无main-title').format(lst_url) except ValueError as e: print(e.ValueError) if __name__ == '__main__': get_url(url, headers, 21)
过程问题:
-
find、find_all返回列表,类型都为<class 'bs4.element.ResultSet'>,元素为<class 'bs4.element.Tag'>
-