【爬虫练习】
【练习一】爬取iot门户网站中部分页面信息:
import requests from bs4 import BeautifulSoup url='http://www.ioteis.com/Stewardship.html' response_data=requests.get(url) response_data.encoding='utf-8' #把html页面进行解析 soup=BeautifulSoup(response_data.text,'lxml') #分析发现内容放在content1下面的div中 for hbgj in soup.select(".content1 "): title=hbgj.select("div.title1 a")[0].text content=hbgj.select('div.ptext')[0].text print("标题为:{},内容为:{}".format(title,content))
【练习二】