中国大学MOOC —— 学习笔记(三)
在学习了嵩天老师的《Python网络爬虫与信息提取课程》之后,我自己尝试按照老师的步骤做了一个小demo。
爬取有趣网址之家首页中有趣网站。
url = “https://youquhome.com/”
代码如下:
import requests from bs4 import BeautifulSoup #获得response对象 def getUrlText(url): r = requests.get(url) r.raise_for_status() r.encoding = r.apparent_encoding return r.text #获得url和对应名称 def getUrlList(ulist,html): soup = BeautifulSoup(html,'lxml') res = soup.find_all('h1',class_ = "entry-title") a_soup = BeautifulSoup(str(res),'lxml')#res是列表,需要转化为字符串。 a = a_soup.find_all('a') for each in a: ulist.append([each.get('href'),each.string]) return ulist #打印网站 def printFunUrl(ulist): tplt = "{0:^10}\t{1:{2}^10}" print(tplt.format("网址","网站名",chr(12288))) for i in range(len(ulist)): u = ulist[i] print(tplt.format(u[0],u[1],chr(12288))) #定义主函数 def main(): ulist = [] url = "https://youquhome.com/" html = getUrlText(url) getUrlList(ulist,html) printFunUrl(ulist) main()