python三方库之BeautifuSoup

html文档解析的三方库beautifulsoup4

什么是beautifulsoup?

学习资源：https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html

1.安装

pip install beautifulsoup4

2.使用

至少要对html有一定的了解。

from bs4 import BeautifulSoup

举例：获取一个页面中的所有链接

def get_link(url="http://www.zhihu.com"):
    hrefs = []
    html = urllib2.urlopen(url=url).read()
    soup = BeautifulSoup(html, "html.parser")
    for link in soup.find_all('a'):
        href = link.get('href')
        if not href.startswith('http'):
            href = url + href
        hrefs.append(href)
    return hrefs