python简单爬虫(一)

　　学习python前纠结了下，到底是应该一个个知识点吃透，然后写些小程序。还是应该快速掌握基础语法，快速实践。思考后认为前者这么学习速度真心不高，于是花2天时间看了下python3的语法，虽然很多都不明白，但是带着小项目来学习直接解决问题。在项目中遇到问题，查阅一点点解决，这样很靠谱。

　　在实现一个最简单的爬虫前，应该知道需要用到哪些东西? 

　　1.如果发送一个http请求，来抓取网页内容。

　　2.如何方便的解析html的dom节点，如果有像phpquery这样的工具包就太简单了。

　　百度了下发现 urlib模块能解决第一个问题，BeautifulSoup模块能解决第二个问题

　　urlib3模块简单使用　　

import urllib3

#请求的地址
url = 'https://www.baidu.com/'

http = urllib3.PoolManager()
r = http.request('GET',url)

print(r.status)     #请求状态码
print(r.data)       #获取内容

　　需要注意的是打印出内容(r.data)发现尼玛， 总是有个 b' 这样的东西在字符串最前面。google下发先大致是说，python默认字符是ascii,但是请求的网页编码是utf8字符的，获取的内容需要转成

utf8字符集然后在输出，可以这么干。

print(r.data.decode('utf-8'))

　　然后重新运行发现大功告成。

　　再来看下BeautifulSoup模块,其实挺简单的就和jquery操作dom类似，具体看文档即可.

　　

from bs4 import BeautifulSoup
import re #正则

str = '''
      <div class="menu">
    <ul class="main-menu">
        <li class="first-menu"><a href="/index.php?m=Admin&c=Goods&a=index&typelist=1">品牌商管理</a></li>
        <li class="first-menu"><a href="javascript:;">商品管理</a></li>
        <li class="first-menu"><a href="/index.php?m=Admin&c=MyDistribution&a=index">分销平台</a></li>
        <li class="first-menu">
            <a href="javascript:;">消息中心</a>
            <ul class="sub-menu clearfix">
                <li><a href="/index.php?m=Admin&c=News&a=businessNewsList">商家公告</a></li>
                <li><a href="/index.php?m=Admin&c=Distribution&a=distributionList">申请分销</a></li>
                <li><a href="/index.php?m=Admin&c=Message&a=chatMessageList">聊天消息</a></li>
                <li><a href="/index.php?m=Admin&c=System&a=systemNewsList">系统公告</a></li>
            </ul>
        </li>
        <li class="first-menu"><a href="javascript:;">嗨库社区</a></li>
        <li class="first-menu"><a href="javascript:;">我的设置</a></li>
    </ul>
</div>
'''

soup = BeautifulSoup(str,'html.parser',from_encoding='utf-8')

print('获取所有的链接')
links= soup.find_all('a'); #list
for a in links:
    print(a),print(a['href']) #获取ａ标签，和属性href

print('获取href为 /index.php?m=Admin&c=Goods&a=index&typelist=1的url')
links = soup.find('a',href="/index.php?m=Admin&c=Goods&a=index&typelist=1")
print(links.name,links['href'],links.get_text())


print('通过class属性')
links = soup.find('ul',class_='main-menu')
print(links)

print('正则匹配')
links = soup.find_all('a',href=re.compile(r"List")) #　加r -> 要转义\只需要写成 \\即可 ， 不然要写成\\\
print(links)

　　最后结合２个模块来实现，获取抓取页面的 a标签的href

from bs4 import BeautifulSoup
import re #正则
import urllib.parse
import urllib3

r_url = 'http://baike.baidu.com/link?url=41wW1kkRvhT23i_c6258EtBeBv6Xwtz7gwd3t0q5k-xCs_ipCGRc_ixcCLMail3QtQe4ZRgOK83ek9aHm44QPa'

#发送请求获取内容
http = urllib3.PoolManager()
r = http.request('GET',r_url)

str = data = r.data.decode('utf-8')

'''
#挽尊学习法，先发获取的内容生成文件，看下到底是什么
f = open('2.html','w')
f.write(data.decode('utf-8'))
f.close()
'''

soup = BeautifulSoup(str,'html.parser',from_encoding='utf-8')
#通过正则获取所有href 为 　/view/123/456.htm 这样的链接
links = soup.find_all('a',href=re.compile(r'/view/[\d/]+\.htm'))  #　加r -> \只需要一个 \转义 ，　不然要写成\\\

for url in links:
    new_url = url['href']
    '''
    将 r_url的域名-> http://baike.baidu.com
    和 新的url ->  /view/123/456.htm　组装起来
    '''
    new_full_url = urllib.parse.urljoin(r_url,new_url) #http://baike.baidu.com/view/123/456.htm
    print(new_full_url)

　　参考：https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/

　　　　　http://urllib3.readthedocs.io/en/latest/