Python 爬虫初探（一）

背景：了解过Python基础语法，了解少许正则表达式，可以说约等于零基础了- -。这应该会是一个系列，相当于记录我学习爬虫相关技术知识的笔记，十分十分基础~~

语言：Python 3.6

环境：Win7

爬虫工作原理理解，将爬虫想象为一只在互联网上爬取信息的蜘蛛，首先初始化一个网页入口，程序获取将该网页的内容，识别出有用信息的链接（例如网易新闻排行榜主页中有用的信息则是各种类别的新闻）。然后将这些链接存储到队列中，由爬虫程序分别一个个进行网页信息抓取，直到将所有涉及到的网页信息都抓取到服务器中为止。

爬虫涉及的技术知识点目前了解到的有：

1、网页的抓取：GET/POST方式抓取网页、Cookie登录，遭遇反爬虫怎么处理、分布式爬虫、如何提高抓取效率；

2、内容的析取、存储；

好吧，暂时这么多，其实很多东西还没开始学，先记录一下第一个实现单个静态网页的抓取爬虫吧

#!/usr/bin/python3

import requests

start_url = "http://news.163.com/rank/"
contents = requests.get(start_url).content
fp = open("网易新闻排行榜.txt", "w+")
fp.write(contents.decode("gbk"))

需要使用requests库，Win7环境加载Python第三方库的方法，以requests为例：

下载 https://pypi.python.org/pypi/requests/#downloads 中这个文件，到本地将.whl后缀改为.zip后缀，解压后得

将图中第一个文件放到Python安装路径下的lib库文件夹中即可。这里吐槽一下不要用Python的IDLE工具编码，巨难用- -

fp.write(contents.decode("gbk"))

这句代码将抓取到的网易新闻排行榜页面写到文件中时进行转码是因为网页中包含中文的关系。

 

接下来是将该网页中所有的新闻子链接抓取出来，这段代码完全来自学习资料中的爬虫开源代码，我只有做注释

#!/usr/bin/python3

import os
import re
import requests
from lxml import etree

def Page_Info(myPage):
    '''Regex'''
    # 这里的re.findall 返回的是一个元组列表,内容是 (.*?) 中匹配到的内容
    # 析取每个链接的标题和链接
    myPage_Info = re.findall(r'<div class="titleBar" id=".*?"><h2>(.*?)</h2><div class="more"><a href="(.*?)">.*?</a></div></div>',myPage,re.S)
    return myPage_Info

def StringListSave(save_path, filename, slist):
    if not os.path.exists(save_path):
        os.makedirs(save_path)
    path = save_path + "/" + filename + ".txt"
    with open(path, "w+") as fp:
        for s in slist:
            # 做了utf8转码,转为终端可识别的码制
            fp.write("%s\t\t%s\n" % (s[0].encode("utf8"), s[1].encode("utf8")))
            #fp.write("%s\t\t%s\n" % (s[0], s[1]))

#测试new_page的内容    
def testNewPage(save_path, filename, new_page):
    if not os.path.exists(save_path):
        os.makedirs(save_path)
    path = save_path + "/" + filename + ".txt"
    fp = open(path, "w+")
    fp.write(new_page)
    
def New_Page_Info(new_page):
    '''Regex(slowly) or Xpath(fast)'''
    # new_page_info = re.findall(r'<td class=".*?">.*?<a href="(.*?)\.html.*?>(.*?)</a></td>',new_page,re.S)
    # results = []
    # for url, item in new_page_info:
    #     results.append((item, url+".html"))
    # return results

    #将new_page的内容转为html格式的树
    dom = etree.HTML(new_page)
    #析取 <tr <td <a中的文本
    new_items = dom.xpath('//tr/td/a/text()')
    #析取 <tr <td <a中的链接, @href 是一个属性
    new_urls = dom.xpath('//tr/td/a/@href')
    assert(len(new_items) == len(new_urls))
    return zip(new_items, new_urls)


def Spider(url):
    i = 0
    print ("downloading ", url)
    myPage = requests.get(url).content.decode("gbk")
    myPageResults = Page_Info(myPage)
    save_path = "网易新闻抓取"
    filename = str(i)+"_网易新闻排行榜"
    StringListSave(save_path, filename, myPageResults)
    i += 1
    for item, url in myPageResults:
        print ("downloading", url)
        new_page = requests.get(url).content.decode("gbk")
        testNewPage(save_path, item, new_page)
        newPageResults = New_Page_Info(new_page)
        filename = str(i) + "_" + item
        StringListSave(save_path, filename, newPageResults)
        i += 1


if __name__ == '__main__':
    print ("start")
    start_url = "http://news.163.com/rank/"
    Spider(start_url)
    print ("end")

值得注意的是 使用xpath 比 使用re.findall在抓取效率上高了不少。

 

学习以及翻阅的资料：

爬虫开源代码：https://github.com/lining0806

Python语法基础：http://www.runoob.com/python/python-tutorial.html

正则表达式语法基础：http://www.runoob.com/regexp/regexp-syntax.html

lxml学习文档：http://lxml.de/tutorial.html

XPath讲解：http://blog.csdn.net/raptor/article/details/451644

XPath官网文档：https://www.w3.org/TR/xpath/