python网络数据采集笔记（二）

第五章 

•媒体文件

在 Python 3.x 版本中， urllib.request.urlretrieve 可以根据文件的 URL 下载文件：

import os
from urllib.request import urlretrieve
from urllib.request import urlopen
from bs4 import BeautifulSoup
downloadDirectory = "downloaded"
baseUrl = "http://pythonscraping.com"
def getAbsoluteURL(baseUrl, source):
    if source.startswith("http://www."):
        url = "http://"+source[11:]
    elif source.startswith("http://"):
        url = source
    elif source.startswith("www."):
        url = source[4:]
        url = "http://" + source
    else:
        url = baseUrl + "/" + source
    if baseUrl not in url:
        return None
    return url

def getDownloadPath(baseUrl, absoluteUrl, downloadDirectory):
    path = absoluteUrl.replace("www.", "")

    path = path.replace(baseUrl, "")
    path = downloadDirectory + path
    directory = os.path.dirname(path)
    if not os.path.exists(directory):
        os.makedirs(directory)
    return path

html = urlopen("http://www.pythonscraping.com")
bsObj = BeautifulSoup(html, "lxml")
downloadList = bsObj.findAll(src=True)
for download in downloadList:
    fileUrl = getAbsoluteURL(baseUrl, download["src"])
    if fileUrl is not None:
        print(fileUrl)
urlretrieve(fileUrl, getDownloadPath(baseUrl, fileUrl, downloadDirectory))

Output:

http://pythonscraping.com/misc/jquery.js?v=1.4.4
http://pythonscraping.com/misc/jquery.once.js?v=1.2
http://pythonscraping.com/misc/drupal.js?pa2nir
http://pythonscraping.com/sites/all/themes/skeletontheme/js/jquery.mobilemenu.js?pa2nir
http://pythonscraping.com/sites/all/modules/google_analytics/googleanalytics.js?pa2nir
http://pythonscraping.com/sites/default/files/lrg_0.jpg
http://pythonscraping.com/img/lrg%20(1).jpg

说明：其实这里只下载了最后一个链接的内容。将

urlretrieve(fileUrl, getDownloadPath(baseUrl, fileUrl, downloadDirectory))缩进进入for循环。
会显示错误

tfp = open(filename, 'wb')
OSError: [Errno 22] Invalid argument: 'downloaded/misc/jquery.js?v=1.4.4'

这里是为什么?先记录一下。

初步判断应该是未指明文件类型，比如

lrg%20(1).jpg之类的，txt,html...

•将HTML表格数据存储到CSV
CSV（Comma-Separated Values，逗号分隔值）是存储表格数据的常用文件格式。 
每一行都用一个换行符分隔，列与列之间用逗号分隔（因此也叫“逗号分隔值”）。 CSV 文件还可以用 Tab 字符或其他字符分隔行，但是不太常见，用得不多。 
Python 的 csv 库可以非常简单地修改 CSV 文件，甚至从零开始创建一个 CSV 文件：

import csv
csvFile = open("C:\\Users\dell\\PycharmProjects\\untitled1\\0628\\csv_test", 'w+')
try:
    writer = csv.writer(csvFile)
    writer.writerow(('number', 'number plus 2', 'number times 3'))
    for i in range(10):
        writer.writerow((i, i+2, i*2))
finally:
    csvFile.close()

Output:

number,number plus 2,number times 3

0,2,0

1,3,2

2,4,4

网络数据采集的一个常用功能就是获取 HTML 表格并写入 CSV 文件。

采集https://www.runoob.com/html/html-tables.html的第一个表格。

其网页源码如图：

上代码

import csv
from urllib.request import urlopen
from bs4 import BeautifulSoup

html = urlopen('https://www.runoob.com/html/html-tables.html')
bs = BeautifulSoup(html, 'html.parser')

table = bs.findAll('table',{'class':'reference'})[0]
rows = table.findAll('tr')

csvFile = open('C:\\Users\dell\\PycharmProjects\\untitled1\\0628\\csv_test1', 'wt+')
writer = csv.writer(csvFile)
try:
    for row in rows:
        csvRow = []
        for cell in row.findAll(['td', 'th']):
            csvRow.append(cell.get_text())
        writer.writerow(csvRow)
finally:
    csvFile.close()

Output:

First Name,Last Name,Points

Jill,Smith,50

Eve,Jackson,94

John,Doe,80

Adam,Johnson,67