Python3网页爬取

常见问题

urllib.error.HTTPError: HTTP Error 403: Forbidden

有些服务器会拒绝非浏览器查看内容，此时需要添加headers参数，将爬虫程序伪装成浏览器

Chrome版本信息

地址：chrome://version/

# coding: utf-8
import urllib   #用urllib库进行页面爬取
from urllib.request import urlopen,Request      #用request进行页面有关的操作
from bs4 import BeautifulSoup as bs
import chardet  #查看页面的编码类型
from openpyxl import workbook  # 写入Excel表所用
from openpyxl import load_workbook  # 读取Excel表所用
import os
os.chdir('C:\Users\Admin\Desktop')  # 更改工作目录为桌面

# 爬取网页
def getHtml(address, headers)
    url = Request(url=address, headers=headers)
    html = urlopen(url).read()
    #charset = chardet.detect(html)    #查看编码类型
    #print(charset)    #打印编码类型
    html = html.decode('utf-8')
    return html

def getTable(html)
    soup = bs(html, 'html.parser')  # 将读取到的网页代码用指定解析器html.parser进行解析
    tables = soup.find_all('div')

if __name__ == '__main__':
    #   读取存在的Excel表测试
    #     wb = load_workbook('test.xlsx') #加载存在的Excel表
    #     a_sheet = wb.get_sheet_by_name('Sheet1') #根据表名获取表对象
    #     for row in a_sheet.rows: #遍历输出行数据
    #         for cell in row: #每行的每一个单元格
    #             print cell.value,

    #  创建Excel表并写入数据
    wb = workbook.Workbook()    # 创建Excel对象
    ws = wb.active               # 获取当前正在操作的表对象
    # 往表中写入标题行,以列表形式写入！
    ws.append(['信息页', '公司名称', '主营产品', '联系人', '电话'])
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) Chrome/79.0.3945.88 Safari/537.36'}
    address = 'http://b2b.huangye88.com/wuxi/zhuangxiuzhuangshi9586/pn2/'
    html = getHtml(address, headers)
    getTable(html)