spider_使用user-agent

"""
1.使用第一种反反爬措施User-Agent（伪装浏览器）

"""
import chardet
import requests
from urllib import request
# 使用etree   python3.5以上 ，不支持etree，
from lxml import html



# 1.得到所有的章节url的html网页
# def urlsHtml():
#     # 使用user-agent代理，伪装浏览器
#     url = "https://www.biqudao.com/bqge25289/"
#     henders = {
#         "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36"
#                }
#     # 得到解析文本  不调用text的话，返回的是一个bytes(字节数组)
#     res = requests.get(url,headers=henders).text
#     print(type(res))
#
#     return res
#
# # 调用函数
# date = urlsHtml()
# print(date)


class BaiDu(object):
    def baidu(self):
        url = "http://www.baidu.com/"
        headers = {
            "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:66.0) Gecko/20100101 Firefox/66.0"
        }
        # 声明请求对象的时候 注入请求头 修改User-Agent(身份)
        req = request.Request(url,headers=headers)
        # 网页请求
        html = request.urlopen(req).read()
        print(html.decode())

if __name__ == '__main__':
    bd = BaiDu()
    bd.baidu()