爬虫简介

1 爬虫介绍

# 所有的软件，90%以上，cs,bs,主流都是用http协议通信，模拟发送http请求---》服务端把数据返回(html,xml,json)---->数据的清洗（re，bs4）---->入库（文件，mysql，redis，es，mongo）
	-mysql：tcp自定定制的协议
    -redis：tcp自定定制的协议
    -docker：http协议，符合resful规范
    -es：http协议，符合resful规范

# 爬虫的本质：
	1 模拟发送http请求(requests，requests-hmtl,selenium)
    2 数据清洗反扒（re，bs4，lxml：css选择器，xpath选择器）
    3 增加并发量（线程，进程，协程）---》scrapy
    4 入库
    
# 最大的爬虫：百度，谷歌
	-百度一刻不停的在互联网中爬取网页----》把网页存到百度的数据库
    	(基本上所有公司都希望被百度爬到，并且权重高，显示在最前面)----（seo，sem）
    -当我们在搜索内容时，输入了关键字----》全文检索---》现在在搜索结果中


# 爬虫有爬虫协议
	-我们做爬虫要遵循爬虫协议：这个网站哪些让我们爬，哪些不让
    -robots.txt


# 编码，混淆，加密的区别
# js逆向，安卓反编译，动态调试（汇编）

2 requests模块介绍

# 模拟发送http请求，requests模块
# urllib内置模块，可以发送http请求，但是api使用复杂
# 介绍：使用requests可以模拟浏览器的请求，比起之前用到的urllib，requests模块的api更加便捷（本质就是封装了urllib3）

# 注意：requests库发送请求将网页内容下载下来以后，并不会执行js代码，这需要我们自己分析目标站点然后发起新的request请求

# 安装：pip3 install requests
# 只能发送请求，不能解析html，后来作者又写了一个模块：requests-hmtl模块：兼具发送请求和解析
	requests+lxml=requests-hmtl
    
    
# 不仅仅用来做爬虫，重点：后端跟另一个服务交互，也需要使用它
	-假设公司有：短链系统    把很长的url链接生成短的url链接
    	-原理：申请很短的域名：https://sourl.cn/wBdfzc
        	id    code        url
            1     wBdfzc     https://image.baidu.com/search/index?
            
    -其它系统生成的链接很长---》转短---》调用短链系统的接口

import requests

# res=requests.get('https://www.cnblogs.com/')  # res是http响应封装成了对象，响应中得所有东西，都在这个对象中
# print(res.text)  # 响应体的字符串

3 携带get参数

# 2 请求地址中带参数
# 方式一：直接使用
# res=requests.get('https://www.cnblogs.com/?name=lqz&age=19')
# print(res.text)  # 响应体的字符串
# 方式二：使用params参数
# res=requests.get('https://www.cnblogs.com/',params={'name':'lqz','age':19})
# print(res.text)  # 响应体的字符串
# 小注意：如果中文涉及到 url的编码和解码
# https://www.cnblogs.com/?name=%E6%9D%8E%E6%B8%85%E7%85%A7&age=19
#                              %E6%9D%8E%E6%B8%85%E7%85%A7
from urllib import parse

#
# res=parse.quote('李清照')
# print(res)
#
# res1=parse.unquote('%E6%9D%8E%E6%B8%85%E7%85%A7')
# res1=parse.unquote('http://www.aa7a.cn/user.php?&ref=http%3A%2F%2Fwww.aa7a.cn%2Fuser.php%3Fact%3Dlogout')
# print(res1)

4 携带请求头

# 3 携带请求头
# 爬不到---》做了反扒————》最初级的反扒----》现在请求头中得user-agent
# 常见请求头：
# user-agent：客户端类型
# Referer: https://www.lagou.com/gongsi/  上一次访问的地址
# 图片防盗链
# 反扒：除了首页外，上一个地址不是我们自己的地址，就禁掉


# 面试题：讲讲你知道的http的请求头？ x-forword-for
# header = {
#     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36',
#     
# }
# res=requests.get('https://dig.chouti.com/',headers=header)
# print(res.text)

5 携带cookie

# 4 携带cookie---》登录信息---》携带着说明登录了---》能干登录的事
## 方式一：带在请求头中
# res = requests.post('https://dig.chouti.com/link/vote',
#                     headers=header,
#                     data={
#                         'linkId': '35811284'
#                     })
#
# print(res.text)

# 方式二：使用cookie参数:之前登录成功了，就有cookie，cookie是CookieJar的对象，直接传
# header = {
#     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36',
# }
# # requests.get()
# res = requests.post('https://dig.chouti.com/link/vote',
#                     headers=header,
#                     # Dict or CookieJar
#                     # cookies={},
#                     data={
#                         'linkId': '35811284'
#                     })
#
# print(res.text)

6 post请求

# 5 发送post请求---》登录接口
# from-data,urlencoded(默认),json
# res = requests.post('http://www.aa7a.cn/user.php', data={
#     'username': '@qq.com',
#     'password': '',
#     'captcha': 'aaaa',
#     'remember': 1,
#     'ref': 'http://www.aa7a.cn/user.php?act=logout',
#     'act': ' act_login',
# })
# print(res.text)
# print(res.cookies)  # 登录成功的cookie，cookieJar对象--》字典
# # 登录成功
# res1=requests.get('http://www.aa7a.cn/',cookies=res.cookies)
# print('616564099@qq.com' in res1.text)

7 post请求携带数据

# 6 post请求编码是json格式
# res=requests.post('xxx',json={})

8 request.session

# 7 request.session的使用，整个过程中自动维护cookie

# session=requests.session()
# # 使用session发送请求
# session.post('http://www.aa7a.cn/user.php', data={
#     'username': '616564099@qq.com',
#     'password': 'lqz123',
#     'captcha': 'aaaa',
#     'remember': 1,
#     'ref': 'http://www.aa7a.cn/user.php?act=logout',
#     'act': ' act_login',
# })
# res1=session.get('http://www.aa7a.cn/')
# print('616564099@qq.com' in res1.text)

9 response属性

# 8 repsonse对象的属性和方法--》把http的响应封装成了response
# respone=requests.get('https://www.cnblogs.com/')
# respone=requests.get('http://www.autohome.com/news')
# print(respone.text)   # 响应体的字符串
# print(respone.content) # 响应体二进制数据
# print(respone.status_code) #响应状态码
# print(respone.headers)# 响应头
# print(respone.cookies) #响应的cookie
# print(respone.cookies.get_dict()) #cookie转成dict
# print(respone.cookies.items())  # cookie拿出key和value
# print(respone.url)         # 请求的地址
# print(respone.history)     # 列表，有重定向，里面放了重定向之前的地址
# print(respone.encoding)   # 响应编码格式
# 后期咱们下载图片，视频，需要使用它
# respone.iter_content()

# res=requests.get('https://video.pearvideo.com/mp4/adshort/20220427/cont-1760318-15870165_adpkg-ad_hd.mp4')
# with open('致命诱惑3.mp4','wb') as f:
#     # f.write(res.content)
#     for line in res.iter_content(chunk_size=1024): # 按1024字节写
#         f.write(line)

10 编码问题

# 9 编码问题---》大部分网站都是utf-8编码，老网站中文编码使用gbk，gb2312
# respone = requests.get('http://www.autohome.com/news')
# # respone.encoding='gbk'
# print(respone.text)  # 默认使用utf-8可能会导致中文乱码

11 获取二进制数据

# 10 获取二进制数据
# response.content
# response.iter_content(chunk_size=1024)
# res=requests.get('https://gd-hbimg.huaban.com/e1abf47cecfe5848afc2a4a8fd2e0df1c272637f2825b-e3lVMF_fw658')
# with open('美女.png','wb') as f:
#     f.write(res.content)

11 解析json

# 11 解析json

# res = requests.post('http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword', data={
#     'cname': '',
#     'pid': '',
#     'keyword': '北京',
#     'pageIndex': 1,
#     'pageSize': 10,
#
# })
# print(res.text)
# print(type(res.text))
# import json
#
# dic_res = json.loads(res.text)
# print(type(dic_res))
# print(dic_res['Table1'][0]['storeName'])

# 简便方法
# res = requests.post('http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword', data={
#     'cname': '',
#     'pid': '',
#     'keyword': '北京',
#     'pageIndex': 1,
#     'pageSize': 10,
#
# })# 11 解析json

# res = requests.post('http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword', data={
#     'cname': '',
#     'pid': '',
#     'keyword': '北京',
#     'pageIndex': 1,
#     'pageSize': 10,
#
# })
# print(res.text)
# print(type(res.text))
# import json
#
# dic_res = json.loads(res.text)
# print(type(dic_res))
# print(dic_res['Table1'][0]['storeName'])

# 简便方法
# res = requests.post('http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword', data={
#     'cname': '',
#     'pid': '',
#     'keyword': '北京',
#     'pageIndex': 1,
#     'pageSize': 10,
#
# })
# print(type(res.json()))
# print(type(res.json()))

13高级用法之 Cert Verification

# 13 高级用法之证书（了解）----》http请求---》https请求
# 什么是https=http+ssl
# 发送请求手动携带证书
# import requests
# # 不验证证书，直接访问
# respone=requests.get('https://www.12306.cn',verify=False)
# respone=requests.get('https://www.12306.cn',
#                      cert=('/path/server.crt',
#                            '/path/key'))

14 代理

# 14 代理---》频率限制---》限制ip，黑名单（封ip）

# import requests
# proxies = {
#     'http': '112.14.47.6:52024',
# }
# #180.164.66.7
# respone=requests.get('https://www.cnblogs.com/',proxies=proxies)
# print(respone.status_code)
#
# # django---》部署到云服务器上---》客户端ip --request.META.get('REMOTE_ADDR')

15 超时，认证，异常，上传文件

# 15 超时设置
# import requests
# respone=requests.get('https://www.baidu.com',timeout=0.0001)


# 16 异常处理
from requests.exceptions import *
# try:
#     r=requests.get('http://www.baidu.com',timeout=0.00001)
# # except ReadTimeout:
# #     print('===:')
# # except ConnectionError: #网络不通
# #     print('-----')
# # except Timeout:
# #     print('aaaaa')
# except Exception:
#     print('x')


# 17 上传文件
# import requests
# files={'file':open('a.jpg','rb')}
# respone=requests.post('http://httpbin.org/post',files=files)
# print(respone.status_code)