requests模块+代理+bs4

目录

爬虫介绍

# 大部分软件，cs，bs，主流都是用http协议通信，模拟发送http请求---服务端把数据返回(html,xml,json)----数据的清洗（re，bs4）----入库（文件，mysql，redis，es，mongo）
	-mysql：tcp自定定制的协议
    -redis：tcp自定定制的协议
    -docker：http协议，符合resful规范
    -es：http协议，符合resful规范
 
# 爬虫的本质：
	1 模拟发送http请求(requests，requests-hmtl,selenium)
    2 数据清洗反扒（re，bs4，lxml：css选择器，xpath选择器）
    3 增加并发量（线程，进程，协程）---》scrapy
    4 入库
    
# 最大的爬虫：百度，谷歌
	-百度一刻不停的在互联网中爬取网页----》把网页存到百度的数据库
    	(基本上所有公司都希望被百度爬到，并且权重高，显示在最前面)----（seo，sem）
    -当我们在搜索内容时，输入了关键字----》全文检索---》现在在搜索结果中


# 爬虫有爬虫协议
	-我们做爬虫要遵循爬虫协议：这个网站哪些让我们爬，哪些不让
    -robots.txt


# 编码，混淆，加密的区别
# js逆向，安卓反编译，动态调试（汇编）

requests模块

模拟发送http请求，requests模块

# 介绍：使用requests可以模拟浏览器的请求，比起之前用到的urllib，requests模块的api更加便捷（本质就是封装了urllib3）

# 注意：requests库发送请求将网页内容下载下来以后，并不会执行js代码，这需要我们自己分析目标站点然后发起新的request请求

# 安装：pip3 install requests
# 只能发送请求，不能解析html，后来作者又写了一个模块：requests-hmtl模块：兼具发送请求和解析
	requests+lxml=requests-hmtl
    
    
# 不仅仅用来做爬虫，重点：后端跟另一个服务交互，也需要使用它
	-假设公司有：短链系统    把很长的url链接生成短的url链接
    	-原理：申请很短的域名：https://sourl.cn/wBdfzc
        	id    code        url
            1     wBdfzc     https://image.baidu.com/search/index?
            
    -其它系统生成的链接很长---》转短---》调用短链系统的接口

get请求

import requests

res=requests.get('https://www.cnblogs.com/')  
# res是http响应封装成了对象，响应中得所有东西，都在这个对象中
# print(res.text)  # 响应体的字符串

携带参数

# 方式一：直接使用
res=requests.get('https://www.cnblogs.com/?name=lqz&age=19')
print(res.text)  # 响应体的字符串
# 方式二：使用params参数
res=requests.get('https://www.cnblogs.com/',params={'name':'lqz','age':19})
print(res.text)  # 响应体的字符串

# 小注意：如果中文涉及到 url的编码和解码
from urllib import parse

携带请求头

# 最初级的反扒----现在请求头中得user-agent
# 常见请求头：
user-agent：客户端类型
Referer: https://www.lagou.com/gongsi/  上一次访问的地址
图片防盗链
反扒：除了首页外，上一个地址不是我们自己的地址，就禁掉


# 面试题：讲讲你知道的http的请求头？ 
x-forword-for

# 携带请求头
header = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36',}
res=requests.get('https://dig.chouti.com/',headers=header)
print(res.text)

携带cookie

携带cookie---登录信息---携带着说明登录了---能干登录的事

# 方式一：带在请求头中
res = requests.post('https://dig.chouti.com/link/vote',
                    headers=header,
                    data={'linkId': '35811284'})

print(res.text)

# 方式二：使用cookie参数:之前登录成功了，就有cookie，cookie是CookieJar的对象，直接传
header = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36',}
res = requests.post('https://dig.chouti.com/link/vote',
                    headers=header,
                    # Dict or CookieJar
                    # cookies={},
                    data={'linkId': '35811284'})

print(res.text)

post请求

# 登录接口 post请求
from-data,urlencoded(默认),json
res = requests.post('http://www.aa7a.cn/user.php', data={
    'username': '@qq.com',
    'password': '',
    'captcha': 'aaaa',
    'remember': 1,
    'ref': 'http://www.aa7a.cn/user.php?act=logout',
    'act': ' act_login',
})
print(res.text)
print(res.cookies)  # 登录成功的cookie，cookieJar对象----字典
# 登录成功
res1=requests.get('http://www.aa7a.cn/',cookies=res.cookies)
print('616564099@qq.com' in res1.text)

携带数据

# post请求编码是json格式
res=requests.post('xxx',json={})

request.session

# request.session的使用，整个过程中自动维护cookie
session=requests.session()
# 使用session发送请求
session.post('http://www.aa7a.cn/user.php', data={
    'username': '616564099@qq.com',
    'password': 'lqz123',
    'captcha': 'aaaa',
    'remember': 1,
    'ref': 'http://www.aa7a.cn/user.php?act=logout',
    'act': ' act_login',
})
res1=session.get('http://www.aa7a.cn/')
print('616564099@qq.com' in res1.text)

response属性

# repsonse对象的属性和方法----把http的响应封装成了response
respone=requests.get('https://www.cnblogs.com/')
respone=requests.get('http://www.autohome.com/news')


respone.text   # 响应体的字符串
respone.content # 响应体二进制数据
respone.status_code #响应状态码
respone.headers 响应头
respone.cookies #响应的cookie
respone.cookies.get_dict() #cookie转成dict
respone.cookies.items()  # cookie拿出key和value
respone.url         # 请求的地址
respone.history     # 列表，有重定向，里面放了重定向之前的地址
respone.encoding   # 响应编码格式
respone.iter_content()   # 后期咱们下载图片，视频，需要使用它

# iter_content()的使用
res=requests.get('https://video.pearvideo.com/mp4/adshort/20220427/cont-1760318-15870165_adpkg-ad_hd.mp4')
with open('致命诱惑3.mp4','wb') as f:
    # f.write(res.content)
    for line in res.iter_content(chunk_size=1024): # 按1024字节写
        f.write(line)

编码问题

大部分网站都是utf-8编码，老网站中文编码使用gbk，gb2312

respone = requests.get('http://www.autohome.com/news')
respone.encoding='gbk'
print(respone.text)  # 默认使用utf-8可能会导致中文乱码

获取二进制数据

response.content
response.iter_content(chunk_size=1024)

# .content的使用
res=requests.get('https://gdhbimg.huaban.com/e1abf47cecfe5848afc2a4a8fd2e0df1c272637f2825b-e3lVMF_fw658')
with open('美女.png','wb') as f:
    f.write(res.content)

解析json

res = requests.post('http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashxop=keyword', data={
    'cname': '',
    'pid': '',
    'keyword': '北京',
    'pageIndex': 1,
    'pageSize': 10,})

print(res.text)
print(type(res.text))

import json
dic_res = json.loads(res.text)
print(type(dic_res))
print(dic_res['Table1'][0]['storeName'])


# 简便方法
res = requests.post('http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashxop=keyword', data={
    'cname': '',
    'pid': '',
    'keyword': '北京',
    'pageIndex': 1,
    'pageSize': 10,})

print(type(res.json()))
print(type(res.json()))

高级用法之 Cert Verification

高级用法之证书----http请求---https请求

https = http + ssl

import requests
# 不验证证书，直接访问
respone=requests.get('https://www.12306.cn',verify=False)
# 验证证书
respone=requests.get('https://www.12306.cn',
                     cert=('/path/server.crt',
                           '/path/key'))

代理

使用代理是因为：频率限制----限制ip，黑名单（封ip）

import requests
proxies = {
    'http': '112.14.47.6:52024',
}
respone=requests.get('https://www.cnblogs.com/',proxies=proxies)
print(respone.status_code)

# django---部署到云服务器上---客户端ip --request.META.get('REMOTE_ADDR')

正向代理和反向代理

超时，认证，异常，上传文件

# 超时设置
import requests
respone=requests.get('https://www.baidu.com',timeout=0.0001)


# 异常处理
from requests.exceptions import *
try:
    r=requests.get('http://www.baidu.com',timeout=0.00001)
except ReadTimeout:
    print('===:')
except ConnectionError: #网络不通
    print('-----')
except Timeout:
    print('aaaaa')
except Exception:
    print('x')


# 上传文件
import requests
files={'file':open('a.jpg','rb')}
respone=requests.post('http://httpbin.org/post',files=files)
print(respone.status_code)

代理池搭建

代理池----有很多代理ip----每次随机从里面取出一个ip使用

# 基于网上别人开源的代理池的python代码，自己搭建（本质是爬取的免费代理，验证）
	-基于flask搭建的服务端：提供一些接口，只要向接口发送请求，就能随机返回一个代理
    -爬虫程序：爬取免费代理，验证通过放到redis中


第一步：clone代码
git clone git@github.com:jhao104/proxy_pool.git
第二步：安装依赖
pip3.8 install -r requirements.txt
第三步：配置配置文件
# settings.py
DB_CONN = 'redis://127.0.0.1:6379/1'
第四步：启动项目
# 爬虫程序
python38 proxyPool.py schedule
# web服务程序
python38 proxyPool.py server

# 第五步：获取代理
http://127.0.0.1:5010/get/

django后端获取客户端的ip

# django 返回访问者ip，部署在服务器上
# 客户端使用搭建的代理池访问我们自己的djnago
	-正常会返回代理的ip地址
    import requests
    res1 = requests.get('http://127.0.0.1:5010/get/').json()
    print(res1['proxy'])
    if res1['https']:
        h = 'https'
    else:
        h = 'http'

    proxies = {
       h: res1['proxy'],
    }
    res = requests.get('http://101.133.225.166/get_ip/',proxies=proxies)
    print('---',res.text)

爬取某视频网站

# https://www.pearvideo.com/category_loading.jsp?reqType=5&categoryId=5&start=0

import requests
import re

res = requests.get('https://www.pearvideo.com/category_loading.jsp?reqType=5&categoryId=5&start=0')
# print(res.text)

video_list = re.findall('<a href="(.*?)" class="vervideo-lilink actplay">', res.text)
print(video_list)
# https://www.pearvideo.com/video_1768482
for video in video_list:
    video_id = video.split('_')[-1]
    video_url = 'https://www.pearvideo.com/' + video
    header = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36',
        'Referer': video_url
    }
    res1 = requests.get('https://www.pearvideo.com/videoStatus.jsp?contId=%s&mrd=0.5602821872545047' % video_id,
                        headers=header
                        ).json()
    # print(res1['videoInfo']['videos']['srcUrl'])
    mp4_url = res1['videoInfo']['videos']['srcUrl']
    real_mp4_url = mp4_url.replace(mp4_url.split('/')[-1].split('-')[0], 'cont-%s' % video_id)
    print(real_mp4_url)
    # 下载视频
    res2 = requests.get(real_mp4_url)
    with open('video/%s.mp4' % video_id, 'wb') as f:
        for line in res2.iter_content(1024):
            f.write(line)

# 直接发送请求，拿不到视频，它是发送了ajax请求获取了视频，但是需要携带referer
# res=requests.get('https://www.pearvideo.com/video_1768482')
# print(res.text)


# https://video.pearvideo.com/mp4/third/20220729/     1659324669265     -11320310-183708-hd.mp4   # 不能播
# https://video.pearvideo.com/mp4/third/20220729/     cont-1768482      -11320310-183708-hd.mp4    #能播

# url='https://video.pearvideo.com/mp4/third/20220729/   1659324669265    -11320310-183708-hd.mp4'



# 其他
	-关于全站爬取：更好分类id和起始爬取的数字即可
    -同步爬取，速度一般，加入线程(线程池)，提高爬取速度---》作业（线程池）
    -封ip问题---》代理池了（使用代理池）
    -视频处理（截取视频，拼接视频）---》ffmpeg软件---》通过命令调用软件
    	python操作软件：subprocess模块 执行ffmpeg的命令完成视频操作
       	python模块操作opencv（c写的，编译后，使用python调用），实现非常高级的功能
        文件操作给视频加头去尾部
        
# 百度网盘
	-秒传功能：对每个文件都做了md5摘要，再上传相同文件
    -盗版视频（某些视频），只要视频多一点点，少一点点就可以了
    -单线程下载---》迅雷---》多线程下载

爬取新闻

# re 正则匹配----html内容（xml），比较复杂，查找的东西比较多，BeautifulSoup4 专业的对html，xml进行解析（修改）
# pip3 install beautifulsoup4

import requests
from bs4 import BeautifulSoup

res = requests.get('https://www.autohome.com.cn/news/1/#liststart')

# print(res.text)
# 之前使用re解析，解析这个比较麻烦，我们使用bs4解析
#  第一个参数是要解析的字符串（html，xml格式）
#  第二个参数是解析方式：html.parser
soup = BeautifulSoup(res.text, 'html.parser')

# 开始使用，查找内容
# 查找所有的类名为article的ul标签
ul_list = soup.find_all(name='ul', class_='article')
for ul in ul_list:
    li_list = ul.find_all(name='li')
    for li in li_list:
        h3 = li.find(name='h3')
        if h3:
            # 从h3中取出文本内容,新闻标题
            title = h3.text
            desc = li.find(name='p').text
            # url=li.find(name='a')['href']
            url = 'http:' + li.find(name='a').attrs['href']
            img = 'http:' + li.find(name='img')['src']

            print('''
            新闻标题：%s
            新闻摘要：%s
            新闻地址：%s
            新闻图片：%s
            ''' % (title, desc, url,img))
            # 1 把图片保存到本地（你会）
            # 2 把清洗过后的数据存到mysql中
            # 3 全站爬取变更页码数（https://www.autohome.com.cn/news/1/#liststart）

BeautifulSoup4 介绍

# Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库
# 使用requests发请求拿回来的html，就可以使用bs4解析出咱们想要的数据

# BeautifulSoup(要解析的字符串, "解析方式：html.parser，lxml：需要安装lxml解析库，如果不装就报错")

# 文档容错能力：可以不是标准的html，缺一些标签，也可以解析

bs4 遍历文档树

'''
#遍历文档树：即直接通过标签名字选择，特点是选择速度快，但如果存在多个相同的标签则只返回第一个
#1、用法
#2、获取标签的名称
#3、获取标签的属性
#4、获取标签的内容
#5、嵌套选择
#6、子节点、子孙节点
#7、父节点、祖先节点
#8、兄弟节点

'''

# 1 基本使用(通过 . 遍历，速度快)
res=soup.p
res1=soup.p.b
res1=soup.html.body.p.b
print(res1)

# 2 取标签的名称
res1=soup.body
print(res1.name)

# 3 获取标签的属性(两种方式)
res1=soup.body.p
print(res1['class'])   # ['title']  因为class可能有多个
print(res1['id'])
print(res1.attrs['id'])

res=soup.a['href']
print(res)


# 4 获取标签的内容
res=soup.a
print(res.text)  # text 把子子孙孙的文本内容拼到一起
print(res.string) # string 没有子标签才能获取文本
print(list(res.strings))  # generator strings:把子子孙孙的文本内容放到生成器中

res=soup.p
print(res.text)
print(res.string)
print(list(res.strings))


#5、嵌套选择(因为soup.head那到的也是要给对象，bs4.element.Tag类的对象,因为BeautifulSoup继承子Tag)
print(soup.head.title.string)
print(type(soup.head))


### 一下的了解
#6、子节点、子孙节点
print(soup.p.contents) # p下所有子节点
print(soup.p.children) #得到一个迭代器,包含p下所有子节点
print(list(soup.p.descendants)) #获取子孙节点,p下所有的标签都会选择出来


#7、父节点、祖先节点
print(soup.a.parent) #获取a标签的父节点
print(list(soup.a.parents)) #找到a标签所有的祖先节点，父亲的父亲，父亲的父亲的父亲...

#8、兄弟节点
print(soup.a.next_sibling) #下一个兄弟
print(soup.a.previous_sibling) #上一个兄弟

print(list(soup.a.next_siblings)) #下面的兄弟们=>生成器对象
print(list(soup.a.previous_siblings)) #上面的兄弟们=>生成器对象

bs4搜索文档树

# find（找最近的一个），find_all（找所有符合的）

1、五种过滤器: 字符串、正则表达式、列表、True、方法

#  1 字符串--->字符串指的是属性是字符串
p=soup.find(name='p',class_='title')
p=soup.find(id='id_p')
p=soup.find(id='id_p')
res=soup.find(text="The Dormouse's story").parent
print(res)


# 2 正则表达式
import re
res=soup.find_all(name=re.compile('^b'))
res=soup.find_all(class_=re.compile('^s'))
print(res)

# 3 列表
res=soup.find_all(name=['body','b'])
res=soup.find_all(class_=['sister','story'])
print(res)

# 4 True
res=soup.find_all(id=True)  # 有id的所有标签
res=soup.find_all(text=False)
print(res)


# 5方法
def has_class_but_no_id(tag):
    return tag.has_attr('class') and not tag.has_attr('id')

print(soup.find_all(name=has_class_but_no_id))


# find_all的其它属性：find就是find_all，只不过取了第一条
# limit:限制取的条数
# res=soup.find_all(class_=True,limit=1)
# recursive：是否递归查找，找一层还是找多层
# res=soup.body.find_all(name='p',recursive=False)

# attrs
# res=soup.find_all(class_=True)
# res=soup.find_all(attrs={'class':True})
# print(res)



# 搜索文档树的方式使用的是find和find_all

css选择器

# 还可以使用css选择器
'''
div    标签名
.类名   类名
#id     id号
div>p   div下紧邻的p标签
div p   div下子子孙孙有p就拿出来

'''
# res=soup.select('.sister')
# res=soup.select('b.sister')
res=soup.select('#id_p')[0]['class']
print(res)
posted @ 2022-08-01 22:17  Rain_Kz  阅读(64)  评论(0)  编辑  收藏  举报