爬虫02

面试题

 -可变类型和不可变类型
	# 可变类型：
    	Set(集合)、List(列表)、Dictionary(字典)
      值改变  内存地址不变
    
    # 不可变类型
    	Number(数字)、String(字符串)、Tuple(元组)
      值改变 内存地址也改变 
   
 
-常用的魔法方法---> 某种情况下自动触发
 
	# __new__()
    1.new方法才是一个对象实例化的时候所调用的第一个方法，它才是真正意义上的构造方法
    2.它的第一个参数是这个类,其他的参数是用来直接传递给__init__方法。
    3.__new_-决定是否要使用__init__方法，因为new方法可以调用其他类的构造方法或者直接返回别的实例都西昂来作为 本类的实例，如果__new__没有返回实例对象，那么__init__不会被调用
    4.__new__主要是用于继承一个不可变的类型比如一个tuple或者string
    # __new__方法在类定义中不是必须写的，如果没定义的话默认会调用object.__new__去创建一个对象（因为创建类的时候默认继承的就是object）。
    
    # __init__()
    类加括号 对象进行初始化
    
    #__call__
    person=Person() -->对象加括号 person()---》触发
    
    # __getattr__
    对象.属性 属性不存在 触发
    
    # __setattr__
    对象.属性=值，触发
    
    #__getitem__
    对象['属性']，属性不存在，触发
    
    #__setitem__
    对象['属性']=值，触发
    
    上下文管理器：只要重写了__enter__和__exit__方法，就具备这个能力
    with 对象 as xx:
        1 写了一行代码，触发__enter__的执行
   2 写了一行代码，触发__exit__,做一些资源清理工作
 
 
# 类中的装饰器
	-classmethod
    -staticmethod   
    -如何把方法包装成数据属性 property装饰器
    -类中如何隐藏属性
    	__属性、方法
       
    
  -双写一致性
  -断点续传
    	-迅雷多线程下载
  -内网穿透:https://zhuanlan.zhihu.com/p/370483324
  -缓存击穿

魔法方法博客复习:https://www.cnblogs.com/liuqingzheng/articles/9949568.html

类的property特性

 property装饰器用于将被装饰的方法伪装成一个数据属性，再使用时可以不加括号而直接使用，
 
property属性的定义和调用要注意以下几点:
    1.定义时，在实例方法的基础上添加@property 装饰器：并且仅有一个self参数
    2.调用时，无需括号
    
# 把方法包装成数据属性
class Person:
    def __init__(self):
        self.__name='wei'
    # 对外提供一个方法(接口)，可以使用到name
    @property
    def name(self):
        return self.__name
   
	@name.setter
    def name(self,value):
        if value.startswith('pig'):
            print('不能以pig开头，放不进去')
        else:
            self.__name=value
   
wei=Person()
# 就像用属性一样使用name
print(wei.name)  # wei
# 就想让用户支持这种方式修改，约束，不能以pig开头
wei.name='s_longge'  # 内部修改的其实是 __name
print(wei.name)    #s_longge

今日内容

1 requests 高级用法

1.0解析json

 # 发送http请求，返回的数据会有xml格式，也有json格式
 
import requests
data = {
    'cname':'',
    'pid': '',
    'keyword': '500',  # 关键字
    'pageIndex': 1,   # 分页
    'pageSize': 10,  # 每页展示数据条数
}
res = requests.post('http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword',data=data)
# print(res.text)  # json 格式字符串---》json.cn
print(type(res.json()))  # 转成对象  字典对象

1.1 ssl认证(了解)

 # http协议： 明文传输
# https协议： http+ssl/tsl
	HTTP+SSL / TLS 也就是在 https上又加了一层处理加密信息得模块，比 http安全，可防止数据在传输过程中被窃取、改变，确保数据的完整性
    https://zhuanlan.zhihu.com/p/561907474
        
   
# 以后遇到证书提示错误问题 ssl xxx
  1 不验证证书
    import requests
    respone=requests.get('https://www.12306.cn',verify=False) #不验证证书,报警告,返回200
    print(respone.status_code)
   
 
 2 关闭警告
    import requests
    from requests.packages import urllib3
    urllib3.disable_warnings() #关闭警告
    
     respone=requests.get('https://www.12306.cn',verify=False)
    print(respone.status_code)
    
3 手动携带证书（了解）
    import requests
    respone=requests.get('https://www.12306.cn',
                         cert=('/path/server.crt',
                               '/path/key'))
    print(respone.status_code)

1.2 使用代理(重要)

 # 如果爬虫使用自身ip地址访问，很有可能被封ip地址，以后就访问不了了
 
# 我们可以使用代理ip
# 代理: 收费和免费 (免费不稳定)
 
res = requests.post('https://www.cnblogs.com',proxies={'http':'地址+端口'})
 
# res = requests.post('https://www.cnblogs.com',proxies={'http':'27.79.236.66:4001'})
res = requests.post('https://www.cnblogs.com',proxies={'http':'60.167.91.34:33080'})
print(res.status_code)
 
 
# 高匿代理和透明代理
	-高匿，服务端拿不到真实客户端的ip地址
    -透明：服务端能拿到真实客户端的ip地址
    
    -后端如何拿到真实客户端ip地址
    	-http请求头中有个: X-Forwarded-For: client1,proxy1, proxy2, proxy3
        -x-forword-for
        -获得HTTP请求端真实的IP

1.3 超时设置

 import requests
respone=requests.get('https://www.baidu.com',timeout=0.0001)

1.4 异常处理

 import requests
from requests.exceptions import * # 可以查看
requests.exceptions 获取异常类型
 
try:
    r=requests.get('http://www.baidu.com',timeout=0.00001)
except ReadTimeout:
    print('===:')
# except ConnectionError: #网络不通
#     print('-----')
# except Timeout:
#     print('aaaaa')
 
except RequestException:
    print('Error')

1.5 上传文件

 # 3 上传文件
import requests
files = {'file':open('美女.png','rb')}
respone = requests.post('http://httpbin.org/post',files=files)
print(respone.status_code)

2 代理池搭建

 # requests 发送请求使用代理
# 代理从哪里来
	-搭建免费的代理池：https://github.com/jhao104/proxy_pool
        -python：爬虫+flask写的
        -架构：看下图
       
    
# 搭建步骤
	1 git clone
 https://github.com/jhao104/proxy_pool.git
    2 使用pycharm打开
    3 安装依赖: pip install -r requirements.txt
    4 修改配置文件(redis地址即可)
    	HOST = "0.0.0.0"
        PORT = 5010
        DB_CONN = 'redis://127.0.0.1:6379/0'
        PROXY_FETCHER #爬取哪些免费代理网站
    5 启动爬虫程序
    python proxyPool.py schedule
    6 启动服务端
    python proxyPool.py server
    
    7 使用随机一个免费代理
    地址栏中输入：http://127.0.0.1:5010/get/
            
           
# 使用随机代理发送请求
import requests
from requests.packages import urllib3
urllib3.disable_warnings() #关闭警告
# 获取代理
res = requests.get('http://127.0.0.1:5010/get/').json()
proxies = {}
if res['https']:
    proxies['https'] = res['proxy']
else:
    proxies['http'] = res['proxy']
print(proxies)
res = requests.post('https://www.cnblogs.com', proxies=proxies,verify=False)
# res = requests.post('https://www.cnblogs.com')
print(res)

2.1 django后端获取客户端的ip

 # 建立django后端---》index地址---》访问就返回访问者的ip
 
 
# django代码---》不要忘记改配置文件
# 路由
path('', index),
# 视图函数
def index(request):
    ip = request.META.get('REMOTE_ADDR')
    print('ip地址是', ip)
    return HttpResponse(ip)
 
 
 
# 测试端：
 
# import requests
# from requests.packages import urllib3
# urllib3.disable_warnings() #关闭警告
# # 获取代理
# res = requests.get('http://127.0.0.1:5010/get/').json()
# proxies = {}
# if res['https']:
#     proxies['https'] = res['proxy']
# else:
#     proxies['http'] = res['proxy']
#
# print(proxies)
# res=requests.get('http://101.43.19.239/', proxies=proxies,verify=False)
# print(res.text)
 
 
from threading import Thread
import requests
 
 
def task():
    res = requests.get('http://101.43.19.239/')
    print(res.text)
 
 
for i in range(10000000):
    t = Thread(target=task)
    t.start()

3 爬取某视频网站

 import requests
import re
 
res = requests.get('https://www.pearvideo.com/category_loading.jsp?reqType=5&categoryId=1&start=0')
# print(res.text)
# 解析出真正视频地址
video_list = re.findall('<a href="(.*?)" class="vervideo-lilink actplay">', res.text)
# print(video_list)
for i in video_list:
    # i='video_1212452'
    video_id = i.split('_')[-1]
    real_url = 'https://www.pearvideo.com/' + i
    # print('真正视频地址是：',real_url)
    headers = {
        'Referer': 'https://www.pearvideo.com/video_%s' % video_id
    }
    res1 = requests.get('https://www.pearvideo.com/videoStatus.jsp?contId=%s&mrd=0.29636538326105044' % video_id,
                        headers=headers).json()
    # print(res1["videoInfo"]['videos']['srcUrl'])
    mp4_url = res1["videoInfo"]['videos']['srcUrl']
    mp4_url = mp4_url.replace(mp4_url.split('/')[-1].split('-')[0], 'cont-%s' % video_id)
    print(mp4_url)
    res2 = requests.get(mp4_url)
    with open('./video/%s.mp4' % video_id, 'wb') as f:
        for line in res2.iter_content():
            f.write(line)
 
# headers={
#     'Referer': 'https://www.pearvideo.com/video_1212452'
# }
# res=requests.get('https://www.pearvideo.com/videoStatus.jsp?contId=1212452&mrd=0.29636538326105044',headers=headers)
#
# print(res.text)
 
 
# https://video.pearvideo.com/mp4/short/20171204/    1678938313577    -11212458-hd.mp4
# https://video.pearvideo.com/mp4/short/20171204/     cont-1212452    -11212458-hd.mp4
 
mp4_url = 'https://video.pearvideo.com/mp4/short/20171204/  1678938313577-11212458-hd.mp4'

4 爬取新闻

 import requests
# pip install beautifulsoup4   解析xml的库
from bs4 import BeautifulSoup
 
res = requests.get('https://www.autohome.com.cn/all/1/#liststart')
# print(res.text)
# 第一个参数是要解析的文本 str
# 第二个参数是：解析的解析器  html.parser：内置解析器       lxml:第三方需要额外安装
soup = BeautifulSoup(res.text, 'html.parser')
# 查找所有类名叫article的ul标签   find_all
ul_list = soup.find_all(name='ul', class_='article')
for ul in ul_list:
    li_list = ul.find_all(name='li')
    # print(len(li_list))
    for li in li_list:
        h3 = li.find(name='h3')
        if h3:  # 不是广告
            title = h3.text
            url = 'https:' + li.find('a').attrs['href']
            desc = li.find('p').text
            img = li.find(name='img').attrs['src']
            print('''
            新闻标题：%s
            新闻连接：%s
            新闻摘要：%s
            新闻图片：%s
            ''' % (title, url, desc, img))
 
 
# 把所有图片下载到本地，把爬完的数据，存到mysql中---》pymysql---》commit

posted @ 2023-03-16 22:06 性格如此w 阅读(14) 评论(0) 编辑收藏举报

刷新页面返回顶部

登录后才能查看或发表评论，立即登录或者逛逛博客园首页

相关博文：

· day22爬虫

· 面试复习01

· 爬虫，requests高级用法，解析json,ssl认证，使用代理,超时设置，上传文件处理，代理池搭建，爬取某视频网站，爬取新闻

· 【python爬虫】requests高级用法代理池搭建爬虫实战

· requests高级用法、代理池搭建、爬取某视频网站、爬取新闻

阅读排行：
· TypeScript + Deepseek 打造卜卦网站：技术与玄学的结合
· 阿里巴巴 QwQ-32B真的超越了 DeepSeek R-1吗？
· 【译】Visual Studio 中新的强大生产力特性
· 10年+ .NET Coder 心语 ── 封装的思维：从隐藏、稳定开始理解其本质意义
· 【设计模式】告别冗长if-else语句：使用策略模式优化代码结构

公告

昵称：性格如此w
园龄： 2年5个月
粉丝： 9
关注： 6

+加关注

2025年3月

日

一

二

三

四

五

六

weiyejing

爬虫02

面试题

类的property特性

今日内容

1 requests 高级用法

1.0解析json

1.1 ssl认证(了解)

1.2 使用代理(重要)

1.3 超时设置

1.4 异常处理

1.5 上传文件

2 代理池搭建

2.1 django后端获取客户端的ip

3 爬取某视频网站

4 爬取新闻

公告

搜索

常用链接

随笔分类

随笔档案

阅读排行榜

	-可变类型和不可变类型
	# 可变类型：
	Set(集合)、List(列表)、Dictionary(字典)
	值改变内存地址不变

	# 不可变类型
	Number(数字)、String(字符串)、Tuple(元组)
	值改变内存地址也改变


	-常用的魔法方法---> 某种情况下自动触发

	# __new__()
	1.new方法才是一个对象实例化的时候所调用的第一个方法，它才是真正意义上的构造方法
	2.它的第一个参数是这个类,其他的参数是用来直接传递给__init__方法。
	3.__new_-决定是否要使用__init__方法，因为new方法可以调用其他类的构造方法或者直接返回别的实例都西昂来作为本类的实例，如果__new__没有返回实例对象，那么__init__不会被调用
	4.__new__主要是用于继承一个不可变的类型比如一个tuple或者string
	# __new__方法在类定义中不是必须写的，如果没定义的话默认会调用object.__new__去创建一个对象（因为创建类的时候默认继承的就是object）。

	# __init__()
	类加括号对象进行初始化

	#__call__
	person=Person() -->对象加括号 person()---》触发

	# __getattr__
	对象.属性属性不存在触发

	# __setattr__
	对象.属性=值，触发

	#__getitem__
	对象['属性']，属性不存在，触发

	#__setitem__
	对象['属性']=值，触发

	上下文管理器：只要重写了__enter__和__exit__方法，就具备这个能力
	with 对象 as xx:
	1 写了一行代码，触发__enter__的执行
	2 写了一行代码，触发__exit__,做一些资源清理工作


	# 类中的装饰器
	-classmethod
	-staticmethod
	-如何把方法包装成数据属性 property装饰器
	-类中如何隐藏属性
	__属性、方法


	-双写一致性
	-断点续传
	-迅雷多线程下载
	-内网穿透:https://zhuanlan.zhihu.com/p/370483324
	-缓存击穿

	property装饰器用于将被装饰的方法伪装成一个数据属性，再使用时可以不加括号而直接使用，

	property属性的定义和调用要注意以下几点:
	1.定义时，在实例方法的基础上添加@property 装饰器：并且仅有一个self参数
	2.调用时，无需括号

	# 把方法包装成数据属性
	class Person:
	def __init__(self):
	self.__name='wei'
	# 对外提供一个方法(接口)，可以使用到name
	@property
	def name(self):
	return self.__name

	@name.setter
	def name(self,value):
	if value.startswith('pig'):
	print('不能以pig开头，放不进去')
	else:
	self.__name=value

	wei=Person()
	# 就像用属性一样使用name
	print(wei.name) # wei
	# 就想让用户支持这种方式修改，约束，不能以pig开头
	wei.name='s_longge' # 内部修改的其实是 __name
	print(wei.name) #s_longge

	# 发送http请求，返回的数据会有xml格式，也有json格式

	import requests
	data = {
	'cname':'',
	'pid': '',
	'keyword': '500', # 关键字
	'pageIndex': 1, # 分页
	'pageSize': 10, # 每页展示数据条数
	}
	res = requests.post('http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword',data=data)
	# print(res.text) # json 格式字符串---》json.cn
	print(type(res.json())) # 转成对象字典对象

	# http协议：明文传输
	# https协议： http+ssl/tsl
	HTTP+SSL / TLS 也就是在 https上又加了一层处理加密信息得模块，比 http安全，可防止数据在传输过程中被窃取、改变，确保数据的完整性
	https://zhuanlan.zhihu.com/p/561907474


	# 以后遇到证书提示错误问题 ssl xxx
	1 不验证证书
	import requests
	respone=requests.get('https://www.12306.cn',verify=False) #不验证证书,报警告,返回200
	print(respone.status_code)


	2 关闭警告
	import requests
	from requests.packages import urllib3
	urllib3.disable_warnings() #关闭警告

	respone=requests.get('https://www.12306.cn',verify=False)
	print(respone.status_code)

	3 手动携带证书（了解）
	import requests
	respone=requests.get('https://www.12306.cn',
	cert=('/path/server.crt',
	'/path/key'))
	print(respone.status_code)

	# 如果爬虫使用自身ip地址访问，很有可能被封ip地址，以后就访问不了了

	# 我们可以使用代理ip
	# 代理: 收费和免费 (免费不稳定)

	res = requests.post('https://www.cnblogs.com',proxies={'http':'地址+端口'})

	# res = requests.post('https://www.cnblogs.com',proxies={'http':'27.79.236.66:4001'})
	res = requests.post('https://www.cnblogs.com',proxies={'http':'60.167.91.34:33080'})
	print(res.status_code)


	# 高匿代理和透明代理
	-高匿，服务端拿不到真实客户端的ip地址
	-透明：服务端能拿到真实客户端的ip地址

	-后端如何拿到真实客户端ip地址
	-http请求头中有个: X-Forwarded-For: client1,proxy1, proxy2, proxy3
	-x-forword-for
	-获得HTTP请求端真实的IP

	import requests
	respone=requests.get('https://www.baidu.com',timeout=0.0001)

	import requests
	from requests.exceptions import * # 可以查看
	requests.exceptions 获取异常类型

	try:
	r=requests.get('http://www.baidu.com',timeout=0.00001)
	except ReadTimeout:
	print('===:')
	# except ConnectionError: #网络不通
	# print('-----')
	# except Timeout:
	# print('aaaaa')

	except RequestException:
	print('Error')

	# 3 上传文件
	import requests
	files = {'file':open('美女.png','rb')}
	respone = requests.post('http://httpbin.org/post',files=files)
	print(respone.status_code)

	# requests 发送请求使用代理
	# 代理从哪里来
	-搭建免费的代理池：https://github.com/jhao104/proxy_pool
	-python：爬虫+flask写的
	-架构：看下图


	# 搭建步骤
	1 git clone
	https://github.com/jhao104/proxy_pool.git
	2 使用pycharm打开
	3 安装依赖: pip install -r requirements.txt
	4 修改配置文件(redis地址即可)
	HOST = "0.0.0.0"
	PORT = 5010
	DB_CONN = 'redis://127.0.0.1:6379/0'
	PROXY_FETCHER #爬取哪些免费代理网站
	5 启动爬虫程序
	python proxyPool.py schedule
	6 启动服务端
	python proxyPool.py server

	7 使用随机一个免费代理
	地址栏中输入：http://127.0.0.1:5010/get/


	# 使用随机代理发送请求
	import requests
	from requests.packages import urllib3
	urllib3.disable_warnings() #关闭警告
	# 获取代理
	res = requests.get('http://127.0.0.1:5010/get/').json()
	proxies = {}
	if res['https']:
	proxies['https'] = res['proxy']
	else:
	proxies['http'] = res['proxy']
	print(proxies)
	res = requests.post('https://www.cnblogs.com', proxies=proxies,verify=False)
	# res = requests.post('https://www.cnblogs.com')
	print(res)

	# 建立django后端---》index地址---》访问就返回访问者的ip


	# django代码---》不要忘记改配置文件
	# 路由
	path('', index),
	# 视图函数
	def index(request):
	ip = request.META.get('REMOTE_ADDR')
	print('ip地址是', ip)
	return HttpResponse(ip)



	# 测试端：

	# import requests
	# from requests.packages import urllib3
	# urllib3.disable_warnings() #关闭警告
	# # 获取代理
	# res = requests.get('http://127.0.0.1:5010/get/').json()
	# proxies = {}
	# if res['https']:
	# proxies['https'] = res['proxy']
	# else:
	# proxies['http'] = res['proxy']
	#
	# print(proxies)
	# res=requests.get('http://101.43.19.239/', proxies=proxies,verify=False)
	# print(res.text)


	from threading import Thread
	import requests


	def task():
	res = requests.get('http://101.43.19.239/')
	print(res.text)


	for i in range(10000000):
	t = Thread(target=task)
	t.start()

	import requests
	import re

	res = requests.get('https://www.pearvideo.com/category_loading.jsp?reqType=5&categoryId=1&start=0')
	# print(res.text)
	# 解析出真正视频地址
	video_list = re.findall('<a href="(.*?)" class="vervideo-lilink actplay">', res.text)
	# print(video_list)
	for i in video_list:
	# i='video_1212452'
	video_id = i.split('_')[-1]
	real_url = 'https://www.pearvideo.com/' + i
	# print('真正视频地址是：',real_url)
	headers = {
	'Referer': 'https://www.pearvideo.com/video_%s' % video_id
	}
	res1 = requests.get('https://www.pearvideo.com/videoStatus.jsp?contId=%s&mrd=0.29636538326105044' % video_id,
	headers=headers).json()
	# print(res1["videoInfo"]['videos']['srcUrl'])
	mp4_url = res1["videoInfo"]['videos']['srcUrl']
	mp4_url = mp4_url.replace(mp4_url.split('/')[-1].split('-')[0], 'cont-%s' % video_id)
	print(mp4_url)
	res2 = requests.get(mp4_url)
	with open('./video/%s.mp4' % video_id, 'wb') as f:
	for line in res2.iter_content():
	f.write(line)

	# headers={
	# 'Referer': 'https://www.pearvideo.com/video_1212452'
	# }
	# res=requests.get('https://www.pearvideo.com/videoStatus.jsp?contId=1212452&mrd=0.29636538326105044',headers=headers)
	#
	# print(res.text)


	# https://video.pearvideo.com/mp4/short/20171204/ 1678938313577 -11212458-hd.mp4
	# https://video.pearvideo.com/mp4/short/20171204/ cont-1212452 -11212458-hd.mp4

	mp4_url = 'https://video.pearvideo.com/mp4/short/20171204/ 1678938313577-11212458-hd.mp4'

	import requests
	# pip install beautifulsoup4 解析xml的库
	from bs4 import BeautifulSoup

	res = requests.get('https://www.autohome.com.cn/all/1/#liststart')
	# print(res.text)
	# 第一个参数是要解析的文本 str
	# 第二个参数是：解析的解析器 html.parser：内置解析器 lxml:第三方需要额外安装
	soup = BeautifulSoup(res.text, 'html.parser')
	# 查找所有类名叫article的ul标签 find_all
	ul_list = soup.find_all(name='ul', class_='article')
	for ul in ul_list:
	li_list = ul.find_all(name='li')
	# print(len(li_list))
	for li in li_list:
	h3 = li.find(name='h3')
	if h3: # 不是广告
	title = h3.text
	url = 'https:' + li.find('a').attrs['href']
	desc = li.find('p').text
	img = li.find(name='img').attrs['src']
	print('''
	新闻标题：%s
	新闻连接：%s
	新闻摘要：%s
	新闻图片：%s
	''' % (title, url, desc, img))


	# 把所有图片下载到本地，把爬完的数据，存到mysql中---》pymysql---》commit