随笔分类 - Python / Python之路
摘要:ProcessPoolExecutor VS ThreadPoolExecutor 进程池对比线程池 示例一: I/O 场景——10 个网页并发下载 + 实时进度 结果 多线程: 100%|██████████| 10/10 [00:07<00:00, 1.41it/s] 【多线程】I/O 并发总耗
阅读全文
摘要:进程池 进程池下载图片(cpu+io混合型任务) 结果 总耗时: 18.28766179084778 示例代码 # -*- coding: utf-8 -*- # 进程池 pool import multiprocessing import time from io import BytesIO i
阅读全文
摘要:Python 多进程【二进宫】 CPU多进程VS多线程 结果 [Thread多线程]总耗时:1.44秒 多线程几乎和串行一样慢(因为 GIL) [Process多进程]总耗时:0.43秒 多进程是真正“并行”执行,速度直接提升 3 倍以上 代码示例 # -*- coding: utf-8 -*- #
阅读全文
摘要:Queue 配合Thread使用 生产消费者模型 结果 线程【3】开始下载https://picsum.photos/200/300线程【0】开始下载https://picsum.photos/300/300线程【4】开始下载https://picsum.photos/400/300 线程【1】开始
阅读全文
摘要:Threading 串行VS并发 IO 密集型 结果 >>> 串行开始... 下载https://www.baidu.com/成功,状态码为200 下载https://www.sina.com.cn/成功,状态码为200 下载https://www.bilibili.com/成功,状态码为412 耗
阅读全文
摘要:进程池VS线程池 # CPU 密集:大量纯计算(加解密、图像处理、数值分析)。需要真·多核并行来堆算力。 【进程】 # I/O 密集:大量等待(网络、磁盘、数据库)。CPU 大部分时间都在闲着,关键是别浪费“等”的时间。 【线程】 结果分析 #### 结果 I/O密集型:线程池进度: 100%|██
阅读全文
摘要:插件模式(使用import_module导入子模块) # 目录结构 - plugins - __init__.py # ProcessFactory 工厂对象 - base_data_analysis.py # 基类 - board_data_analysis.py # 具体实现自类 ### __i
阅读全文
摘要:单例模式 在面向对象中,使用单例模式。对实例对象可复用性 确保一个类只有一个实例 减少内存开销 类似于维护一个全局变量的变量 如何实现单利模式 __new__ 实现单利模式 python 文件导入 实现单利模式 多线程 对 单利对象 上锁 使用场景 python 文件导入,也可实现单利模式 # fr
阅读全文
摘要:python99🔪免死题 python 和 其他语言的区别 python: 语法简洁,开发效率高,第三方库多(机器学习,数据分析), 弱类型语言 Goland: 强类型语言,高并发 python2和python3的区别 # 默认解释器编码:py2使用ASCIL ,py3使用 unicode # 字
阅读全文
摘要:# -*- coding: utf-8 -*- # 列表例存放 字节类型数据 bytes_list = [b'1', b'2', b'3'] # 列表里存放 字符串类型数据 str_list = ['1', '2', '3'] # 列表里存放混合类型数据 (字符串,字节,int) mix_list
阅读全文
摘要:# -*- encoding: utf-8 -*- import numbers # slice 类 class MyList(): def __init__(self, anylist): self.data = anylist def __len__(self): return len(self
阅读全文
摘要:cd ~ mkdir .pip cd .pip vim pip.conf [global] index-url=https://pypi.tuna.tsinghua.edu.cn/simple trusted-host = pypi.tuna.tsinghua.edu.cn
阅读全文
摘要:Py开发规范 编码 # -*- coding: utf-8 -*- 缩进 统一使用 4 个空格进行缩进 变量风格 # 类变量/常亮变量 `大写` BASE_PATH = '' # 驼峰格式/下划线格式 removeSectionx='' remove_section='' # 编写变量 贴近实际意义
阅读全文
摘要:python垃圾回收机制和内存管理机制 引用计数为主, 标记清除和分代回收为辅+缓存机制 1.引用计数器 1.1 环状的双线链表 refchain 在python程序中创建的任何对象都会存在refchain双向链表中 name = 'ds' age = 18 hobby = ['篮球','美女'
阅读全文
摘要:Python进阶 异步同步,阻塞非阻塞,线程池(进程池)的异步+回调机制实行并发, 线程队列(Queue, LifoQueue,PriorityQueue), 事件Event,线程的三个状态(就绪,挂起,运行) ,***协程概念,yield模拟并发(有缺陷),Greenlet模块(手动切换),Gev
阅读全文
摘要:day35 一丶GIL锁 什么是GIL锁: 存在Cpython解释器,全名:全局解释器锁.(解释器级别的锁) GIL是一把互斥锁,将并发运行变成串行. 在同一个进程下开启的多个线程,同时只
阅读全文
摘要:Python进阶 线程基础,开启线程的方式(类和函数),线程VS进程,线程的方法,守护线程,详解互斥锁,递归锁,信号量 一丶线程的理论知识 什么是线程: 1.线程是一堆指令,是操作系统调度的最小单位 2.线程具有执行能力 &n
阅读全文
摘要:Python进阶 进程之间通信(互斥锁,队列(参数:timeout和block),), 生产消费者模型 一丶互斥锁 含义: 每个对象都对应于一个可称为" 互斥锁" 的标记,这个标记用来保证在任一时刻,只能有一个线程访问该对象(串行) 目的: &
阅读全文
摘要:Python进阶 进程间数据隔离, join阻塞等待, 进程属性, 僵尸进程和孤儿进程, 守护进程 一丶获取进程以及父进程的pid 含义: 进程在内存中开启多个,操作系统如何区分这些进程,每个进程都有一个唯一表示 方法三种方法:  
阅读全文
摘要:Python进阶 计算机基础知识(操作系统多道技术),进程概念, 并发概念,并行概念,多进程实现 一丶进程基础知识 什么是程序: 程序就是一堆文件 什么是进程: 进程就是一个正在执行的文件/程序,是对各种资源管理的集合,
阅读全文

浙公网安备 33010602011771号