07 2019 档案
摘要：阻塞IO（blocking IO） 在linux中，默认情况下所有的socket都是blocking，一个典型的读操作流程大概是这样： 当用户进程调用了recvfrom这个系统调用，kernel内核就开始了IO的第一个阶段：准备数据。对于network io( 网络io )来说，很多时候数据在一开始
阅读全文
摘要：基于协程池 实现并发的套接字通信 客户端： 服务端：
阅读全文
摘要：之前线程池是通过操作系统切换线程，现在是程序自己控制，比操作系统切换效率要高 服务端 客户端给服务端发送500个并发量，会看到一直不停的收消息
阅读全文
摘要：python 并发编程 IO模型介绍 python 并发编程 socket 服务端 客户端 阻塞io行为 python 并发编程 阻塞IO模型 python 并发编程 非阻塞IO模型 python 并发编程 多路复用IO模型 python 并发编程 异步IO模型
阅读全文
摘要：阻塞io行为 server.accept server.recv client.send recv,accept 分为两个阶段 1.wait for data 对方把数据经过网络延迟送到自己的操作系统缓存 2.把数据从操作系统缓存拷贝到应用程序内存 本地拷贝很快的，比等待要快 send只有一个阶段
阅读全文
摘要：gevent 底层是怎么实现？ io模型4个重要概念： 两类 一类：同步、异步 提交任务的方式 同步： 提交完任务后，在原地等待结果，拿到结果后，才执行下一行代码 异步： 提交完任务就不管了，往下执行 异步通常和回调机制联用，提交完任务，任务运行完后，自动触发，回调函数代码 阻塞：遇到io，阻塞卡主
阅读全文
摘要：一 gevent模块 gevent应用场景： 单线程下，多个任务，io密集型程序 安装 Gevent 是一个第三方库，可以轻松通过gevent实现并发同步或异步编程，在gevent中用到的主要模式是Greenlet, 它是以C扩展模块形式接入Python的轻量级协程。 Greenlet全部运行在主程
阅读全文
摘要：python 并发编程 协程 协程介绍 python 并发编程 协程 greenlet模块 python 并发编程 协程 gevent模块 python 并发编程 基于gevent模块实现并发的套接字通信 python 并发编程 协程池 python 并发编程 基于gevent模块 协程池 实现并发
阅读全文
摘要：一 greenlet模块 不敢是yield，还是greenlet都没有实现检测io，实现遇到io切换效果 如果我们在单个线程内有20个任务，要想实现在多个任务之间切换，使用yield生成器的方式过于麻烦（需要先得到初始化一次的生成器，然后再调用send。。。非常麻烦），而使用greenlet模块可以
阅读全文
摘要：协程：是单线程下的并发，又称微线程，纤程。英文名Coroutine。一句话说明什么是线程：协程是一种用户态的轻量级线程，即协程是由用户程序自己控制调度的 需要强调的是： 对比操作系统控制线程的切换，用户在单线程内控制协程的切换 优点如下： 缺点如下： 总结协程特点：
阅读全文
摘要：不应该让服务端随着 并发的客户端数量增多，而无数起线程，应该用线程池，限制线程数量，控制最大并发数 io密集型程序，最大并发数是2 客户端 服务端
阅读全文
摘要：提交任务的两张方式： 1.同步调用 2.异步调用 同步调用：提交完任务后，就在原地等待任务执行完后，拿到结果，再执行下一行代码 同步调用，导致程序串行执行 异步调用：提交完任务后，不再原地等待任务执行完 回调函数 可以为进程池或线程池内的每个进程或线程绑定一个函数，该函数在进程或线程的任务执行完毕后
阅读全文
摘要：一 进程池与线程池 1.为什么需要进程池和线程池 基于多进程或多线程实现并发的套接字通信，然而这种实现方式的致命缺陷是： 服务端的程序运行在一台机器身上，一台机器性能是有极限的，不能无限开线程 服务的开启的进程数或线程数都会随着并发的客户端数目地增多而增多，这会对服务端主机带来巨大的压力，甚至于不堪
阅读全文
摘要：进程内会生成一个主线程，让主线程执行server函数，server函数核心是accept()，让主线程干accept的工作, 建立连接,每建立一个连接应该执行通信函数 每建立一个连接就是生成一个子线程 服务端 客户端 执行结果
阅读全文
摘要：线程queue 线程之间已经是共享数据的，为什么还使用线程queue？ 线程需要自己加锁，线程queue帮我们处理好加锁的问题 有三种不同的用法 第一种方法: class queue.Queue(maxsize=0) #队列：先进先出 put('four',block=,timeout=) 第一个参
阅读全文
摘要：event实现了一个线程通知另外一个线程 线程的一个关键特性是每个线程都是独立运行且状态不可预测。 1.为什么要使用Event对象： 如果程序中的其 他线程需要通过判断某个线程的状态来确定自己下一步的操作,这时线程同步问题就会变得非常棘手。为了解决这些问题,我们需要使用threading库中的Eve
阅读全文
摘要：定时器 就是隔多长时间去触发任务执行 指定n秒后执行某操作 Timer如何使用，看Timer源码 Timer() interval 第一个参数传 间隔时间 function 传执行任务的函数 隔了多少秒后执行这个函数 给函数传参方式 args kwargs Timer用的是Thread模块，每启动一
阅读全文
摘要：一 信号量 信号量也是一把锁，可以指定信号量为5，对比互斥锁同一时间只能有一个任务抢到锁去执行，信号量同一时间可以有5个任务拿到锁去执行 如果说互斥锁是合租房屋的人去抢一个厕所，那么信号量就相当于一群路人争抢公共厕所，公共厕所有多个坑位，这意味着同一时间可以有多个人上公共厕所，但公共厕所容纳的人数是
阅读全文
