并发编程

并发编程： https://www.processon.com/mindmap/5f636bac0791295dccc46f28

 

 

from concurrent.futures import ThreadPoolExecutor,ProcessPoolExecutor
    import requests
    import os
    
    def get_page(url):
        print('<进程%s> get %s' %(os.getpid(),url))
        respone=requests.get(url)
        if respone.status_code == 200:
            return {'url':url,'text':respone.text}
    
    def parse_page(res):
        res=res.result()
        print('<进程%s> parse %s' %(os.getpid(),res['url']))
        parse_res='url:<%s> size:[%s]\n' %(res['url'],len(res['text']))
        with open('db.txt','a') as f:
            f.write(parse_res)
    
    
    if __name__ == '__main__':
        urls=[
            'https://www.baidu.com',
            'https://www.python.org',
            'https://www.openstack.org',
            'https://help.github.com/',
            'http://www.sina.com.cn/'
        ]
    
        p=ProcessPoolExecutor(3)
        for url in urls:
            p.submit(get_page,url).add_done_callback(parse_page) #parse_page拿到的是一个future对象obj，需要用obj.result()拿到结果

#### 有那几种IO模型
    blocking IO    阻塞IO
    nonblocking IO   非阻塞IO
    IO multiplexing  多路复用IO 也叫事件驱动IO（event driven IO）
    signal driven IO  信号驱动IO
    asynchronous IO  异步IO
    由signal driven IO（信号驱动IO）在实际中并不常用，所以主要介绍其余四种IO Model。


#### IO模型的区别是在那两个阶段上？
    1）wait for data 等待数据准备 (Waiting for the data to be ready)
    2）copy data 将数据从内核拷贝到进程中(Copying the data from the kernel to the process)

    blocking IO：在IO执行的两个阶段（等待数据和拷贝数据两个阶段）都被block了。
    在非阻塞式IO：在等待数据阶段是非阻塞的，用户进程需要不断的主动询问kernel（内核）数据准备好了没有。 需要注意，拷贝数据整个过程，进程仍然是属于阻塞的状态。
                非阻塞IO模型绝不被推荐。
    多路复用IO:  优势在于可以处理多个连接，不适用于单个连接
                当用户进程调用了select，那么整个进程会被block，而同时，kernel会“监视”所有select负责的socket，当任何一个socket中的数据准备好了，select就会返回。这个时候用户进程再调用read操作，将数据从kernel拷贝到用户进程。
                对于每一个socket，一般都设置成为non-blocking，但是，整个用户的process其实是一直被block的。只不过process是被select这个函数block，
                而不是被socket IO给block。
    异步IO：都不阻塞。当进程发起IO 操作之后，就直接返回再也不理睬了，直到kernel发送一个信号，告诉进程说IO完成。在这整个过程中，进程完全没有被block。