摘要:
一、基本概念 通常我们说的数据库是指数据库管理系统,通过数据库管理系统实现对数据的增、删、改、查等系列管理,常见的数据库管理系统有:mysql,orcale,db2,mariadb,sql server等,这些为关系型数据库,数据存在磁盘中;而非关系型数据库中数据是以key=value的形式存放,存 阅读全文
摘要:
对于一个network IO (这里我们以read举例),它会涉及到两个系统对象,一个是调用这个IO的process (or thread),另一个就是系统内核(kernel)。当一个read操作发生时,该操作会经历两个阶段:等待数据准备 (Waiting for the data to be re 阅读全文
摘要:
对于单线程下,我们不可避免程序中出现io操作,但如果我们能在自己的程序中(即用户程序级别,而非操作系统级别)控制单线程下的多个任务能在一个任务遇到io阻塞时就切换到另外一个任务去计算,这样就保证了该线程能够最大限度地处于就绪态,即随时都可以被cpu执行的状态,相当于我们在用户程序级别将自己的io操作 阅读全文
摘要:
一、concurrent.futures模块 此模块提供了高度封装的异步调用接口,支持进程池异步调用(ProcessPoolExecutor)和线程池异步调用(ThreadPoolExecutor),使用方式类似于进程池pool()中的异步调用。 1、进程池异步调用 异步调用实例: 注:上例中,ex 阅读全文
摘要:
一、多线程相关概念 1.线程的定义 在传统操作系统中,每个进程有一个地址空间,而且默认就有一个控制线程,线程顾名思义,就是一条流水线工作的过程,一条流水线必须属于一个车间,一个车间的工作过程是一个进程。车间负责把资源整合到一起,是一个资源单位,而一个车间内至少有一个流水线,流水线的工作需要电源,电源 阅读全文
摘要:
一、生产者消费模型补充 总结: 生产者消费者模型程序中两种角色:①负责生产数据(生产者);②负责处理数据(消费者) 生产者消费者模型的作用:平衡生产者与消费者之间的速度差。 实现方式:生产者——>队列——>消费者 如上篇博客内容关于生产消费模型内容,在生产者生产数据的过程结束后,即使消费者已将数据完 阅读全文
摘要:
一、守护进程 主进程创建守护进程,守护进程的主要的特征为:①守护进程会在主进程代码执行结束时立即终止;②守护进程内无法继续再开子进程,否则会抛出异常。 实例: 注:打印最后一行主进程代码结束,则守护进程p1应该被终止,可能会有p1任务执行的打印信息‘start123’,因为主进程打印main-时,p 阅读全文
摘要:
一、背景知识 顾名思义,进程即正在执行的一个过程。进程是对正在运行程序的一个抽象。进程的概念起源于操作系统,是操作系统最核心的概念,也是操作系统提供的最古老也是最重要的抽象概念之一。操作系统的其他所有内容都是围绕进程的概念展开的。 PS:即使可以利用的cpu只有一个(早期的计算机确实如此),也能保证 阅读全文
摘要:
一、作业解析 基于tcp文件流协议执行客户端的下载命令。 服务端: 客户端: 二、基于udp套接字 udp是无链接的,先启动哪一端都不会报错。UDP(user datagram protocol,用户数据报协议)是无连接的,面向消息的,提供高效率服务。不会使用块的合并优化算法,, 由于UDP支持的是 阅读全文
摘要:
1、基于远程执行命令的程序 需用到subprocess模块 服务端: 客户端: 注意注意注意: res=subprocess.Popen(cmd.decode('utf-8'),shell=True,stderr=subprocess.PIPE,stdout=subprocess.PIPE) 的结果 阅读全文