随笔分类 - 并发编程
摘要:在实现异步调用之前我们先进行什么是同步调用和异步调用 同步:是指完成事务的逻辑,先执行第一个事务,如果阻塞了,会一直等待,直到这个事务完成,再执行第二个事务,顺序执行 异步:是和同步相对的,异步是指在处理调用这个事务的之后,不会等待这个事务的处理结果,直接处理第二个事务去了,通过状态、通知、回调来通
阅读全文
摘要:一 什么是 ElasticSearch 一 什么是 ElasticSearch Elasticsearch 是一个分布式可扩展的实时搜索和分析引擎,一个建立在全文搜索引擎 Apache Lucene(TM) 基础上的搜索引擎.当然 Elasticsearch 并不仅仅是 Lucene 那么简单,它不
阅读全文
摘要:在学习Celery之前,我先简单的去了解了一下什么是生产者消费者模式。 生产者消费者模式 在实际的软件开发过程中,经常会碰到如下场景:某个模块负责产生数据,这些数据由另一个模块来负责处理(此处的模块是广义的,可以是类、函数、线程、进程等)。产生数据的模块,就形象地称为生产者;而处理数据的模块,就称为
阅读全文
摘要:1.简介 希望通过这篇文章,可以回答以下几个问题? 为什么需要IO多路复用?什么是IO多路复用机制?IO多路复用的机制该怎么使用?epoll比select/poll相比,优势在哪里?在了解I/O多路复用之前,先来了解流的概念。 1.1流的概念 一个流可以文件、socket、pipe等可以进行IO操作
阅读全文
摘要:web网站的并发量级别 评价一个网站的“大小”,处于视角的不同,有很多种衡量的方法,类似文章数,页面数之类的数据非常明显,也没有什么可以争议的。但对于并发来说,争议非常之多,这里就从一个技术的角度开始,谈谈几个Web网站的数量级。 相信很多人谈论一个网站的热度,总免不了会询问日均PV,同时在线人数、
阅读全文
摘要:一、为什么要使用多线程? 【使计算机所有资源在执行任务的时候能够全部利用上,以提升计算机资源利用率的方式来提升系统执行效率】 CPU的单核运行速度由于硬件技术问题已经遇到瓶颈,而概念性的“光脑”貌似离我们还很遥远,现在的计算机性能提升方向是向多核发展。多核同时工作,协同完成任务。大家熟知的神威·太湖
阅读全文
摘要:“高并发和多线程”总是被一起提起,给人感觉两者好像相等,实则 高并发 ≠ 多线程 多线程是完成任务的一种方法,高并发是系统运行的一种状态,通过多线程有助于系统承受高并发状态的实现。 高并发是一种系统运行过程中遇到的一种“短时间内遇到大量操作请求”的情况,主要发生在web系统集中大量访问或者socke
阅读全文
摘要:一、进程池与线程池介绍 池子使用来限制并发的任务数目,限制我们的计算机在一个自己可承受的范围内去并发地执行任务当并发的任务数远远超过了计算机的承受能力时,即无法一次性开启过多的进程数或线程数时就应该用池的概念将开启的进程数或线程数池子内什么时候装进程:并发的任务属于计算密集型池子内什么时候装线程:并
阅读全文
摘要:一 引子 该篇文章主题是:如何基于单线程来实现并发,即只用一个主线程(很明显可利用的cpu只有一个)情况下实现并发,为此我们需要先回顾下并发的本质:切换+保存状态 cpu正在运行一个任务,会在两种情况下切走去执行其他的任务(切换由操作系统强制控制) 一、是该任务发生了阻塞(cpu的执行权限会被拿走)
阅读全文
摘要:一、互斥锁 互斥锁也叫用户锁、同步锁。 同一时间只有一个任务被执行 在多进程/多线程程序中,当多个线程处理一个公共数据时,会有数据安全问题 唯一能保证数据安全的,就是通过加锁的方式,同一时间只能有一个修改数据的操作,将处理数据变为串行。虽然牺牲了速度,但是保证了数据安全。 来看一个不加锁的例子: f
阅读全文
摘要:一 介绍 ''' 定义: In CPython, the global interpreter lock, or GIL, is a mutex that prevents multiple native threads from executing Python bytecodes at once
阅读全文
摘要:一、线程理论 二、开启线程的两种方式 方式一、 直接调用线程类,指定开启的子进程函数 方式二、 自定义一个线程类,并继承Thread类,然后调用自定义类 三、进程与线程对比 #2、线程创建开销小 因为其不需要申请内存空间 # 线程的开启速度更快 from threading import Threa
阅读全文
摘要:一、守护进程 为什么要用守护进程: 两方面理解: 一、进程:为了让父进程的任务能够并发的执行,需要将该任务放到子进程中去 二、守护:是因为子进程中执行的任务,在父进程运行完就没有存在的意义了,就设置成守护进程,会在父进程结束后,守护进程也随之结束 由于计算机的性能的原因,进程打印出的结果可能会有不同
阅读全文
摘要:一 multiprocessing模块介绍 python中的多线程无法利用多核优势,如果想要充分地使用多核CPU的资源(os.cpu_count()查看),在python中大部分情况需要使用多进程。Python提供了multiprocessing。 multiprocessing模块用来开启子进程,
阅读全文
摘要:一 什么是进程 进程:正在进行的一个过程或者说一个任务。而负责执行任务则是cpu。 举例(单核+多道,实现多个进程的并发执行): egon在一个时间段内有很多任务要做:python备课的任务,写书的任务,交女朋友的任务,王者荣耀上分的任务, 但egon同一时刻只能做一个任务(cpu同一时间只能干一个
阅读全文
摘要:一 为什么要有操作系统 现代的计算机系统主要是由一个或者多个处理器,主存,硬盘,键盘,鼠标,显示器,打印机,网络接口及其他输入输出设备组成。 一般而言,现代计算机系统是一个复杂的系统。 其一:如果每位应用程序员都必须掌握该系统所有的细节,那就不可能再编写代码了(严重影响了程序员的开发效率:全部掌握这
阅读全文