竞争无处不在,青春永不言败!专业撸代码,副业修bug

Talk is cheap , show me the code!



转--- 一些概念不错的理解

原文

写这篇的缘由
一直以来一直在说异步,并发,多线程,协程等,觉得很高大上,虽然也看过一些文章但是还是并没有真正的理解,并不敏感。可能是自己比较菜,没有开发中去碰触到这些东西了。以前一直觉理我很遥远,现在项目需要我不得不面对。是时候不能回避了,知耻而后勇开干吧。

我的困惑
这 几个词语是不是有一定的关联性,异步的话就要走多个线程,并发是不是每个链接都是一个线程,协程是不是多线程的一个升级版本。异步是不是同时可以干几件事情,多线程是不是也是这样,是不是都是提高效率呢?
下面先来看一些概念和我的理解

概念学习
异步
异步,同步,阻塞,非阻塞 等概念 区别

  • 同步阻塞
  • 同步不阻塞
  • 异步阻塞
  • 异步不阻塞

异步是不是都是调用cpu的内核的什么协议呢?

同步和异步 关注的是消息通信机制
简单说就是:
阻塞和非阻塞关注的是程序在等待调用结果(消息,返回值)时候的状态
简单说就是
同步
就是发出一个调用时候,在没有得到结果之前,这个调用就不返回,但是调用返回,就有返回值了
说人话
你去书店买书,同步通信机制,老板会说“我查一下”(可能1秒可能一天) 然后一直在那里查等查好了告诉你结果(直接返回你结果,是查号了返回给你结果)

异步
同样去买书,老板说我查查《流畅的python》 这本书,给你说,查好了打电话给你(挂断电话没有返回给你结果),等查好了,老板主动打电话给你。这种通过回电的方式来回调

区分同步和异步
去买东西,买好了拿到东西(结果),这个东西是你自己来取走(不管你是第一次来还是轮询,隔一段时间来查询一下东西) 这就是同步
这段时间你也可以在这里等(同步阻塞),也可以去干别的(同步非阻塞)。也就是说 消息机制是你自己来取(什么样的方式不管)
理解为取消息的方式是自己取

去买东西,去了不管买到与否,老板都会说知道了你的需求,搞好了告诉你结果,不需要你亲自来拿这个消息。这个结果不需要请求的人自己去等去操心
第一时间给你了个消息但不是结果,你自己可以在这里等着(异步阻塞),你也可以去干别的(异步非阻塞)。只要有结果了别人会主动给你结果的

阻塞 非阻塞
说的就是你发出一个请求的时候要不要一直等这个这个响应(结果)不,需要一直等着不干别的也不能干别的就是阻塞,
如果你能去干别的就是非阻塞

阻塞不阻塞就看这个过程中能不能去干别的

同步 阻塞 非阻塞
同步阻塞 : 自己取获取结果 这个过程不能干别的事情
同步非阻塞 : 自己取结果,在没有取到结果之前你可以去干别的事情
1
2
异步 阻塞 非阻塞
异步阻塞 : 不需要自己去取结果,别人送上门,在等的过程中自己不能干别的。
异步非阻塞:不需要自己取去结果, 别人把结果送上门,这个等结果的过程自己可干别的
1
2
异步和非阻塞的功效
个人认为异步和非阻塞一起配合使用才能发挥异步效果,不然你什么都不做(阻塞) 我同步不同步(是不是消息主动给你)没有什么意义
1

不同的认识
3个层次

cpu层次
在CPU层次,或者说操作系统进行IO和任务调度的层次,现代操作系统通常使用异步非阻塞方式进行IO(有少部分IO可能会使用同步非阻塞轮询),即发出IO请求之后,并不等待IO操作完成,而是继续执行下面的指令(非阻塞),IO操作和CPU指令互不干扰(异步),最后通过中断的方式来通知IO操作完成结果

线程层次
在线程层次,或者说操作系统调度单元的层次,操作系统为了减轻程序员的思考负担,将底层的异步非阻塞的IO方式进行封装,把相关系统调用(如read,write等)以同步的方式展现出来。然而,同步阻塞的IO会使线程挂起,同步非阻塞的IO会消耗CPU资源在轮询上。为了解决这一问题,就有3种思路:多线程(同步阻塞);IO多路复用(select,poll,epoll)(同步非阻塞,严格地来讲,是把阻塞点改变了位置);直接暴露出异步的IO接口,如kernel-aio和IOCP(异步非阻塞)。

程序员感知层次
在Linux中,上面提到的第2种思路用得比较广泛,也是比较理想的解决方案。然而,直接使用select之类的接口,依然比较复杂,所以各种库和框架百花齐放,都试图对IO多路复用进行封装。此时,库和框架提供的API又可以选择是以同步的方式还是异步的方式来展现。如python的asyncio库中,就通过协程,提供了同步阻塞式的API;如node.js中,就通过回调函数,提供了异步非阻塞式的API

并发
并发到底是什么意思呢,计算机同一时刻也只能执行一个线程,线程是最小的调度单位,怎么样才算是并发呢?
怎么看线程是属于哪个进程呢?
强cup执行权是强的是执行时间段还是那一刻呢。是为线程强的还是进程为单位抢的呢?

并发
并行
并发:

  1. 并发关键是你处理多个事件的能力,不一定是同时

  2. 对上面图片解释 并发是两个队列同时使用一台咖啡机,并行是两个队列同时使用两台咖啡机,串行,一个队列使用一台咖啡机

  3. 并行和并发都可以使多个线程,就要看这些线程能不能被(多个)cpu执行,如果可以就说明是并行,并发是多个线程被一个cpu轮流执行。

  4. 并发程序中可以同时拥有两个或者多个线程,这就意味着如果程序在单核处理器上运行,那么这两个线程将交替的换进换出内存。这些线程是同时存在的 - 每个线程搜处在在执行过程中的某个状态。
    并行:

  5. 同时处理多个任务,要执行必须同时多个内核

  6. 如果程序能够并行执行,那么就一定是运行在多核处理器上的。此时程序的每个线程都将分配到一个独立的处理器上,一次可以独立运行。

由上面可以看出, “并行”概念是“并发”概念的一个子集。也就是说你可以编写有多个线程或者多个进程的并发程序,但是如果没有多核处理器来执行这个程序,那么就不能以并行的方式来运行代码。因此,凡是在求解单个问题时候涉及多个执行流程的编程模式或者执行行为都是属于并发范畴。

并行,parallelise 同时刻,某点
并发, 同时间段

协程
import gevent
import time

def func1():
print('\033[31;1m李闯在跟海涛搞...\033[0m')
gevent.sleep(2)
print('\033[31;1m李闯又回去跟继续跟海涛搞...\033[0m')

def func2():
print('\033[32;1m李闯切换到了跟海龙搞...\033[0m')
gevent.sleep(1)
print('\033[32;1m李闯搞完了海涛,回来继续跟海龙搞...\033[0m')

time1 = time.time()
gevent.joinall([
gevent.spawn(func1),
gevent.spawn(func2),
])
time2 = time.time()
time3 = time2 - time1
print(time3)

上面就是一段协程代码,她针对的是io操作的,gevent.sleep(2) 和time.time(2) 不一样,gevent.time() 是对切换的唤醒

(查看廖雪峰的博客将的比较清楚)

协程是,,,

各大平台免费接口,非常适用

http://developer.51cto.com/art/201412/458778.htm 

绝对干货:供个人开发者赚钱免费使用的一些好的API接口
http://www.360doc.com/content/15/1021/01/13370135_507200816.shtml 

易源数据(大部分免费) 实用

https://www.showapi.com/api/lookPoint/9 

违章数据查询

http://www.loopon.cn/ 路帮网(免费来源)

天气数据来源

通过城市名字获得天气数据,json数据
http://wthrcdn.etouch.cn/weather_mini?citykey=101010100
通过城市id获得天气数据,json数据

http://wthrcdn.etouch.cn/WeatherApi?citykey=101010100
通过城市id获得天气数据,xml文件数据,
当错误时会有<error>节点
http://wthrcdn.etouch.cn/WeatherApi?city=北京
通过城市名字获得天气数据,xml文件数据


和风天气免费api:
http://www.heweather.com/products

阿凡达免费api接口:
http://www.avatardata.cn/Docs/Api/dc4394f5-9f45-46aa-91c4-03ace20ec347

百度免费api接口:
http://67zixue.com/home/article/detail/id/32.html
(百度天气接口

以GET形式提交,返回JSON或XML

URL:http://api.map.baidu.com/telematics/v3/weather?location={城市名}&output={返回格式}&ak={百度AK}

广州JSON例子:http://api.map.baidu.com/telematics/v3/weather?location=广州&output=JSON&ak=FK9mkfdQsloEngodbFl4FeY3

广州XML例子:http://api.map.baidu.com/telematics/v3/weather?location=广州&output=XML&ak=FK9mkfdQsloEngodbFl4FeY3

PS:百度AK需要到LBS云申请 http://lbsyun.baidu.com/apiconsole/key 测试为本网站测试AK,可调用5000次

免费新闻来源

http://api.tingtoutiao.com/ (听头条)

posted @ 2019-02-19 09:30  云雾散人  阅读(180)  评论(0编辑  收藏  举报

Your attitude not your aptitude will determine your altitude!

如果有来生,一个人去远行,看不同的风景,感受生命的活力!