04 2020 档案

Python 异步编程
摘要:介绍几种Python异步执行的方式 参考: "官方文档" "python 实现异步执行" "Python中协程异步IO" 通过 threading.Thread 实现 先将需要异步执行的函数用线程的方式包装为一个装饰器,然后拿去装饰需要异步执行的函数即可。 下面构造两个函数 A 函数用 async_ 阅读全文

posted @ 2020-04-14 17:30 海阔心 阅读(860) 评论(0) 推荐(1)

spark 一、编程指南
摘要:总览 第一、每个spark 应用都有一个驱动程序去运行着主函数和再每个节点上的并行操作。 spark提供了一个RDD(弹性分布式数据集)的数据集合,可以通过不同的节点并行操作运算,可以通过hdfs文件构建。RDD可以在内存中进行缓存,当需要复用的时候会有更高的效率。 第二、提供了共享变量(share 阅读全文

posted @ 2020-04-13 01:32 海阔心 阅读(394) 评论(0) 推荐(1)

导航