Mars.wang

摘要： 1.借助dict(d1.items() + d2.items())的方法 2.借助字典的update()方法,没有返回值 3.借助字典的dict(d1, **d2)方法 4.d3={**d1,**d2},python3.5以上可用 阅读全文

摘要： 0=>1 1=>2 2=>3 3=>4 4=>5 5=>6 6=>7 7=>8 8=>9 阅读全文

摘要： 转载自:https://zhuanlan.zhihu.com/p/97525893 阅读全文

摘要： #将字典转json并写入文件 import json i=3 j=5 a={'a':i,'b':j} js=json.dumps(a) print(js) with open("/Users/binwang/Downloads/test/result.json", "w") as fp: fp.wr 阅读全文

摘要： 在一般从流接收数据写入介质的场景中,大部分存在每批次数据较小,导致小文件较多的问题. 一般考虑设置一个缓冲池,将多个批次的数据先缓冲进去,达到一定大小,再一次性批量写入 对应的python版本 阅读全文

摘要： 信号量通常用于保护数量有限的资源，例如数据库服务器。在资源数量固定的任何情况下，都应该使用有界信号量。在生成任何工作线程前，应该在主线程中初始化信号量。 工作线程生成后，当需要连接服务器时，这些线程将调用信号量的 acquire 和 release 方法： 使用有界信号量能减少这种编程错误：信号量的 阅读全文

摘要： 一.进程间同步 对于一些临界资源,不能使用并发无限消耗,就需要设置专门的临界标示,比如锁或者信号量等 二.进程间通信 有时候需要在进程之间交换对象 multiprocessing 支持进程之间的两种通信通道： (1).队列 Queue 类是一个近似 queue.Queue 的克隆。 例如: 队列是线 阅读全文

摘要： 并发是快速处理大量相似任务的绝佳办法,但对于有返回值的方法,需要一个容器专门来存储每个进程处理完的结果 还有使用map的方式: 阅读全文

摘要： #获取表的最大分区 import boto3 from datetime import datetime,timedelta def get_max_partition(db_name,table_name,partition_format='%Y-%m-%d'): client=boto3.client('glue') yesterday=datetime.utcnow() max_partit 阅读全文

摘要： 获取一个目录下所有指定格式的文件是实际生产中常见需求. 阅读全文