摘要：
进程之间共享数据(数值型)： import multiprocessing def func(num): num.value=10.78 #子进程改变数值的值，主进程跟着改变 if __name__=="__main__": num=multiprocessing.Value("d",10.0) # 阅读全文
摘要：
有没有办法通过另外一个python文件识别下面脚本的执行计划，并作用于另外一批数据？ 目前可以获取方法执行的list，但是无法在方法需要实际执行一遍，这肯定不是我们想要的，有没有办法通过反射的方式在脚步不执行的条件下获取执行计划？ class A(object): def __init__(self 阅读全文
摘要：
shutil 模块提供了一系列对文件和文件集合的高阶操作。 特别是提供了一些支持文件拷贝和删除的函数。 shutil.copyfileobj(fsrc, fdst[, length]) #将文件类对象 fsrc 的内容拷贝到文件类对象 fdst。 shutil.copyfile(src, dst, 阅读全文
摘要：
上次的并行计算是通过将大文件分割成小文件，涉及到文件分割，其实更有效的方法是在内存中对文件进行分割，分别计算 最后将返回结果直接写入目标文件，省去了分割小文件合并小文件删除小文件的过程 代码如下： import json import math from multiprocessing import 阅读全文
摘要：
有时候需要动态加载类里的方法,业务逻辑由用户提供，框架对此一无所知，只能动态导入 abstract_business.py from abc import ABCMeta, abstractmethod # 业务逻辑的抽象父类 class AbstractBusiness(metaclass=ABC 阅读全文
摘要：
有时候我们需要在模块中动态加载方法或类，python内建了对这些需求的支持 example.py def my_sum(a, b): return a + b def my_sub(a, b): return a - b 同目录下的dynamic_import.py if __name__ == " 阅读全文
摘要：
import contextlib import pyhdfs fs = pyhdfs.HdfsClient(hosts='name-node1:9870,name-node2:9870', user_name='hdfs') response = fs.open('/tmp/README.txt' 阅读全文
摘要：
最近工作中经常会有读取一个文件，对数据做相关处理并写入到另外一个文件的需求 当文件行数较少的时候，单进程顺序读取是没问题的，但是当文件行数过万，就需要消耗很客观的时间。 一、一次性读入，多进程处理 我最初想到的办法是多进程，最初的办法是一次性读取所有行，然后分配给多个进程处理，最终还是写入一个文件。 阅读全文
摘要：
一般我们用python读取数据库的时候都是使用pymysql包，正常流程是根据连接四要素创建connection,通过connection建立curosr, 然后cusror.execute(sql),cursor.fetchall()获取结果数据。 但是当数据量非常大的时候，网络会是非常不稳定的因 阅读全文
摘要：
python读取文件有两个重要的方法f.tell()和f.seek() 通过这两个方法就可以实现文件的断点续传，tell可以实时返回读取文件的偏移量，seek可以直接跳转到这个偏移量 只要在异常中断之前将文件的偏移量记录下来，之后继续执行的时候就可以从这个偏移量开始读起， 备注：从中间开始移动指针在 阅读全文