多线程 threading
Threading用于提供线程相关的操作，线程是应用程序中工作的最小单元。
import threading #导入多线程模块
import time
def run(num):
print ("thread..",num)
time.sleep(1) #休眠1秒
####单线程执行10次，需要花10秒
for n in range(10):
run(n)
####多线程执行10次，则花1秒
for i in range(10):
t = threading.Thread(target=run,args=(i,))
t.start()
上述代码创建了10个“前台”线程，然后控制器就交给了CPU，CPU根据指定算法进行调度，分片执行指令。
更多方法：
- start 线程准备就绪，等待CPU调度
- setName 为线程设置名称
- getName 获取线程名称
- setDaemon 设置为后台线程或前台线程（默认）
如果是后台线程，主线程执行过程中，后台线程也在进行，主线程执行完毕后，后台线程不论成功与否，均停止
如果是前台线程，主线程执行过程中，前台线程也在进行，主线程执行完毕后，等待前台线程也执行完成后，程序停止 - join 逐个执行每个线程，执行完毕后继续往下执行，该方法使得多线程变得无意义
- run 线程被cpu调度后执行Thread类对象的run方法
自定义线程
from threading import Thread
import time
class MyThread(Thread): #创建一个自定义类，必须继承Thread
def run(self): #创建一个run函数，来优先执行父类Thread中的run
time.sleep(1)
print '我是线程' #这里可以自定义加一些功能
Thread.run(self) #执行完后，再执行父类中的run()
def Bar(arg):
print 'bar',arg
t = MyThread(target=Bar,args=(1,))
t.start()
print 'end..'
线程锁
由于线程之间是进行随机调度，并且每个线程可能只执行n条执行之后，CPU接着执行其他线程。所以，可能出现问题
def run(num):
lock.acquire() #加锁
print("thread...",num)
lock.release() #开锁
time.sleep(1)
lock = threading.RLock() #线程之间加一个锁，防止线程之间输出混乱
for i in range(100):
t = threading.Thread(target=run,args=(i,))
t.start()
Event
python线程的事件用于主线程控制其他线程的执行，事件主要提供了三个方法 set、wait、clear。
事件处理的机制：全局定义了一个“Flag”，如果“Flag”值为 False，那么当程序执行 event.wait 方法时就会阻塞，如果“Flag”值为True，那么event.wait 方法时便不再阻塞。
- clear：将“Flag”设置为False
- set：将“Flag”设置为True
import threading
def run(event):
print 'start'
event.wait() #输出start后暂停
print 'stop'
event_obj = threading.Event() #定义方法为event
for i in range(10):
t = threading.Thread(target=run,args=(event_obj,)) #循环执行run函数，参数为event_obj
t.start()
event_obj.clear()
inp = raw_input("input:")
if inp == "true": #如果输入正确，则停止阻塞
event_obj.set()
线程池
版本一：
import Queue
import threading
import time
class ThreadPool(object): #线程池
def __init__(self, max_num):
self.queue = Queue.Queue(max_num) #创建一个Queue对列，存放4个值
for i in xrange(max_num):
self.queue.put(threading.Thread) #queue = 10个 threading.Thread
def get_thread(self):
return self.queue.get()
def add_thread(self):
self.queue.put(threading.Thread)
pool = ThreadPool(4) #从线程池队列拿4个值， pool=threading.Thread
def func(arg, p):
print arg
import time
time.sleep(5)
p.add_thread() #消耗掉一个线程，会执行add_thread(),往queue中添加一个 threading.Thread
for i in xrange(20): #一共执行20个进程
thread = pool.get_thread() # 同时4个进程，超过4个会阻塞
t = thread(target=func, args=(i, pool))
t.start()
版本二：
from Queue import Queue
import contextlib
import threading
WorkerStop = object()
class ThreadPool:
workers = 0
threadFactory = threading.Thread
currentThread = staticmethod(threading.currentThread)
def __init__(self, maxthreads=20, name=None):
self.q = Queue(0)
self.max = maxthreads
self.name = name
self.waiters = []
self.working = []
def start(self):
needSize = self.q.qsize()
while self.workers < min(self.max, needSize):
self.startAWorker()
def startAWorker(self):
self.workers += 1
name = "PoolThread-%s-%s" % (self.name or id(self), self.workers)
newThread = self.threadFactory(target=self._worker, name=name)
newThread.start()
def callInThread(self, func, *args, **kw):
self.callInThreadWithCallback(None, func, *args, **kw)
def callInThreadWithCallback(self, onResult, func, *args, **kw):
o = (func, args, kw, onResult)
self.q.put(o)
@contextlib.contextmanager
def _workerState(self, stateList, workerThread):
stateList.append(workerThread)
try:
yield
finally:
stateList.remove(workerThread)
def _worker(self):
ct = self.currentThread()
o = self.q.get()
while o is not WorkerStop:
with self._workerState(self.working, ct):
function, args, kwargs, onResult = o
del o
try:
result = function(*args, **kwargs)
success = True
except:
success = False
if onResult is None:
pass
else:
pass
del function, args, kwargs
if onResult is not None:
try:
onResult(success, result)
except:
#context.call(ctx, log.err)
pass
del onResult, result
with self._workerState(self.waiters, ct):
o = self.q.get()
def stop(self):
while self.workers:
self.q.put(WorkerStop)
self.workers -= 1
"""
def show(arg):
import time
time.sleep(1)
print arg
pool = ThreadPool(20)
for i in range(500):
pool.callInThread(show, i)
pool.start()
pool.stop()
"""
更多参见：twisted.python.threadpool
上下文管理：https://docs.python.org/2/library/contextlib.html
