使用Python进行线程编程（1）
Tag：Python 队列 线程
在实习中学习了Python，到现在不大两个月，写了个1000行的脚本，但是多线程效率太低，固有此文，如果错误，敬请指正。
这是看一篇文章：http://www.ibm.com/developerworks/cn/aix/library/au-threadingpython/?ca=drs-tp3008后的吸收和笔记，原文信息非常多，推荐原文。
简介：通过将线程和队列结合在一起，创建一些简单有效的模式，以解决需要并发处理的问题。
效果就像学校食堂排队打饭一样，大妈手里的勺子不会歇着。
1、简单的多个线程处理：
View Code
1 import threading
2 import datetime
3
4 class ThreadClass(threading.Thread):
5 def run(self):
6 now = datetime.datetime.now()
7 print "%s says Hello World at time: %s" %
8 (self.getName(), now)
9
10 for i in range(2):
11 t = ThreadClass()
12 t.start()
第七行代码打错了，不应该换行，这个是原文粘贴过来的
定义了一个继承自threading.Thread的类，重定义了run()方法，即启动线程后要处理的事情，然后启动两个线程知道任务处理完成。
2、以处理大量URL为例，这次放上整个例子，原文的代码有点乱，我稍作了整理：
只是不好意思，我写的有点拖沓
注释：为了处理一个URL队列，定义了两个继承自threading.Thread的类，重定义了__init__()和run()方法
ThreadURL：这个线程类用来从队列中取出一个URL生成BS包，把处理结果保存到out_queue中
ThreadPrint：用来处理ThreadURL保存到out_queue的结果，原理与ThreadURL一样
第一个函数：GetBSFromURL()，用来从URL生成BeautifulSoup包
流程：
定义两个队列，queue用来保存要处理的任务，out_queue用来保存处理结果，处理结果也要用队列线程处理
启动5个线程ThreadURL，初始化，生成守护线程池，启动线程，每个线程处理完成时，通过queue的task_done()向队列发送一个处理完成信号，可以处理下一个任务，这样轮番处理queue中的URL
开始向queue队列填充要处理的任务列表
启动m个线程ThreadPrint，用来处理结果，方法同上
queue.join()
out_queue.join()
等待队列为空，所有任务处理完成，程序退出
View Code
1 # -*- coding:utf-8 -*-
2 '''
3 Created on Oct 8, 2011
4
5 @author: Lannik Cooper
6 '''
7 import urllib2
8 from BeautifulSoup import BeautifulSoup
9 import json
10 import time
11 import threading
12 from mx import DateTime
13 import Queue
14
15 def GetBSFromURL(url):
16 soup=None
17 while True:
18 try:
19 f=urllib2.urlopen(url)
20 if f!=None:
21 soup=BeautifulSoup(f)
22 f.close()
23 if soup!=None:
24 break
25 pass
26 except:
27 time.sleep(3)
28 pass
29 pass
30 return soup
31
32
33 class ThreadURL(threading.Thread):
34 def __init__(self,queue,out_queue):
35 threading.Thread.__init__(self)
36 self.queue=queue
37 self.out_queue=out_queue
38 pass
39
40 def run(self):
41 while True:
42 host=self.queue.get()
43 soup=GetBSFromURL(host)
44 self.out_queue.put(soup)
45 self.queue.task_done()
46 pass
47 pass
48
49 class ThreadPrint(threading.Thread):
50 def __init__(self,out_queue):
51 threading.Thread.__init__(self)
52 self.out_queue=out_queue
53 pass
54 def run(self):
55 while True:
56 soup=self.out_queue.get()
57 print soup.title.text
58 self.out_queue.task_done()
59 pass
60 pass
61 pass
62
63 def main():
64 hosts=["http://google.com.hk", "http://t.qq.com", "http://amazon.cn","http://www.baidu.com", "http://t.sina.com"]
65 start=time.time()
66 queue=Queue.Queue()
67 out_queue=Queue.Queue()
68 for i in range(5):
69 t=ThreadURL(queue,out_queue)
70 t.setDaemon(True)
71 t.start()
72 pass
73 for host in hosts:
74 queue.put(host)
75 pass
76 for i in range(1):
77 t=ThreadPrint(out_queue)
78 t.setDaemon(True)
79 t.start()
80 pass
81 queue.join()
82 out_queue.join()
83 print "Elapsed Time: %s" % (time.time() - start)
84 pass
85
86 main()
这样就完成了线程结合队列进行多线程处理。
问题：
由于看的时间很短，原文备注中提到的文章还没来得及看，所以很多东西还是不清楚，比如Thread的setDaemon()，守护线程池的作用不是很清楚。
待有所获后再补一篇文章。
现在正是校园招聘火热期，时间很纠结，GDT要用好。
待续。。。
