python学习笔记(二十七)多线程与多进程
线程是程序里面的最小执行单元。
进程是资源的集合。
线程是包含在一个进程里面,一个进程可以有多个线程,一个进程里面默认有一个主线程。由主线程去启动子线程。
1.多线程
import threading,time
def run():
time.sleep(3) #干活需要3s
print('哈哈哈')
#########################################
for i in range(5): #串行
run()
#########################################
for i in range(5): #并行,多线程, 就是N个线程一起在干活
t = threading.Thread(target=run) #实例化了一个线程
t.start()
#########################################
2.多线程等待
举个栗子:我们定义一个urls字典,然后用并行和串行分别扒一下这些url上的内容,并统计时间。
urls = {
'besttest':'http://www.besttest.cn',
'niuniu':'http://www.nnzhp.cn',
'dsx':'http://www.imdsx.cn',
'cc':'http://www.cc-na.cn',
'alin':'http://limlhome.cn'
}
需要定义一个扒网页内容的函数,如果后面需要统计每个子线程的耗时,那么就需要在这个函数中定义start_time和end_time,函数如下:
data= {}
def down_html(file_name,url):
start_time = time.time()
res = requests.get(url).content
open(file_name+'.html','wb').write(res)
end_time = time.time()
run_time = end_time-start_time
data[url] = run_time
所有的代码如下:
import requests,time,threading
data= {}
def down_html(file_name,url):
start_time = time.time()
res = requests.get(url).content
open(file_name+'.html','wb').write(res)
end_time = time.time()
run_time = end_time-start_time
data[url] = run_time
threads = []
start_time = time.time()
for k,v in urls.items(): #5次
t = threading.Thread(target=down_html,args=(k,v)) #多线程的函数如果传参的话,必须得用args
t.start()
threads.append(t)
#6个线程
#进程里面默认有一个线程,这个线程叫做主线程
for t in threads:
t.join() #多线程等待,主线程循环等待5个子线程执行结束
end_time = time.time()
run_time = end_time - start_time
print(data)
print('下载总共花了xxx时间',run_time)
3.守护线程
import threading,time
def run():
time.sleep(3)
print('哈哈哈')
for i in range(50):
t = threading.Thread(target=run)
t.setDaemon(True) #把子线程设置成为守护线程
t.start()
print('Done,运行完成。')
#当主线程运行完成后就立即结束子线程。所以运行结果只输出了“Done,运行完成”。子线程并没有来得及打印“哈哈哈”就被结束了。
4.线程锁
import threading,time
num = 1
lock = threading.Lock() #申请一把锁
def run():
time.sleep(1)
global num
lock.acquire() #加锁
num+=1
lock.release() #解锁
ts = []
for i in range(100):
t = threading.Thread(target=run)
t.start()
ts.append(t)
[t.join() for t in ts] #列表生成式,多线程等待
print(num)
5.多进程和多进程等待
import multiprocessing,threading
def my():
print('哈哈哈')
def run(num):
for i in range(num): #启动num个线程
t = threading.Thread(target=my)
t.start()
if __name__ == '__main__':
for i in range(5): #启动5个进程
p = multiprocessing.Process(target=run,args=(6,)) #启动一个进程,如果参数只有一个,那么参数后面一定要加一个逗号
p.start()
# 进程5个
# 每个进程下启动6个线程
#进程等待也可以用pjoin()
总结:
1、如果子线程运行的函数里面有返回值该怎么处理?
如果子线程运行的函数里面有返回值,是不能获取到的,只能在外面定义一个list或字典来存放每次处理的结果。
2、电脑有几核就能同时运行几个线程。但是,python的多线程只能利用一个CPU的核心。
3、锁,在多线程同时修改一个数据或文件的时候,可能会把数据覆盖,在python2里面需要加锁,python3里面不加锁也无所谓,默认会自动帮你加锁。
4.守护线程,只要主线程结束,那么子线程立即结束,不管子线程有没有运行完成。
5、多进行,多用于处理CPU密集型任务;多线程,多用于IO密集型任务。