摘要: 想测试一下python多线程爬虫的效率,就写了个爬虫程序的多线程版和普通版。测试了一下。发现单线程比多线程还快,不理解。看来有两种可能,一是我写的多线程爬虫有问题,二是python对多线程的支持有局限。 暂时存在这里,希望以后能解决。 爬虫单线程版: 1 #coding=utf-8 2 import sys 3 reload(sys) 4 sys.setdefaultencoding('utf-8') 5 6 import requests 7 import re 8 import os 9 from threading import Thread 10 import url. 阅读全文
posted @ 2013-08-19 00:15 lkprof 阅读(658) 评论(0) 推荐(0) 编辑