python threading Semaphore

#Semaphore 是用于控制进入数量的锁,控制同时进行的线程,内部是基于Condition来进行实现的
#文件, 读、写, 写一般只是用于一个线程写,读可以允许有多个

#做爬虫
import threading
import time

class HtmlSpider(threading.Thread):
    def __init__(self, url, sem):
        super().__init__()
        self.url = url
        self.sem = sem

    def run(self):
        time.sleep(2)
        print("got html text success")
        self.sem.release()# release一次就会加1

class UrlProducer(threading.Thread):
    def __init__(self, sem):
        super().__init__()
        self.sem = sem

    def run(self):
        for i in range(20):
            self.sem.acquire() # acquire一次,semphore的数量就减一,知道数量为0时,它就会阻塞在这里
            html_thread = HtmlSpider("https://baidu.com/{}".format(i), self.sem)
            html_thread.start()

if __name__ == "__main__":
    sem = threading.Semaphore(3)
    url_producer = UrlProducer(sem)
    url_producer.start()

 

posted @ 2019-07-07 19:59  下路派出所  阅读(1835)  评论(1编辑  收藏  举报