摘要：
提问： 为什么使用scrapy框架来写爬虫 ？ 在python爬虫中：requests + selenium 可以解决目前90%的爬虫需求，难道scrapy 是解决剩下的10%的吗？显然不是。scrapy框架是为了让我们的爬虫更强大、更高效。接下来我们一起学习一下它吧。 1.scrapy 的基础概念 阅读全文
摘要：
import requestsimport jsonfrom retrying import retryfrom lxml import etreefrom queue import Queueimport threading class QiuShi: def __init__(self): # 阅读全文
摘要：
# coding=utf-8from selenium import webdriverimport jsonimport timeimport pymongo class Douyu: def __init__(self): self.driver = webdriver.Chrome() # 发 阅读全文
摘要：
import requestsfrom retrying import retryfrom lxml import etreeimport json class DaCheng(object): def __init__(self): self.temp_url = "http://www.dach 阅读全文
摘要：
# coding=utf-8import requestsimport jsonfrom retrying import retryimport re class TyY: def __init__(self): self.url = ["http://www.tylaw.cn/cgi-bin/GL 阅读全文