摘要：
SCHEDULER = 'scrapy_redis.scheduler.Scheduler' DUPEFILTER_CLASS = 'scrapy_redis.dupefilter.RFPDupeFilter' REDIS_HOST = 'xxxx' REDIS_PORT = xxxx REDIS_ 阅读全文
摘要：
我们可以使用from +size来获取所有数据，但是，如果数据量大的时候，这样的操作开销很大，这时候可以使用scroll操作 1.第一步发起一个scroll 的post请求，带上参数scroll=1m （1m的意思是1分钟的意思） POST /twitter/_search?scroll=1m { 阅读全文