09 2019 档案

关于[scrapy] DEBUG:Filtered duplicate request: (dont_filter=True)

摘要：[scrapy] DEBUG:Filtered duplicate request:<GET:xxxx>-no more duplicates will be shown 不会显示更多重复项, 其实这个的问题是,CrawlSpider结合LinkExtractor\Rule,在提取链接与发链接的时候阅读全文

posted @ 2019-09-05 15:57 乔儿阅读(1091) 评论(0) 推荐(0) 编辑

公告

昵称：乔儿
园龄： 6年2个月
粉丝： 7
关注： 3

+加关注

<

2025年3月

>

日

一

二

三

四

五

六

23

24

25

26

27

28

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

1

2

3

4

5

随笔档案

阅读排行榜

评论排行榜

最新评论

1. Re: WARNING: Retrying (Retry(total=4, connect=None, read=None, redirect=None, status=None))
感恩!!!!!!!!!!!!!!!!!!!!!!!!!
--蜡笔新之助
2. Re: WARNING: Retrying (Retry(total=4, connect=None, read=None, redirect=None, status=None))
非常有用!!!!
--蜡笔新之助
3. Re:scrapy框架使用ip代理（ip池） #request.meta['proxy'] = "http://122.7.199.137:4558"
KeyError: 'proxy'
--Travis.Wang
4. Re:scrapy和requests的post请求详解
这“详解”可是真够详细的
--wisdomleo
5. Re:OpenSSL.SSL.Error: [('SSL routines', 'tls_process_server_certificate', 'certificate verify failed')]（ssl证书问题）
不错，，，问题已解决
--一花一世界521

乔儿

09 2019 档案

公告

搜索

常用链接

随笔档案

阅读排行榜

评论排行榜

推荐排行榜

最新评论