【一笔带过】爬虫的结果里status_code是404的问题排查

当爬虫的status_code显示404的时候，

1、请打开自己的浏览器，在没有其他网页的情况下重新打开一次你要爬取的网站地址

2、如1无问题，则对照浏览器的request header，排查你爬虫里的headers是否缺少了哪个要素，将其去掉再试一遍

3、如1、2无问题，则对照浏览器的request header，排查你爬虫里的headers是否多了哪个要素，将其去掉再试一遍

4、如1、2、3无问题，则冷静一下，休息5分钟

5、尝试用多个浏览器访问你要爬取的网站地址

6、如上面各项均无问题，那么请再百度或谷歌看看有没有其他好方案，并希望您能够给本博文留言，方便我去尝试更多的解决方法。

 

本篇将会不断更新更多的检查方案。