摘要： 1 爬虫经常遇到的一个问题及解决办法 在循环爬取一个网站时，很有可能会在一段时间后，遇到403Forbidden；这种情况很有可能是因为，网站服务器识别出您这种行为不像是一个正常人干的，为了减小服务器的压力，给您Ban掉了. 那么为什么可以看出这不像一个正常人的行为呢？ 众所周知，浏览一个网页，实际 阅读全文