爬虫日记之robots协议

robots协议，是什么东西，就是一些正规的网站，它都有这个协议，我们在爬取东西的时候要遵循他这个协议，就是他会规定，这个网站里的什么你是可以爬取的，什么你是不能爬取的，这是大家约定俗成的

但是这有什么卵用，我要爬你还管我，你要爬你还在意这个，我让你别爬你就不爬了吗？只要别拿来做商业用途，而且访问量不大，不会对对方服务器造成伤害的话，随！便！爬！

大不了就坐牢，几年后我还爬你网站。