爬虫

百度的：

地址：https://www.baidu.com/robots.txt

 

posted @ 2016-11-21 09:15  Tinywan  阅读(166)  评论(0)  编辑  收藏  举报