2008年10月12日
Baiduspider
摘要： 今天突然看到了有人在博客里说他看到了百度和Google的爬虫，突然有了兴趣，想看看。在百度看到了下面的内容，收藏到我的博客里，呵呵，觉得挺有意思的。 1.什么是baiduspider？ baiduspider是百度搜索引擎的一个自动程序。它的作用是访问互联网上的html网页，建立索引数据库，使用户能在百度搜索引擎中搜索到您网站的网页。 2.我不想我的网站被baiduspider访问，我... 阅读全文
posted @ 2008-10-12 19:52 彼岸Elan 阅读(637) 评论(0) 推荐(0) 编辑