摘要：
Web爬虫(Crawler,Robot,Bot,Spider)与爬取(Crawling)，被认为所谓的SEO学习的第一步。由于现在各大搜索引擎提倡通过sitemap主动提交内容，避免一些重要内容没有被及时抓取取到或者由于被搜索引擎大量抓取而影响服务器性能，所以网络爬虫原理显得已经并不是那么重要了，特别是实时搜索的出现。不过这里还是要说下爬虫爬取策略，进一步了解搜索引擎，有助于良好的设计网站。无论百度爬虫还是Google爬虫策略应该类似的，只是技术实现不同。 阅读全文
Web爬虫(Crawler,Robot,Bot,Spider)与爬取(Crawling)，被认为所谓的SEO学习的第一步。由于现在各大搜索引擎提倡通过sitemap主动提交内容，避免一些重要内容没有被及时抓取取到或者由于被搜索引擎大量抓取而影响服务器性能，所以网络爬虫原理显得已经并不是那么重要了，特别是实时搜索的出现。不过这里还是要说下爬虫爬取策略，进一步了解搜索引擎，有助于良好的设计网站。无论百度爬虫还是Google爬虫策略应该类似的，只是技术实现不同。 阅读全文
posted @ 2009-12-26 19:20 Google优化 阅读(9257) 评论(0) 推荐(2) 编辑