摘要：
200 0 64 64的出现不代表百度要K你，但是64的大量出现确实会带来很大的问题， 网络上流传着这么几种解释： 第一：64为K站的前兆。 第二64的出现只是64位操作系统。 第三：网络不可达，由于某种原因无法完全打开页面，或者网络不稳定这些原因，导致蜘蛛无法带回页面或者说不抓取该页面。 304 0 0 这个返回码代表蜘蛛访问的页面没有更新，和他之前来的时候是一样的，所以看到这个不要担心，蜘蛛来... 阅读全文
摘要：
目录： 什么是robots.txt robots.txt使用误区 robots.txt使用技巧 什么是robots.txt？ robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。Robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。 当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访... 阅读全文