摘要： 谷歌的网页抓取机器人，类似于中国的Baiduspider（百度蜘蛛） Googlebot 和Mediapartners-Google 是非常勤奋的机器人，如果他们影响到你服务器的承受力，你可以通过 robots.txt 文件加以制止。 Googlebot指的是Google的机器人，或蜘蛛。一般Goo 阅读全文

摘要： 详解百度蜘蛛ip段代表的不同含义 有时候我们在分析百度蜘蛛的时候，会发现很多的ip，这些个ip地址，根据后面的参数可以发现都是百度的。刚学习SEO不久的同学肯定要问：这些ip地址到底代表什么含义，是不是不同的ip地址所代表的含义不一样呢?对权重和抓取是否有影响?哪些是无效的蜘蛛，哪些是站长工具的蜘蛛 阅读全文