没有区分爬虫与访客，导致SEO效果很差

因为网站是按城市运营的，每个城市的人或爬虫看到的页面内容不同。

原来以为SEO做得很好，后来用

搜索引擎模拟抓取页面

，发现重点内容没有被爬到。

 

 

经过调试代码，发现爬虫所在的城市是小地方，页面根据城市来获取内容，事实上没有什么内容可以获取。

 

这样导致SEO效果大打折扣。