摘要：
1. 如何绕过目标站点的robots.txt限制 多数站点都是只允许百度、google等搜索引擎抓取的，所以会在robots.txt里限制其他爬虫。nutch自然是会遵循robots协议的，但是我们可以通过修改nutch源码来绕过限制。相关代码位于（nutch版本1.5.1，其他版本未测试）：org... 阅读全文
摘要：
转载:http://blog.csdn.net/xiao_jun_0820/article/details/40539291本文基于Cloudera Manager5.0.0，所有服务基于CDH5.0.0 parcel安装。CM 安装solr是非常方便的，在集群上添加服务就行了，solrcloud需... 阅读全文
