2015年3月9日
第一个nuthc采集Nutch-site.xml文件配置（记录用）
摘要： http.robots.agents My Nutch Spider The agent strings we'll look for in robots.txt files, comma-separated, in decreasing order of precedence. You... 阅读全文
posted @ 2015-03-09 16:20 一颗大柠檬 阅读(138) 评论(0) 推荐(0) 编辑