雨渐渐

nutch2.2.1

摘要： http://blog.csdn.net/leave00608/article/details/17442163https://svn.apache.org/repos/asf/nutch/tags/release-2.2.1/http://blog.csdn.net/hsb1132/article... 阅读全文

posted @ 2014-09-02 17:28 雨渐渐阅读(118) 评论(0) 推荐(0) 编辑

nutch http file 截断问题

摘要：问题：列表页预计抽取 355+6 但实际只抽取到220条链接. 原因是nutch对http下载的内容的长度进行了限制。解决方案：这里将这个属性扩大10倍。vim conf/nutch-defalut.xml 修改http.content.limit属性，将其由65536 改为 655360 ht... 阅读全文

posted @ 2014-09-01 12:44 雨渐渐阅读(238) 评论(0) 推荐(0) 编辑

做网络爬虫的一些辅助工具

摘要： firefox chromefirebug xpath checkerMTracer 2.1带注册码链接：http://pan.baidu.com/s/1o67H9VW 密码：14noAltovaXMLSpy2006 阅读全文

posted @ 2014-08-29 10:29 雨渐渐阅读(450) 评论(0) 推荐(0) 编辑

爬虫配置文件

摘要： ××××.com //ul[@data-key='region']/li/a/@href //ul[@class='detail']/li[1]/a[1]/@href //div[@class=... 阅读全文

posted @ 2014-08-29 10:21 雨渐渐阅读(293) 评论(0) 推荐(0) 编辑

nutch 很多url unfetched的原因

摘要： bin/hadoop jar apache-nutch-1.7.job org.apache.nutch.crawl.CrawlDbReader crawl/crawldb -stats -sort会发现好多unfetched，原因是：nutch-default.xml对generate的时候进行... 阅读全文

posted @ 2014-08-28 19:51 雨渐渐阅读(212) 评论(0) 推荐(0) 编辑

nutch 索引

摘要： nutch开发环境搭建 nutch-1.3导入eclipse nutch-1.7导入eclipsenutch部署 nutch-1.3linux下部署 nutch-1.7编译 nutch-1.2与nutch1.3部署的改变 nutch-2.2.1 hadoop-1.2.1 hbase-0.92.1集群... 阅读全文

posted @ 2014-08-28 17:00 雨渐渐阅读(241) 评论(0) 推荐(0) 编辑

机器学习入门阶段程序员易犯的5个错误

摘要：机器学习入门阶段程序员易犯的5个错误http://f.dataguru.cn/forum.php?mod=viewthread&tid=298490&fromuid=937421.将机器学习看得高不可攀机器学习不过是另一堆技术的集合，你可以用它来解决复杂问题。这是一个飞速发展的领域，因此，机器学习的... 阅读全文

posted @ 2014-06-22 21:56 雨渐渐阅读(247) 评论(0) 推荐(0) 编辑

asp.net viewstate的模拟登陆

摘要：其实 VIEWSTATE 不用太在意，倒是 JTCookieID 需要注意，这个才应该是服务器上用来维护 Session 的那个 Cookie。所以，你用 httpclient 的时候，不能上来就直接发到“POST /PersonLogin.aspx”上，因为那样的话，服务器上还没有建立一个有效的 ... 阅读全文

posted @ 2014-06-19 14:48 雨渐渐阅读(1766) 评论(0) 推荐(0) 编辑

数据采集服务提供商，ip提供商里面有些不错的基础数据

摘要： http://user.qzone.qq.com/1649677458这家公司的爬虫应该挺牛的！@#！#！~#￥￥￥@@http://www.site-digger.com/ 阅读全文

posted @ 2014-06-19 11:17 雨渐渐阅读(127) 评论(0) 推荐(0) 编辑

百度预测及 maven pom搜索地址

摘要： http://trends.baidu.com/ http://mvnrepository.com/artifact/net.sourceforge.htmlcleaner/htmlcleaner/2.8 阅读全文

posted @ 2014-06-18 14:30 雨渐渐阅读(207) 评论(0) 推荐(0) 编辑