摘要: 通过./larbin执行larbin。默认情况下其配置文件为larbin.conf,可通过参数 -c filename 设置自己的配置文件。可通过 -scratch 参数让larbin重新开始抓取网页。 配置文件larbin.conf文件各项简介:(修改配置文件不需要重新编译larbin) ################################################ Who are you ?# mail of the one who launched larbin (YOUR mail)From larbin2.6.3@unspecified.mail #//用于htt. 阅读全文
posted @ 2009-09-21 18:33 不死鸟2013 阅读(394) 评论(0) 推荐(0) 编辑
摘要: larbin是一个法国人写的网络爬虫,在一台普通pc机上,只要带宽足够,可以一天爬500万网页。下面简单介绍在Ubuntu下的编译运行。 通过新立得或者命令行(sudo apt-get install softname)安装gcc、g++、make、xutils-dev。 注释掉adns下internal.h的569-571行。 下载larbin(http://larbin.sourceforge.net/index-eng.html),解压缩后进入该目录执行 ./configure make 通过./larbin执行。 默认情况下larbin不执行任何输出,可通过修改lar... 阅读全文
posted @ 2009-09-21 11:19 不死鸟2013 阅读(600) 评论(1) 推荐(0) 编辑