OpenWebSpider 安装使用

OpenWebSpider 是一个很好用的网络爬虫,也可以叫做“网络蜘蛛”.

安装：

1.使用Vs.net 2003 编译，

记得要copy libmysql.dll到工程里

2.配置文件openwebspider.conf

将已经启动了的 mysql数据库用户名，密码填写好

3.数据库建立

执行 sql_struct.txt 下的文件目录。OK Go ahead ， grabble your web now :)

下面我为说一下OpenWebSpider的使用方法。
一般情况下我们通过在CMD下输入
openwebspider -i http://www.****.com/ -e -s
就可以对你指定的网站进行采集了。

参数说明：
-I 在数据库里搜索字符串。        eg: openwebspider -I '美女'
-O 指定数据库内主机进行索引      eg: openwebspider -O 'www.baidu.com'
-i 指定主机名                    eg: openwebspider -i http://www.baidu.com/
-t 线程 如不设定，默认为20
-s 限制层数 默认为0 不限制
-l 限制索引页数量 默认为0 不限制
-c 限制每页索引花费时间。
-b 限制出错时间
-e 限定主机，（不添加外部主机）
-F 自由索引模式

等等。