OpenWebSpider 安装使用
OpenWebSpider 是一个很好用的网络爬虫,也可以叫做“网络蜘蛛”.
安装:
1.使用Vs.net 2003 编译,
记得要copy libmysql.dll到工程里
2.配置文件openwebspider.conf
将已经启动了的 mysql数据库用户名,密码填写好
3.数据库建立
执行 sql_struct.txt 下的文件目录。OK Go ahead , grabble your web now :)
下面我为说一下OpenWebSpider的使用方法。
一般情况下我们通过在CMD下输入
openwebspider -i http://www.****.com/ -e -s
就可以对你指定的网站进行采集了。
参数说明:
-I 在数据库里搜索字符串。 eg: openwebspider -I '美女'
-O 指定数据库内主机进行索引 eg: openwebspider -O 'www.baidu.com'
-i 指定主机名 eg: openwebspider -i http://www.baidu.com/
-t 线程 如不设定,默认为20
-s 限制层数 默认为0 不限制
-l 限制索引页数量 默认为0 不限制
-c 限制每页索引花费时间。
-b 限制出错时间
-e 限定主机,(不添加外部主机)
-F 自由索引模式
等等。
本文来自博客园,作者:古道轻风,转载请注明原文链接:https://www.cnblogs.com/88223100/archive/2008/09/03/1282661.html
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 浏览器原生「磁吸」效果!Anchor Positioning 锚点定位神器解析
· 没有源码,如何修改代码逻辑?
· 一个奇形怪状的面试题:Bean中的CHM要不要加volatile?
· [.NET]调用本地 Deepseek 模型
· 一个费力不讨好的项目,让我损失了近一半的绩效!
· 在鹅厂做java开发是什么体验
· 百万级群聊的设计实践
· WPF到Web的无缝过渡:英雄联盟客户端的OpenSilver迁移实战
· 永远不要相信用户的输入:从 SQL 注入攻防看输入验证的重要性
· 浏览器原生「磁吸」效果!Anchor Positioning 锚点定位神器解析