基于larbin的搜索蜘蛛的扩展，自动匹配提取正文数据和入库，sphinx全文检索
摘要：
原理：提取爬虫采集回来的文件，提取正文内容。程序分2个文件夹： 为避免shell检测出错，起名为pa_main为爬虫主程序，pa_control为控制程序。 功能：larbin采集数据 检测文件大小 处理文件夹下网页文件提取入库 * 时间：2013-4-2 * 作者：lovelover * 操作： 按照以下顺序执行./shstart_daxiao.sh #(检测save文件夹大小 以便控制larbin的实时开关) ./shstart_getcode.sh #(提取网页标题和内容 入库) ./shstart_jiance.sh #(打开检测save文件夹有新增文件没)./killallphp.. 阅读全文
posted @ 2013-04-10 08:44 赵国亮的博客 阅读(1239) 评论(1) 推荐(3) 编辑