使用js调用内容文件网站的采集方法教程

事情起因:http://www.ccvvcc.com/bbs/htm_data/6/0902/8424.html
原帖内容:如果所有网站都这样,用什么采集器也没用啊!!!
大家看看吧,估计任何采集器也不能够采集成功啊!
http://www.sooopu.com/html/19/19207.html
直接是败了,原想用二级转向采集它的这个http://www.sooopu.com/html/js/19/19207.js,却发现js文件是不能够采集的。
你们说说看,他这个防采集是不是绝啦?
+++++++++++++++++
解决办法:看到这个帖子,就去尝试采集了一下,结果发现采集不了,便联系了火车,火车测试后说是由于“本来js是不下载的 ”,随后,修改了程序,
并重新编译了LocoyCommon.dll文件,并发给了我,我使用了新的LocoyCommon.dll,sooopu的曲谱图片顺利采集下来了。LocoyCommon.dll 见附件。
这个dll是火车发给我的,并非官方正式发布,也不是一次升级,也没有经过测试,仅仅为了解决采集sooopu而做的,需要或者想试用的朋友,为避免发生意外,建议,另建目录新装个火车,覆盖同名dll文件。
+++++++++++++++++
采集sooopu,它的标题、演唱者、类别、格式等都在默认页面,就不多说了。它的曲谱图片地址保存在默认页面调用的一个js文件中,比较默认页面地址和js文件地址差异,
采用“依据规则对默认页地址替换生成地址”方式添加新的采集页面,操作方法如下,有类似情况的朋友可以参考操作:
点击“采集内容规则”  
,单击打开 “同时采集多页面?” ,弹出“添加同时采集页面”设置对话框,页面名称,随便填,自己明白即可,比如”sooopu曲谱图片“,下面是新的”页面地址“生成方式的设置,
在这里我们选择使用第一种方法——”依据规则对默认页地址替换生成地址“,根据下面的说明,”注:使用第一种方法时该处使用正则替换“,
我们需要在”将“后面的文本框中填入默认页面地址,”替换为“后面的文本框自然就是新的,需要采集的页面地址了。比较原html文件地址和需要采集的js文件地址,
我们需要替换的是两个数字,19和19207,我很菜,不懂什么正则表达式,这里有个教程,《正则表达式30分钟入门教程》http://unibetter.com/deerchao/zhengzhe-biaodashi-jiaocheng-se.htm    ,
单纯的数字比较简单, 比如要匹配19, [\d])([\d] ,[\d]{2} ,[\d]+?    好像都可以 ,那么原来的地址就是:http://www.sooopu.com/html/ ([\d]) ([\d])/ ([\d]+?).html   ,
新地址用$1,$2,$3分别代替原地址上的正则匹配的内容,http://www.sooopu.com/html/js/$1$2/$3.js
保存后返回。
进入需要编辑的标签编辑框,点击”所属页面“后的下拉菜单,选择刚刚建立的”sooopu曲谱图片“新页面替换规则,

再对照新页面的源代码,过滤出内容标签就好了。


LocoyCommon_dll (452 KB)
搜谱sooopu.ljob (1.95 KB)

posted @ 2010-01-09 09:25  真功夫  阅读(1686)  评论(0编辑  收藏  举报