CrawlScript脚本语言实现网络爬虫

前段时间我们学习了几种爬虫技术，我们来回顾一下，webCollector，htmlParser，Jsoup，各有优劣，但是如果能灵活运用，其实都是很不错的。那么，今天呢，我们来学习一种脚本语言，这是一种专门为爬虫技术设计的脚本语言，叫做CrawlScript。话不多说，我们先来了解一下CrawlScript.

1. CrawlScript是一种具有爬虫功能的javascript：CrawlScript是一种具有爬虫功能的javascript,CrawlScript是在ECMA标准的基础上设计的语言，是一种javascript,在语法上和网页开发中使用的javascript完全相同，但是并不支持网页开发中所特有的函数和对象，如document、alert()在CrawlScript中会失效。CrawlScript有自己的一套特有的函数和对象。
2. CrawlScript是跨平台的：CrawlScript在任何有JDK环境的电脑上都可以运CrawlScript是跨平台的行，无论是windows、linux还是unix。

3. 在JAVA程序中调用CrawlScript：CrawlScript完全由JAVA编写,可在JAVA程序中被方便调用。

4. 为什么选择CrawlScript：

 

• CrawlScript是脚本语言，大大简化了编程，用一两行代码可以实现用几十行JAVA代码才能实现的功能。
• CrawlScript可以直接单独作为爬虫使用，只需要JDK的环境即可，不需要复杂的配置过程。
• CrawlScript可以嵌入任何其他JAVA程序中。

 

详细文档可以参考CrawlScript的API帮助文档，http://crawlscript.github.io/index.html。

首先，我们需要先下载CrawlScript的压缩包下来，进入CrawlScript的github主页,右下方的Download Zip按钮下载。

下载完后解压到指定文件夹，如下图：

我们发现这里面有一个Jar包，还有一个demo.js，这个js是一个可以运行的案例，我们先不管它。

接下来，我们需要运行CrawlScript Shell，CrawlScript Shell是编写和运行CrawlScript最常用的方式之一。具体可参考文档。我们先来获取一下百度首页的内容：

接下来，我们利用CrawlScript爬取搜狐新闻的网页内容。

 

OK，今天的内容就到这里了，至于CrawlScript更深入的内容我们就不再赘述了，有兴趣的同学们可以查找资料进一步的去研究。

如果您对本文观点有什么异议，欢迎您的留言，我们一起交流！