它山之石可以攻玉

键盘上的生活
  博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理

php结合phantomjs实现网页截屏、抓取js渲染的页面

Posted on 2018-07-02 17:03  陈达辉  阅读(2564)  评论(0)  编辑  收藏  举报

首先PhantomJS快速入门

PhantomJS 是一个基于 WebKit 的服务器端 JavaScript API。它全面支持web而不需浏览器支持，其快速，原生支持各种Web标准： DOM 处理, CSS 选择器, JSON, Canvas, 和 SVG。 PhantomJS 可以用于 页面自动化 ， 网络监测 ， 网页截屏 ，以及 无界面测试 等。

一、安装

安装包下载地址： http://phantomjs.org/download.html ，包括 Windows ，Mac OS，Linux版本，自行选择对应 版本下载解压即可（ 为方便使用，可自已为phantomjs设置环境变量 ），其中带有一个example文件夹，里面有很多已经写好的代码供使用。本文假设phantomjs已经安装好并已设置了环境变量。

二、使用

Hello， World！

新建一个包含下面两行脚本的文本文件：

console.log('Hello, world!');
phantom.exit();

将文件另存为 hello.js ,然后执行它：

phantomjs hello.js

输出结果为：Hello, world!

第一行将会在终端打印出字符串，第二行 phantom.exit 将退出运行。 
在该脚本中调用 phantom.exit 是非常重要的，否则 PhantomJS 将根本不会停止。

脚本参数 – Script Arguments

Phantomjs如何传递参数呢？如下所示 ：

phantomjs examples/arguments.js foo bar baz

其中的foo, bar, baz就是要传递的参数，如何获取呢：

var system = require('system');
if (system.args.length === 1) {
    console.log('Try to pass some args when invoking this script!');
} else {
    system.args.forEach(function (arg, i) {
            console.log(i + ': ' + arg);
    });
}
phantom.exit();

 

它将输出 ：

0: foo
1: bar
2: baz

页面加载 – Page Loading

通过创建一个网页对象，一个网页可以被加载，分析和渲染。

下面的脚本将示例页面对象最简单的用法，它加载 example.com 并且将它保存为一张图片， example.png 。

var page = require('webpage').create();
page.open('http://example.com', function () {
    page.render('example.png');
    phantom.exit();
});

由于它的这个特性，PhantomJS 可以用来 网页截屏 ，截取一些内容的快照，比如将网页、SVG存成图片，PDF等，这个功能很牛X。

接下来的 loadspeed.js 脚本加载一个特殊的URL (不要忘了http协议) 并且计量加载该页面的时间。

var page = require('webpage').create(),
    system = require('system'),
    t, address;

if (system.args.length === 1) {
    console.log('Usage: loadspeed.js <some URL>');
    phantom.exit();
}

t = Date.now();
address = system.args[1];
page.open(address, function (status) {
    if (status !== 'success') {
        console.log('FAIL to load the address');
    } else {
        t = Date.now() - t;
        console.log('Loading time ' + t + ' msec');
    }
    phantom.exit();
});

在命令行运行该脚本：

phantomjs loadspeed.js http://www.google.com

它输出像下面的东西：

Loading  http://www.google.com  Loading time 719 msec

代码运算 – Code Evaluation

要想在网页的上下文中对JavaScript 或 CoffeeScript 进行运算，使用 evaluate() 方法。代码是在“沙箱”中运行的，它没有办法读取在其所属页面上下文之外的任何JavaScript对象和变量。 evaluate() 会返回一个对象，然而它仅限制于简单的对象并且不能包含方法或闭包。

这有一个示例来显示网页标题：

var page = require('webpage').create();
page.open(url, function (status) {
    var title = page.evaluate(function () {
        return document.title;
    });
    console.log('Page title is ' + title);
});

任何来自于网页并且包括来自 evaluate() 内部代码的控制台信息，默认不会显示的。要重写这个行为，使用 onConsoleMessage 回调函数，前一个示例可以被改写成：

var page = require('webpage').create();
page.onConsoleMessage = function (msg) {
    console.log('Page title is ' + msg);
};
page.open(url, function (status) {
    page.evaluate(function () {
        console.log(document.title);
    });
});

DOM操作 – DOM Manipulation

由于脚本好像是一个Web浏览器上运行的一样，标准的DOM脚本和CSS选择器可以很好的工作。这使得PhantomJS适合支持各种 页面自动化任务 。

下面的  useragent.js  将读取 id  为myagent的元素的  textContent  属性：

var page = require('webpage').create();
console.log('The default user agent is ' + page.settings.userAgent);
page.settings.userAgent = 'SpecialAgent';
page.open('http://www.httpuseragent.org', function (status) {
    if (status !== 'success') {
        console.log('Unable to access network');
    } else {
        var ua = page.evaluate(function () {
            return document.getElementById('myagent').textContent;
        });
        console.log(ua);
    }
    phantom.exit();
});

上面示例同样提供了一种自定义 user agent 的方法。

使用JQuery及其他类库：

var page = require('webpage').create();
page.open('http://www.sample.com', function() {
    page.includeJs("http://ajax.googleapis.com/ajax/libs/jquery/1.6.1/jquery.min.js", function() {
        page.evaluate(function() {
            $("button").click();
        });
        phantom.exit()
    });
});

网络请求及响应 – Network Requests and Responses

将一个页面从一台远程服务器请求一个资源的时候，请求和响应均可以通过 onResourceRequested  和  onResourceReceived  回调方法追踪到。示例  netlog.js ：

var page = require('webpage').create();
page.onResourceRequested = function (request) {
    console.log('Request ' + JSON.stringify(request, undefined, 4));
};
page.onResourceReceived = function (response) {
    console.log('Receive ' + JSON.stringify(response, undefined, 4));
};
page.open(url);

获取如何把该特性用于HAR 输出以及基于YSlow的性能分析的更多信息，请参阅 网络监控页面 。

PhantomJs官网： http://phantomjs.org/

GitHub: https://github.com/ariya/phantomjs/wiki/Quick-Start

 

上述帮助说明，来源于woiweb：https://www.tuicool.com/articles/beeMNj

使用 windows下PHP 执行 phantomjs

下面直接给出执行代码：

echo '<meta charset = "utf-8">';
exec('H:\wamp\www\phantomjs\bin\phantomjs --output-encoding=utf8 H:\wamp\www\Xss_Scanner\test.js ',$output_main);</pre></li><li><pre>var_dump($output_main);
//   $str = implode('',$output_main);
//    var_dump($str);</pre></li></ol><p class="article-p">test.js文件里面的内容如下：</p><ol class="article-ol"><li><pre>console.log('Loading a web page');</pre></li><li><pre>var page = require('webpage').create();</pre></li><li><pre>var url = 'http://www.mafutian.net/';</pre></li><li><pre>page.open(url, function (status) {</pre></li><li><pre>    //Page is loaded!</pre></li><li><pre>    if (status !== 'success') {</pre></li><li><pre>        console.log('Unable to post!');</pre></li><li><pre>    } else {</pre></li><li><pre>        console.log(page.content);</pre></li><li><pre>    }</pre></li><li><pre>    phantom.exit();</pre></li><li><pre>});</pre></li></ol><p class="article-p">执行结果如下图所示：</p><img class="article-img" animate="0" src="/public/blog/home/style/images/article/267_1.jpg" alt="请输入图片名称"><p class="article-p">注意，能够实现上面执行结果需要主要下面几点：</p><p class="article-p">（1）不能开启 PHP 的安全模式，即在 php.ini 中需要将 sql.safe_mode 设置为 Off。（并重启服务器，当然， php 本身默认就是不开启安全模式的）</p><p class="article-p">（2）无论 phantomjs 是否加入到系统环境变量中，在 exec() 中都应该是绝对路径的，以下执行是无效的：</p><ol class="article-ol"><li><pre>exec('phantomjs --output-encoding=utf8 H:\wamp\www\Xss_Scanner\test.js ',$output_main);

需要将 phantomjs 取绝对路径。

需要注意的是 js 文件可以不取绝对路径。可以是相对于网站根目录的，下面执行是成功的：

exec('H:\wamp\www\phantomjs\bin\phantomjs --output-encoding=utf8 test.js ',$output_main);

注：test.js 放置于网站的根目录下。

另外：在 PHP 下执行 phantomjs 也可以使用另外一个函数 systom() 来执行

以上内容参考：链接地址：http://www.mafutian.net/267.html

php-phantomjs中文API整理的集合DEMO

<?php
require 'vendor/autoload.php';
use JonnyW\PhantomJs\Client;//引入客户端
/*自定义模块*/
use JonnyW\PhantomJs\DependencyInjection\ServiceContainer;
$location = '/path/to/your/script/directory';//自定义模块所在文件夹
$serviceContainer = ServiceContainer::getInstance();
$procedureLoader</span> = <span class="hljs-variable">$serviceContainer->get('procedure_loader_factory')
->createProcedureLoader($location);//详细参见本文页尾

/*正常实例*/
$client = Client::getInstance();//实例

/*自定义模块*/
 $client->setProcedure('my_procedure');//加载一个名为my_procedure.proc的自定义js模块,详见本文页尾
$client</span>-&gt;getProcedureLoader()-&gt;addLoader(<span class="hljs-variable">$procedureLoader);//自动加载模块

/*自设phantomjs参数*/
$client->getEngine()->addOption('--load-images=true');//phantomjs参数,参数地址:http://phantomjs.org/api/command-line.html
$client->getEngine()->addOption('--config=/path/to/config.json');//除了单独配置命令,还可配置命令集配置的json文件::本文页尾列举了常用的配置

/*调试与缓存*/
$client->getEngine()->debug(true);//允许或禁止调试
$client->getLog(); //开启调试则输出结果
 $client->getProcedureCompiler()->clearCache();//清除缓存.建议允许前进行清除
$client->getProcedureCompiler()->enableCache();//允许缓存,建议开启
 $client->getProcedureCompiler()->disableCache();//禁止读取缓存


/*渲染与请求方式*/
 $link='http://jonnnnyw.github.io/php-phantomjs/4.0/3-usage/#on-load-finished';//请求的url
$client->isLazy(); // 是否让客户端等待所有资源加载完毕,开启此项务必开始setTimeout,避免轮询页面不断等待.
$request</span> = <span class="hljs-variable">$client->getMessageFactory()->createRequest();
$response</span> = <span class="hljs-variable">$client->getMessageFactory()->createResponse();
$request</span>-&gt;setUrl(<span class="hljs-variable">$link);
$request->setMethod('GET');//可GET|POST|OPTIONS|HEAD|DELETE|PATCH|PUT
$request->setTimeout(5000);//超过指定时间则中断渲染
$request->setDelay(5);//设置延迟5秒
$request->setRequestData(array('param1' => 'Param 1','param2' => 'Param 2'));//POST时发送的数据
$request->addHeader('custom_header_key', 'custom_header_value');//自定义头信息
$client</span>-&gt;send(<span class="hljs-variable">$request, $response);//发送请求

/*截图(图或PDF文件)*/
$request->setRepeatingHeader('<h1>Header <span style="float:right">%pageNum% / %pageTotal%</span></h1>',100);//自定义PDF类的头尾及其高度
$request->setRepeatingFooter('<footer>Footer <span style="float:right">%pageNum% / %pageTotal%</span></footer>',100);//自定义PDF类的头尾
$request->setViewportSize(200, 100);//设置可视宽高
 $request->setBodyStyles(array('backgroundColor' => '#ff0000'));//设置纸张背景色
 $request->setFormat('A4');//设置尺寸格式,如A4
 $request->setOrientation('landscape');//设置纸张方向如纵向
$request->setPaperSize('10cm', '20cm');//PDF纸张大小
$request->setMargin('1cm');//PDF纸张边距
$request->setOutputFile('E:\php\file.jpg|file.pdf');//截图或PDF存储路径
$request</span>-&gt;setCaptureDimensions(<span class="hljs-number">240</span>, <span class="hljs-number">320</span>, <span class="hljs-number">10</span>, <span class="hljs-number">20</span>);<span class="hljs-comment">//设置截图宽高与边距$width, $height, $top, $left

/*响应结果*/
$response->getHeaders();//返回头组成的数组
$response->getHeader();//返回头
$response->getStatus();//返回状态码:200则正确,其余错误.
$response->getContent();//返回正文
$response->getContentType();//返回正文类型
$response->getUrl();//返回请求地址
$response->getRedirectUrl();//返回重定向后的地址
$response->isRedirect();//返回是否重定向
$response->getConsole();//返回JS控制台内容

A. 常用命令参数: 

1.--ignore-ssl-errors=[true|false]忽略SSL错误，例如过期或自签名证书错误（默认为false）。 
2.--load-images=[true|false]加载所有内联图像（默认为true）。 
其它的很少用得到,http://phantomjs.org/api/command-line.html

 

B.自定义模块用法: 

global_variables.partial 允许任何javascript变量注入脚本的顶部。 
page_clip_rect.partial 如果请求是屏幕捕获，这将定义页面裁剪矩形。 
page_custom_headers.partial 在页面对象上设置任何自定义标题。 
page_on_error.partial 定义页面错误执行的代码。 
page_on_resource_received.partial 定义在资源接收时执行的代码。 
page_on_resource_timeout.partial 定义在资源超时时执行的代码。 
page_open.partial 定义页面打开时执行的代码。 
page_paper_size.partial 如果请求是PDF输出，这将设置纸张尺寸。 
page_settings.partial 最明显地定义任何页面设置资源超时值。 
page_viewport_size.partial 如果在请求中定义，请设置视口大小。 
page_body_styles.partial 在请求的页面的body标签上设置CSS样式。 
phantom_on_error.partial 定义在PhantomJS错误中执行的代码。 
procedure_capture.partial 定义请求是捕获请求时执行的代码。 
procedure_default.partial 定义为默认请求执行的代码。 
procedure_pdf.partial 定义请求是PDF请求时执行的代码。 
编译的时候所对应的位置:https://github.com/jonnnnyw/php-phantomjs/blob/master/src/JonnyW/PhantomJs/Resources/procedures/http_default.proc

 

除了上方的默认模块之外,你也可以自定义一个js模块 

首先创建至少755权限的.proc文件,例如/my_procedure(名称随意,上面引入时无需后缀).proc

//.proc示例脚本
var page  = require('webpage').create();
page.open ('{{ input.getUrl() }}', '{{ input.getMethod() }}', '{{ input.getBody() }}', function (status) {
//你的js脚本
phantom.exit(1);//退出
});
...

更多细节,详见.http://jonnnnyw.github.io/php-phantomjs/4.0/4-custom-scripts/