|
在做抓取前，记得把php.ini中的max_execution_time设置的大点，不然会报错的。
一、用Snoopy.class.php抓取页面
一个挺萌的类名。功能也很强大，用来模拟浏览器的功能，可以获取网页内容，发送表单等。 1）我现在要抓取一个网站的列表页的内容，我要抓取的是全国的医院信息内容，如下图：
2）我很自然的将URL地址复制下来，用Snoopy类来抓取前10页的页面内容，而且将内容放到本地来，在本地建立html文件，等下用于分析。 $snoopy=new Snoopy();
//医院list页面
for($i = 1; $i <= 10; $i++) {
$url = 'http://www.guahao.com/hospital/areahospitals?p=全国&pageNo=' . $i;
$snoopy->fetch($url);
file_put_contents("web/page/$i.html", $snoopy->results);
}
echo 'success';
3）很奇怪的是返回回来的不是全国的内容，而是上海的相关内容
4）后面怀疑是里面可能设置了cookie，然后用firebug查看，果然有惊人内幕
5）在请求的时候将cookie的值也放进去，就加了个设置语句$snoopy->cookies["_area_"]，情况就大不一样了，顺利返回全国信息。 $snoopy=new Snoopy();
//医院list页面
$snoopy->cookies["_area_"] = '{"provinceId":"all","provinceName":"全国","cityId":"all","cityName":"不限"}';
for($i = 1; $i <= 10; $i++) {
//...页面内容抓取...
二、用phpQuery.php分析页面用了这个类能像jQuery那样操作DOM，不必为采集网站内容而使用那些头疼的正则算法了，用法上与jQuery相似，只是$()换成了pq()。主页放在google的code中，被屏蔽了得FQ一下，下面的附件中我分享了一个最新版本的fgFQ软件。用法很简单只要打开fg742p.exe文件就可以了。 1）我要获取每一页内容中的每个具体医院的信息，例如要获取301医院的信息。 每页的内容页面已经在前面的操作中抓取到了本地。所以可以直接用localhost了。 $snoopy=new Snoopy();
for($i = 1; $i <= 10; $i++) {
$url = "http://localhost/spider/web/page/$i.html";
$snoopy->fetch($url);
$html = $snoopy->results;
}
2）用phpQuery获取到节点信息，如下图的DOM结构： 使用一些phpQuery的方法，结合DOM结构读取每个医院信息的URL地址。 for($i = 1; $i <= 10; $i++) {
//...抓取本地页面...
phpQuery::newDocument($html); //初始化对象
$urls = array();
foreach(pq('.search-hos-info dl dt a') as $item) {
array_push($urls, pq($item)->attr('href')); //医院详情
}
}
3）根据读取到的URL地址列表，抓取指定的页面。 $detailIndex = 1;
for($i = 1; $i <= 10; $i++) {
//...抓取本地页面...
//...获取指定节点的href地址信息...
$len = count($urls);
for($row = 1; $row <= $len; $row++) {
$snoopy->fetch($urls[$row - 1]);
file_put_contents("web/hospital/$detailIndex.html", $snoopy->results);
$detailIndex++;
}
}
FQ工具下载： demo下载： http://download.csdn.net/detail/loneleaf1/8089507
Snoopy类的一些说明： 类方法
类属性
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
