[第一次]用php+flashget取别人的数据

139life的餐厅数据很全，我做的wap正好有一块是餐厅介绍。

从上个星期5开始取数据，一开始写的利用file_get_contents，整个过程都由程序控制。结果由于这个函数会超时导致脚本中断，我一点办法也没有，只好放弃。只好分步骤用flashget将文件下载到指定目录。

整个过程人工操作异常复杂。所以程序其实起的作用不大，只是处理现成的数据html文本。

还好今天晚上终于弄好了。

下面的代码是第一个，整个过程都由程序控制，可惜不能对链接重试，file_get_contents只会超时报错。

所以没办法，只好自己用flashget手工取了。

$file = "repast_mingxi2.html";

$repast = file_get_contents($file);

$q = '';

//anaRepastContent( $repast ,$catid );

//分析餐厅的数据

function anaRepastContent( &$repast ,$catid ){
global $q;
$from = '<table width="596" border="0" align="center" cellpadding="0" cellspacing="0">';

$to = '<br>			</td>';

$cd = cut2($repast,$from,$to);

$cd = iconv("gb2312" ,"utf-8" ,$cd);

//echot( $cd);

//开始分析

//餐馆名称.

$reg='/<td width="519" height="25"> ([^<]*)<\/td>/i';

preg_match($reg , $cd , $match);

$title = $match[1];

//是否支持刷卡

$reg2='/<td width="25%" height="33"><div align="center">刷卡   <img src="index_image\/([^"]+)"/i';

preg_match($reg2 , $cd , $match);

$card = ( $match[1] == "stop.gif" )?0:1;

//是否代客泊车

$reg3='/<td width="25%" height="33"><div align="center">代客泊车   <img src="index_image\/([^"]+)"/i';

preg_match($reg3 , $cd , $match);

$helppark = ( $match[1] == "stop.gif" )?0:1;

//是否允许吸烟

$reg4='/<td width="25%" height="33"><div align="center">吸烟   <img src="index_image\/([^"]+)"/i';

preg_match($reg4 , $cd , $match);

$smoking = ( $match[1] == "stop.gif" )?0:1;

//其他列,时间,地点........

$reg='/<td height="25" colspan="3">( |[\t ]*)([^<]+)<\/td>/i';

preg_match_all($reg , $cd , $matches);	//pr($matches);
$opentime = trim($matches[2][0]);   //营业时间
$tm = split( "-" , $opentime);
$opentimefrom = $tm[0];
$opentimeto = $tm[1];

$averagecosts = trim($matches[2][1]); //人均消费
$stalls = trim($matches[2][2]); //车位数
$maxholdpeople = trim($matches[2][3]); //最大容纳人数
$boxes = trim($matches[2][4]);  //包厢
$phone = trim($matches[2][5]); 
$address = trim($matches[2][6]);
$homepage = trim($matches[2][7]);

//餐厅介绍
$from = '<td width="72%" class="paraFormat">    ';
$to = '</td>';
$summary = cut2( $cd ,$from,$to,'in');
//echot($summary);

//推荐菜品 dish

//菜名
$reg='/<td width="216" height="25" bgcolor="#FFE3BE"> ([^<]+)<\/td>/i';
preg_match_all($reg , $cd , $matches1);	//pr($matches1);
//菜价
$reg = '/<td width="226" height="25" bgcolor="#FFE3BE"> ([\d]+)（元）<\/td>/i';
preg_match_all($reg , $cd , $matches2);	//pr($matches2);

$dish = '';
$n=count($matches1[1]);
for ($i=0;$i<$n ;$i++ ) {
    $dishtitle = $matches1[1][$i];
	$dishprice = $matches2[1][$i];
	$dish .=$dishtitle.":".$dishprice."\r\n";
}

//菜名
$reg = '/<td width="216" height="25" bgcolor="#FFEFD8"> ([^<]+)<\/td>/i';
preg_match_all($reg , $cd , $matches3);	//pr($matches3);
//菜价
$reg = '/<td width="226" height="25" bgcolor="#FFEFD8"> ([\d]+)（元）<\/td>/i';
preg_match_all($reg , $cd , $matches4);	//pr($matches4);

$n=count($matches3[1]);
for ($i=0;$i<$n ;$i++ ) {
    $dishtitle = $matches3[1][$i];
	$dishprice = $matches4[1][$i];
	$dish .=$dishtitle.":".$dishprice."\r\n";
}

//echot( $dish);

$q .= "('', '$title', 1, 27, $catid , $mainareaid , $areaid , '$phone', '$address', '$opentimefrom' ,'$opentimeto', '$averagecosts', $stalls , $maxholdpeople, $boxes, '$homepage', $card, $helppark, $smoking, '$summary', '', '$dish'),\n";
//echo $q;
//$sql ="INSERT INTO `mos_wap_repast` VALUES";
//die;

}//end func anaRepastContent

$logfile = "log1.txt"; 
if (!is_file($logfile)) {
    $fp = fopen($logfile,"wb");
    fwrite($fp,"");
    fclose($fp);
}

$log = file_get_contents($logfile);

//启动主过程

$file = "D:/web/mambog_corp/administrator/components/com_wap/139life/catlinkk.htm";

mainsub($file);

/*
* mainsub 循环所有类别。
*/
function mainsub($file  ){
	
	global $database ;

$c = file_get_contents($file);

$reg = "\r\n";

$matches = split($reg , $c );//preg_match_all( $reg , $c , $matches );

//pr($matches);

//循环所有类别链接
	echo "循环所有类别开始\n";

foreach ($matches as $v) {
		
		$urls = split("\?",$v);

$params = $urls[1];

$reg="/&|&/i";
		
		$parr = preg_split( $reg , $params );
		
		$cat = $parr[0];

$ab = split("=",$cat);

$a = $ab[1];  //具体菜系,苏菜

//开始取这个具体菜系在数据库中的id

$q = "select id from #__wap_categories where title='$a' and pid=27";

$database->setQuery($q);

$catid = $database->loadResult();
		
		//处理本类别

main( $v , $catid );

break;

}

//echo "循环所有类别完毕\n";
	
		global $q;

$sql ="INSERT INTO `mos_wap_repast` VALUES".$q;
		$sqlfile = "caixi.sql";
		$fp = fopen($sqlfile,"wb");
		fwrite($fp,$sql);
		fclose($fp);

//$sql = "INSERT INTO `mos_wap_categories` VALUES ".$sql1;

}

//main循环同类的页数

function main( $caturl ,$catid  ){
	
	//echo $caturl."		".$catid."\n";

//取url，并切割得到干净的列表数据块cs

$cs = cutRepastList( $caturl ); 
	
	//$cs = iconv("gb2312" ,"utf-8" ,$cs);
	
	//echot($cs);

//对得到的数据块分析出链接，取来文本，处理并生成插入数据库sql。

doRepastList( $cs ,$catid);

//取本数据块的页面数目。

$pagen = getPageNum( $cs );

//如果本类别数目大于1，则循环取页面。

for ($i=1;$i<$pagen ;$i++ ) {
		
		//循环处理本分类下的所有页面	getRepastList( $cs );

//得到干净的列表数据块

$file = $caturl."&page=".$i;

$cs = cutRepastList( $file );

//对得到的数据块分析出链接，取来文本，处理并生成插入数据库sql。

doRepastList( $cs ,$catid );
		
		//echo $i."<br/>";

}

function cutRepastList( $file ){

//$file = "repastlist2.html";
	
	echo "[$file]		".$catid."\n";

$c = file_get_contents($file); //	$c = iconv("gb2312" ,"utf-8" ,$c);  echot($c,1000,1000); die;

$from ='<table width="602" border="1" align="center" cellpadding="0" cellspacing="0" bordercolor="#FFFFFF">';

$to = '<br>			</td>';

return cut2( $c , $from,$to);

}

//一页数据50条

function doRepastList( $cs ,$catid ){

global $log ,$logfile ;

//取连接
/*
<td height="35" bgcolor="#E6E4E5"> <a href="cenSearchDetail.asp?id=851">姚阿姨餐饮</a></td>
*/

//餐厅名和链接

$reg1 = '/<a href="(cenSearchDetail.asp\?id=[^"]+)">([^>]+)<\/a>/i';

preg_match_all($reg1 , $cs , $matches );

//prt( $matches , 1000 , 1000  ); die;

$n=count($matches[1]);

for ($i=0;$i<$n ;$i++ ) {

$url = "http://www.139life.com/m/".$matches[1][$i];

$title .= $matches[2][$i];

//最后一步，取餐厅信息详细页面，并分析。

//这个对所有链接进行取值处理。分析最后的页面，生成插入数据库的sql。

//由于脚本很弱，可能执行中断，故需要写日志，以避免重复的工作。

//判断日志

$mm = split("=",$matches[1][$i]);

$id = $mm[1];

$step = $catid."-".$id;

if (strpos($log,$step)===false) {

echo "[$url]\n";
		
			$repast = file_get_contents($url);

$steps .=$step." ";
			
			anaRepastContent( $repast ,$catid ) ;
		
		}

}
	
//写日志

$fp = fopen($logfile,"ab");
fwrite($fp,$steps);
fclose($fp);

}//end func

function getPageNum( &$cs ){
		
	//共几页

$reg = "/共([\d]+)页/i";
	
	 preg_match($reg , $cs , $match);

$pagen = $match[1];
	
	return $pagen;

}//end func

//echot( $link , 800 ,500);

/*	
$fp = fopen("catlink.htm","wb");
fwrite($fp,$link);
fclose($fp);	
*/

84    平江       0  84  area  
85    沧浪       0  85  area  
86    金阊       0  86  area  
87    吴中       0  87  area  
88    相城       0  88  area

Posted on 2005-11-21 18:57 古代阅读(428) 评论(0) 编辑收藏举报

刷新页面返回顶部