php 大文件如何读取

每当我找到成功的钥匙，就发现有人把锁芯给换了…

 

方式1：直接采用file函数来操作 - （针对大文件，不可取）

　　由于file函数是一次性将所有内容读入内存，而PHP为了防止一些写的比较糟糕的程序占用太多的内存而导致系统内存不足，使服务器出现宕机，所以默认情况下限制只能最大使用内存16M,这是通过php.ini里的 memory_limit = 16M 来进行设置，这个值如果设置-1，则内存使用量不受限制。

 

方式2：直接调用Linux的 tail 命令来显示最后几行

　　在Linux命令行下，可以直接使用 tail -n 10 access.log 很轻易的显示日志文件最后几行，可以直接用PHP来调用tail命令

$file = 'access.log';
$file = escapeshellarg($file); // 对命令行参数进行安全转义
$line = `tail -n 1 $file`;
echo $line;

 

方式3：直接使用PHP的 fseek 来进行文件操作

　　这种方式是最为普遍的方式，它不需要将文件的内容全部读入内容，而是直接通过指针来操作，所以效率是相当高效的

 

　　1) 首先通过fseek找到文件的最后一位EOF，然后找最后一行的起始位置，取这一行的数据，再找次一行的起始位置， 再取这一行的位置，依次类推，直到找到了$num行。　　

$fp = fopen($file, "r");
$line = 10;
$pos = -2;
$t = " ";
$data = "";
while ($line > 0) {
    while ($t != "＼n") {
        fseek($fp, $pos, SEEK_END);
        $t = fgetc($fp);
        $pos--;
    }
    $t = " ";
    $data .= fgets($fp);
    $line--;
}
fclose($fp);

echo $data

　　2) 还是采用fseek的方式从文件最后开始读，但这时不是一位一位的读，而是一块一块的读，每读一块数据时，就将读取后的数据放在一个buf里，然后通过换 行符(＼n)的个数来判断是否已经读完最后$num行数据。　　

$fp = fopen($file, "r");
$num = 10;
$chunk = 4096;
$fs = sprintf("%u", filesize($file));
$max = (intval($fs) == PHP_INT_MAX) ? PHP_INT_MAX : filesize($file);

for ($len = 0; $len < $max; $len += $chunk)
{
    $seekSize = ($max - $len > $chunk) ? $chunk : $max - $len;
    fseek($fp, ($len + $seekSize) * -1, SEEK_END);
    $readData = fread($fp, $seekSize) . $readData;
    if (substr_count($readData, "＼n") >= $num + 1) {
        preg_match("!(.*?＼n){" . ($num) . "}$!", $readData, $match);
        $data = $match[0];
        break;
    }
}

fclose($fp);
echo $data;

 

方式4：PHP的stream_get_line函数 ，读取快速，读取50万条数据大文件，大概需要20秒左右的时间　　

$fp = fopen('./log.log', 'r');
while (!feof($fp)) { 
    //for($j=1;$j<=1000;$j++) {
    $logarray[] = stream_get_line($fp, 65535, "＼n"); 
    // break;
    // } 
}
fclose($fp);

 

以上就是读取大文件的几种方式