PHP读取大文件实践

## 使用PHP分析超大的日志文件 如何使用php读取超过10G的文件，这个是今年四月份去一家公司面试时，面试官出的一道题目。因为工作经验不足，所以答的不好，当时也说了使用文件指针逐行读取，只是不知道使用什么函数。后来的几个月工作中，心中一直存在着这个问题，好在工作中没有碰到这样的应用场景。为了避免遗忘，还是把解决方案写出来，以备实际应用。

 

function transBigFile($filename){
    $redis = new Redis();
    $redis -> connect('127.0.0.1',6379,3);
    $key = 'tmp:log:20161013';
    
    if($handler = fopen($filename,'rb')){
        while(!feof($handler)){
            $curline = fgets($handler);
            list($ip,$city_code) = explode(',', $curline);
            $ip = substr($ip,0,strpos($ip,'/')); //截取字符串部分字符
            usleep(100000);
            $redis -> zadd($key,$ip,$city_code);
            //$data = array_combine(['ip','city_code'] , [$ip,$city_code] );  //todo练习array_combine。这里这样用效率低下。
        }
    }
    fclose($hander);
}

set_time_limit(0);  //设置该脚本永不超时
$filename = 'big.csv';
transBigFile($filename);