PHP读取超大文件和超大目录的方法

大文件

<?php
function readFile($file) {
    # 打开文件
    $handle = fopen($file, 'rb');

    while (feof($handle) === false) {
        # 重点 每次读取 1024 个字节
        yield fread($handle, 1024);
    }

    fclose($handle);
}

foreach (readFile("./test.zip") as $n => $line) {
    # 把读取的文件流写成一个新的文件
    file_put_contents('copy.zip', $line, FILE_APPEND);
}

function getLines($file) {
    $f = fopen($file, 'r');
    try {
        while ($line = fgets($f)) {
            yield $line;
        }
    } finally {
        fclose($f);
    }
}

foreach (getLines("file.txt") as $n => $line) {
    // 只取前五行
    if ($n > 5) break;
    # 把读取的文件流写成一个新的文件
    file_put_contents('copy.txt', $line, FILE_APPEND);
}

大目录

• scandir()
  读取大目录是不建议使用 scandir() 函数，因为该函数会一次性将 目录下的文件名生成一个数组全部加载到内存中，当目录下的文件较多时会非常危险。

• opendir()、readdir()、closedir()

function traverseDir($dir) { if (is_dir($dir)) { if ($handle = opendir($dir)) { while(($file = readdir($handle)) !== false){ if (in_array($file, ['.', '..'], true)) { continue; } yield $file; } closedir($handle); } } } $dir = 'sources/'; //echo memory_get_usage() . "\n"; foreach (traverseDir($dir) as $fileName) { //echo $fileName, "\n"; //echo memory_get_usage() . "\n"; //echo "--------------------------------\n"; file_put_contents($dir . $fileName, $fileName); }