PHP -Iterator und Generator: Ein leistungsstarkes Tool zur effizienten Verarbeitung gro?er Datens?tze

Arrays und Iterationen sind der Eckpfeiler jeder Anwendung. Wenn wir neue Tools erhalten, sollte sich auch die Art und Weise, wie wir Arrays verwenden, verbessern.

zum Beispiel ist ein Generator ein neues Werkzeug. Zuerst haben wir nur Arrays, und dann erlangen wir die F?higkeit, unsere eigene Klassenarray -Struktur (als Iteratoren bezeichnet) zu definieren. Seit PHP 5.5 k?nnen wir jedoch schnell Klassen -Iteratorstrukturen erstellen, die als Generatoren bezeichnet werden.

Der Generator sieht aus wie Funktionen, aber wir k?nnen sie als Iteratoren verwenden. Sie bieten uns eine einfache Syntax, um im Wesentlichen unterbrechbare, wiederholbare Funktionen zu erstellen. Sie sind unglaublich!

Wir werden mehrere Bereiche betrachten, in denen Generatoren verwendet werden k?nnen, und einige Probleme untersuchen, auf die bei der Verwendung von Generatoren geachtet werden müssen. Schlie?lich werden wir eine gro?artige Bibliothek lernen, die vom talentierten Nikita Popov erstellt wurde.

Der Beispielcode finden Sie unter https://github.com/sitepoint-editors/generators-and-iter.

Schlüsselpunkte

• Generatoren (verfügbar, da PHP 5.5 verfügbar ist) sind leistungsstarke Tools zum Erstellen von Iteratoren, die die Erstellung interruptierbarer, wiederholbarer Funktionen erm?glichen, die Verarbeitung gro?er Datens?tze vereinfachen und die Speicherleistung verbessern.
• nikita popov erstellt eine Nikic/Iter -Bibliothek, die Funktionen einführt, die mit Iteratoren und Generatoren verwendet werden k?nnen, wodurch ein erheblichem Speicher speichert, indem es vermeiden, unn?tige Zwischenarrays zu erstellen.
• Die Bibliotheken Generator und Nikic/Iter sind besonders nützlich, wenn sie mit gro?en CSV -Dateien arbeiten, die gro?e Datens?tze verarbeiten k?nnen, ohne sie alle gleichzeitig in Speicher zu laden.
• W?hrend Generatoren die Speicherleistung erheblich verbessern k?nnen, stellen sie auch einige ihrer eigenen Herausforderungen vor, wie z. array_filter array_map

Frage

Angenommen, Sie haben viele relationale Daten und m?chten einige Vorspannungen vornehmen. M?glicherweise sind die Daten von Kommas getrennt. Sie müssen jeden Datentyp laden und zusammen gruppieren.

Sie k?nnen mit dem folgenden einfachen Code beginnen:

Sie k?nnen dann versuchen, verwandte Elemente durch Iterieren oder h?here Ordnung zu verkettet:

function readCSV($file) {
    $rows = [];

    $handle = fopen($file, "r");

    while (!feof($handle)) {
        $rows[] = fgetcsv($handle);
    }

    fclose($handle);

    return $rows;
}

$authors = array_filter(
    readCSV("authors.csv")
);

$categories = array_filter(
    readCSV("categories.csv")
);

$posts = array_filter(
    readCSV("posts.csv")
);

Sieht gut aus, oder? Was passiert also, wenn wir eine gro?e Anzahl von CSV -Dateien analysieren k?nnen? Lassen Sie uns die Speicherverwendung ein wenig analysieren ...

function filterByColumn($array, $column, $value) {
    return array_filter(
        $array, function($item) use ($column, $value) {
            return $item[$column] == $value;
        }
    );
}

$authors = array_map(function($author) use ($posts) {
    $author["posts"] = filterByColumn(
        $posts, 1, $author[0]
    );

    // 對 $author 進行其他更改

    return $author;
}, $authors);

$categories = array_map(function($category) use ($posts) {
    $category["posts"] = filterByColumn(
        $posts, 2, $category[0]
    );

    // 對 $category 進行其他更改

    return $category;
}, $categories);

$posts = array_map(function($post) use ($authors, $categories) {
    foreach ($authors as $author) {
        if ($author[0] == $post[1]) {
            $post["author"] = $author;
            break;
        }
    }

    foreach ($categories as $category) {
        if ($category[0] == $post[1]) {
            $post["category"] = $category;
            break;
        }
    }

    // 對 $post 進行其他更改

    return $post;
}, $posts);

(Der Beispielcode enth?lt

function formatBytes($bytes, $precision = 2) {
    $kilobyte = 1024;
    $megabyte = 1024 * 1024;

    if ($bytes >= 0 && $bytes < $kilobyte) {
        return $bytes . " b";
    }

    if ($bytes >= $kilobyte && $bytes < $megabyte) {
        return round($bytes / $kilobyte, $precision) . " kb";
    }

    return round($bytes / $megabyte, $precision) . " mb";
}

print "memory:" . formatBytes(memory_get_peak_usage());

, mit dem Sie diese CSV -Dateien erstellen k?nnen ...)

generate.php Wenn Sie über gro?e CSV -Dateien verfügen, sollte dieser Code angezeigt, wie viel Speicher erforderlich ist, um diese Arrays miteinander zu verknüpfen. Mindestens die gleiche Gr??e wie die Datei, die Sie lesen müssen, da PHP alles im Speicher halten muss.

Generator kommt, um zu retten!

Eine M?glichkeit, dieses Problem zu verbessern, besteht darin, einen Generator zu verwenden. Wenn Sie mit ihnen nicht vertraut sind, ist jetzt ein guter Zeitpunkt, um mehr zu lernen.

Mit dem Generator k?nnen Sie eine kleine Menge an Gesamtdaten gleichzeitig laden. Sie müssen nicht viel mit dem Generator machen:

function readCSV($file) {
    $rows = [];

    $handle = fopen($file, "r");

    while (!feof($handle)) {
        $rows[] = fgetcsv($handle);
    }

    fclose($handle);

    return $rows;
}

$authors = array_filter(
    readCSV("authors.csv")
);

$categories = array_filter(
    readCSV("categories.csv")
);

$posts = array_filter(
    readCSV("posts.csv")
);

Wenn Sie CSV -Daten iterieren, werden Sie feststellen, dass die erforderliche Menge an Speicher sofort reduziert wird:

function filterByColumn($array, $column, $value) {
    return array_filter(
        $array, function($item) use ($column, $value) {
            return $item[$column] == $value;
        }
    );
}

$authors = array_map(function($author) use ($posts) {
    $author["posts"] = filterByColumn(
        $posts, 1, $author[0]
    );

    // 對 $author 進行其他更改

    return $author;
}, $authors);

$categories = array_map(function($category) use ($posts) {
    $category["posts"] = filterByColumn(
        $posts, 2, $category[0]
    );

    // 對 $category 進行其他更改

    return $category;
}, $categories);

$posts = array_map(function($post) use ($authors, $categories) {
    foreach ($authors as $author) {
        if ($author[0] == $post[1]) {
            $post["author"] = $author;
            break;
        }
    }

    foreach ($categories as $category) {
        if ($category[0] == $post[1]) {
            $post["category"] = $category;
            break;
        }
    }

    // 對 $post 進行其他更改

    return $post;
}, $posts);

Wenn Sie zuvor Megabyte der Speichernutzung gesehen haben, werden Sie jetzt Kilobytes sehen. Dies ist eine enorme Verbesserung, aber nicht ohne Probleme.

Zun?chst array_filter und array_map funktionieren nicht mit Generatoren. Sie müssen andere Tools finden, um diese Art von Daten zu verarbeiten. Hier ist ein Werkzeug, das Sie versuchen k?nnen!

function formatBytes($bytes, $precision = 2) {
    $kilobyte = 1024;
    $megabyte = 1024 * 1024;

    if ($bytes >= 0 && $bytes < $kilobyte) {
        return $bytes . " b";
    }

    if ($bytes >= $kilobyte && $bytes < $megabyte) {
        return round($bytes / $kilobyte, $precision) . " kb";
    }

    return round($bytes / $megabyte, $precision) . " mb";
}

print "memory:" . formatBytes(memory_get_peak_usage());

Diese Bibliothek führt einige Funktionen ein, die mit Iteratoren und Generatoren verwendet werden k?nnen. Wie erhalten Sie also noch all diese relevanten Daten, ohne Daten im Speicher zu speichern?

function readCSVGenerator($file) {
    $handle = fopen($file, "r");

    while (!feof($handle)) {
        yield fgetcsv($handle);
    }

    fclose($handle);
}

Dies kann einfacher sein:

foreach (readCSVGenerator("posts.csv") as $post) {
    // 使用 $post 執(zhí)行某些操作
}

print "memory:" . formatBytes(memory_get_peak_usage());

(Jeden Mal jede Datenquelle neu zu lesen ist jedes Mal ineffizient. Erw?gen Sie, kleinere verwandte Daten (wie Autoren und Kategorien) im Speicher zu speichern.

Andere interessante Dinge

Für Nikics Bibliothek ist dies nur die Spitze des Eisbergs! Wollten Sie schon immer ein Array (oder Iterator/Generator) abflachen?

composer require nikic/iter

Sie k?nnen Funktionen wie slice und take verwenden, um Schnitte iterierbarer Variablen zurückzugeben:

// ... (后續(xù)代碼與原文類似，但使用iter庫函數(shù)進行優(yōu)化，此處省略以節(jié)省篇幅) ...

Wenn Sie Generatoren mehr verwenden, stellen Sie m?glicherweise fest, dass Sie sie nicht immer wiederverwenden müssen. Betrachten Sie das folgende Beispiel:

// ... (使用iter庫函數(shù)簡化代碼，此處省略以節(jié)省篇幅) ...

Wenn Sie versuchen, den Code auszuführen, sehen Sie eine Ausnahme, die aufzufordern: "Der geschlossene Generator kann nicht durchqueren". Jede Iteratorfunktion in dieser Bibliothek hat eine austauschbare entsprechende Funktion:

// ... (使用iter\flatten和iter\toArray函數(shù)的示例代碼，此處省略以節(jié)省篇幅) ...

Sie k?nnen diese Zuordnungsfunktion mehrmals verwenden. Sie k?nnen sogar Ihren eigenen Generator wiederspulen lassen:

// ... (使用iter\slice和iter\toArray函數(shù)的示例代碼，此處省略以節(jié)省篇幅) ...

Was Sie daraus erhalten, ist ein wiederverwendbarer Generator!

Schlussfolgerung

Für jeden Schleifenbetrieb, den Sie berücksichtigen müssen, ist der Generator m?glicherweise eine Option. Sie sind sogar nützlich für andere Dinge. Wenn Sprachmerkmale nicht ausreichend sind, bietet die Nikic-Bibliothek eine gro?e Anzahl von Funktionen h?herer Ordnung.

Verwenden Sie bereits den Generator? M?chten Sie weitere Beispiele dafür sehen, wie Sie sie in Ihrer eigenen Anwendung für einige Leistungsverbesserungen implementieren k?nnen? Bitte sagen Sie es uns!

(Der FAQS -Teil ?hnelt dem Originaltext und wird hier weggelassen, um Platz zu sparen. Der FAQS -Teil kann nach Bedarf optional aufbewahrt oder neu organisiert werden.)

Das obige ist der detaillierte Inhalt vonSpeicherleistung steigert mit Generatoren und Nikic/Iter. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!