PHPでの大規模データ処理の問題を解決する方法

質問 (lunacyfoundme から)

私は会社のイントラネットを再構築していますが、以前のバージョンで大量のデータ処理レポートに関連する問題が発生しました。以前に同期ハンドラー コードを使用してこの問題を解決しましたが、実行が非常に遅く、スクリプトの最大実行時間を 10 ～ 15 分延長する必要がありました。 PHP サイトで大量のデータを処理するより良い方法はありますか?理想的には、バックグラウンドで実行して、できるだけ高速にしたいと考えています。このプロセスには、Laravel を使用してサイトを再構築した何千もの財務データの処理が含まれていました。

最も人気のある回答 (spin81 より):

人々はキューなどを使用するように言いますが、それは良い考えですが、問題は PHP にあるようではありません。 Laravel/OOP は優れていますが、あなたが話しているレポートを生成するプログラムには問題がないようです。別の観点から、このデータを取得するために使用した SQL クエリを見てみたいと思います。他の人が言ったように、フォームに数千行がある場合、レポートが完了するまでに 10 ～ 15 分もかからないはずです。実際、すべてを正しく行えば、おそらく数千のレコードを処理し、同じレポートを 1 分で完成させることができます。

1. 何千ものクエリを実行している場合は、最初にいくつかのクエリを実行できるかどうかを確認してください。私は以前、PHP 関数を使用して 70,000 クエリを 12 クエリに削減し、実行時間を数分から 1 秒に短縮しました。

2. クエリに対して EXPLAIN を実行して、インデックスが欠落しているかどうかを確認します。以前、クエリを作成したところ、インデックスを追加することで効率が 4 桁向上しました。これは誇張ではありません。 MySQL を使用している場合は、この「黒魔術」スキルを習得して、あなたとあなたの友人を驚かせるでしょう。

3. SQL クエリを実行して結果を取得し、多数の数値をまとめている場合は、SUM() や AVG() などの関数を使用して GROUP BY ステートメントを呼び出すことができるかどうかを確認してください。一般的なルールとして、可能な限り多くの計算をデータベースに処理させます。私があなたに提供できる非常に重要なヒントの 1 つはこれです: (少なくとも MySQL では) ブール式は値 0 または 1 を受け取ります。そして、本当に創造的であれば、SUM() とその仲間を使用してそれを行うことができます。いくつかの非常に驚くべきことです。

4. PHP 側からの最後のヒントです。同様に時間のかかる数値を何度も計算したかどうかを確認してください。たとえば、ジャガイモ 1,000 袋のコストを計算するのは高価であるとします。しかし、ジャガイモ 1,000 袋のコストを配列などに保存する前に、そのコストを 500 回計算する必要はありません。同じことを何度も計算する必要はありません。このテクニックはニーモニックと呼ばれ、あなたのレポートのようなレポートで使用すると、驚くような効果を発揮することがよくあります。