PHP はリモート ファイルをサーバーにバッチでダウンロードします
データベースにリモート ファイルのアドレスを入れました。データベースからそれを取り出してサーバーにダウンロードします。何か効率的な方法はありますか?現在、100,000 件のデータ レコードがあります。
-----解決策---------
最も簡単な方法
実際これは、PHP の擬似マルチスレッドの原理です。
1. ダウンロード スクリプトを作成し、file_get_contents を使用します。
2. ダウンロードを呼び出すスクリプトを作成します。これにより、複数のダウンロード ステップが呼び出されます。この呼び出しでは、送信にも file_get_contents が使用されます。 URL を指定すると、複数のダウンロードが可能になります。
注目すべき問題はスレッド数です。スレッド数はデータベースに保存することで制御しやすくなります。