すべてのデータを一度に読み取るのと、制限付きでデータを一括で読み取るのはどちらが良いでしょうか?

収集中、たとえばデータベースに 100,000 件のレコードがある場合、URL はリスト ページの URL です。 1. これらの 100,000 件の URL をデータベースから一度に読み取り、foreach で収集します。 2. 制限は 10 です。最初にレコードを取得し、次に foreach がそれらを収集した後、データベースの制限を読み取り、繰り返します

一般的にどの方法が使用されますか?



ディスカッション（解決策）への返信

収集と分析は分離されていますか?

収集と分析を同時に行う場合は、バッチで実行してください

一度だけ分離する場合は、もちろんマシンの耐久性に依存します

保存できる場合は、一度ではなく、何ですか？一度に読み込めるので、制限をどうやって考えたのですか？ 面倒ですし、効率も上がりません。

なぜこれに制限を追加する必要があるのでしょうか? これはデータベース クエリではありません。何か効率を改善することはできますか?

一般的には、まとめて読むことをお勧めします。大規模なデータ セットの統計を実行する必要がある場合、最善の方法は、サーバー側でストアド プロシージャを使用して統計を実行し、統計結果を返すことです。現在のネットワークの速度と安定性は大幅に向上していますが、一般的にはサーバー側でできることは行うのが得策です。

ただし、説明したシナリオによれば、サーバー側で 100,000 の URL を収集する必要があるため、データベースのキャッシュをローカルに保存することをお勧めします。

一度に 100,000 個のデータを読み取ることができます。重要なのは、収集プログラムがいかに効率的であるかです。