たくさんのページを収集したいのですが、パーツごとに分割するにはどうすればよいですか?
$url=array() を接続します。
コレクション クラスを作成しました。
foreach ($url as $key => $value){
$get_json_contetns = $caiji->getJson($value);
$excel_contetns[] = $caiji->gt; getContents($get_json_contetns,$ key);
}
このようにループアウトされた $excel_contetns が収集したいコンテンツです。
収集するページ数が 50 ページ未満の場合は問題ありませんが、ページ数が多すぎると収集がタイムアウトしてしまいます。どのように対処すればよいでしょうか。 ? ?
-----解決策---------
$url をデータベースに保存
データベースから $value を 1 つずつ読み取り、新しい URL が見つかった場合は、最初の手順を繰り返します。
------解決策------------------
「データベースを保存するかどうか」にこだわる必要はありません。問題の本質は、