Web サイトをより迅速かつ効果的にクロールするにはどうすればよいですか?

皆さん、こんにちは。私は実は素人です。学生時代は Westward Journey と QQ Fantasy をプレイしていました。その後、Rocky はゲームをプレイするために Button Wizard (VB に似たプログラミング言語) を少し学びました。これが私のプログラミングの基礎です。

他の人の Web サイトをクロールする場合は、まずクロールする必要がある URL を TXT または Excel ファイルに保存します。

キー ウィザードを使用してブラウザを開き、TXT または Excel の URL を手動で入力する (ショートカット キーまたはマウス クリック) ことをシミュレートします。

次に、手動選択をシミュレートし、文字列処理関数 (mid、right、left、len、instr) を使用して必要な文字列を抽出します。

その後、Excel または txt に保存します。

これは実際に多くのマシンパワーを消費し、多くの CPU を使用し、ネットワーク速度も多く消費します。写真、フラッシュ、mpgファイルなど、ロードする必要のない画像がたくさんあるためです。
エラーが頻繁に発生するのは、Excel エラーまたはスクリプト エラーである場合があります。

どうやってやったのか教えてください。

私は現在、php、MySQL、JavaScript、jQuery、ajax、その他のプログラミング言語を知っています。 json、xml、htmlのデータも理解できました。

もちろん、便利なものがあれば、教えてください。

また、ブラウザ、つまりf12パネルのデバッグ情報については、jsの出力を見てみます。

アイデアがある限り、回答していただければ幸いです。基本的にはどのような回答でも構いません。ありがとうございます。