Colly を使用した Golang: スクレイピング時にランダムな偽のユーザー エージェントを使用する
Web サイトのスクレイピングは、標準または不適切なユーザー エージェントの使用が原因でブロックされることがよくあります。 この記事では、Go Colly スクレイパー内でランダム化された偽のユーザー エージェントを使用して、これを軽減する簡単な方法を説明します。
偽のユーザーエージェントについて
ユーザーエージェントは、Web リクエストを行うクライアントを識別する文字列です。 これらは、アプリケーション、オペレーティング システム (Windows、macOS、Linux)、およびブラウザー (Chrome、Firefox、Safari) に関する情報を伝えます。 Web サイトは、セキュリティや分析などのさまざまな目的でこの情報を使用します。
一般的なユーザー エージェント文字列は次のようになります (Android 上の Chrome):
<code>'User-Agent': 'Mozilla/5.0 (Linux; Android 10; K) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Mobile Safari/537.36'</code>
Go Colly のデフォルトのユーザーエージェント:
<code>"User-Agent": "colly - https://www.php.cn/link/953bd83cb0b9c9f9dc4b3ba0bfc1b236",</code>
スクレーパーを簡単に特定できるため、ブロックされるリスクが高まります。 したがって、カスタムのランダム化されたユーザー エージェントを採用することが重要です。
Go Colly を使用した偽のユーザー エージェントの実装
カスタム ユーザー エージェントを含めるようにリクエスト ヘッダーを変更するには、OnRequest()
コールバックを使用します。 これにより、各リクエストが異なるユーザー エージェント文字列を使用するようになります。
package main import ( "bytes" "log" "github.com/gocolly/colly" ) func main() { c := colly.NewCollector(colly.AllowURLRevisit()) c.OnRequest(func(r *colly.Request) { r.Headers.Set("User-Agent", "Mozilla/5.0 (iPad; CPU OS 12_2 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Mobile/15E148") }) c.OnResponse(func(r *colly.Response) { log.Printf("%s\n", bytes.Replace(r.Body, []byte("\n"), nil, -1)) }) for i := 0; i < 5; i++ { c.Visit("httpbin.org/headers") } }
これにより、すべてのリクエストに対して単一のユーザー エージェントが設定されます。 より堅牢なスクレイピングを行うには、ランダム化されたアプローチを使用します。
ランダムなユーザーエージェントを介してローテーション
github.com/lib4u/fake-useragent
パッケージは、ユーザー エージェントのランダムな選択を簡素化します。
package main import ( "bytes" "fmt" "log" "github.com/gocolly/colly" uaFake "github.com/lib4u/fake-useragent" ) func main() { ua, err := uaFake.New() if err != nil { fmt.Println(err) } c := colly.NewCollector(colly.AllowURLRevisit()) c.OnRequest(func(r *colly.Request) { r.Headers.Set("User-Agent", ua.Filter().GetRandom()) }) c.OnResponse(func(r *colly.Response) { log.Printf("%s\n", bytes.Replace(r.Body, []byte("\n"), nil, -1)) }) for i := 0; i < 5; i++ { c.Visit("httpbin.org/headers") } }
このコード スニペットは、リクエストごとにランダムなユーザー エージェントを取得します。
特定の偽のユーザーエージェントの使用
github.com/lib4u/fake-useragent
はフィルタリング オプションを提供します。 たとえば、ランダムなデスクトップ Chrome ユーザー エージェントを使用するには:
r.Headers.Set("User-Agent", ua.Filter().Chrome().Platform(uaFake.Desktop).Get())
スクレイピングするときは、Web サイトの robots.txt
と利用規約を常に尊重することを忘れないでください。 ランダムなユーザー エージェントの使用は、責任ある Web スクレイピングのための多くの手法のうちの 1 つです。 プロキシやその他のヘッダー管理戦略の使用も検討してください。
参考文献:
以上がColly を使用した Golang: スクレイピング時にランダムな偽のユーザー エージェントを使用するの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

ホットAIツール

Undresser.AI Undress
リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover
写真から衣服を削除するオンライン AI ツール。

Undress AI Tool
脱衣画像を無料で

Clothoff.io
AI衣類リムーバー

Video Face Swap
完全無料の AI 顔交換ツールを使用して、あらゆるビデオの顔を簡単に交換できます。

人気の記事

ホットツール

メモ帳++7.3.1
使いやすく無料のコードエディター

SublimeText3 中国語版
中国語版、とても使いやすい

ゼンドスタジオ 13.0.1
強力な PHP 統合開発環境

ドリームウィーバー CS6
ビジュアル Web 開発ツール

SublimeText3 Mac版
神レベルのコード編集ソフト(SublimeText3)

ホットトピック











Golangは、パフォーマンスとスケーラビリティの点でPythonよりも優れています。 1)Golangのコンピレーションタイプの特性と効率的な並行性モデルにより、高い並行性シナリオでうまく機能します。 2)Pythonは解釈された言語として、ゆっくりと実行されますが、Cythonなどのツールを介してパフォーマンスを最適化できます。

Golangは並行性がCよりも優れていますが、Cは生の速度ではGolangよりも優れています。 1)Golangは、GoroutineとChannelを通じて効率的な並行性を達成します。これは、多数の同時タスクの処理に適しています。 2)Cコンパイラの最適化と標準ライブラリを介して、極端な最適化を必要とするアプリケーションに適したハードウェアに近い高性能を提供します。

goisidealforforbeginnersandsutable forcloudnetworkservicesduetoitssimplicity、andconcurrencyfeatures.1)installgofromtheofficialwebsiteandverify with'goversion'.2)

Golangは迅速な発展と同時シナリオに適しており、Cは極端なパフォーマンスと低レベルの制御が必要なシナリオに適しています。 1)Golangは、ごみ収集と並行機関のメカニズムを通じてパフォーマンスを向上させ、高配列Webサービス開発に適しています。 2)Cは、手動のメモリ管理とコンパイラの最適化を通じて究極のパフォーマンスを実現し、埋め込みシステム開発に適しています。

GolangとPythonにはそれぞれ独自の利点があります。Golangは高性能と同時プログラミングに適していますが、PythonはデータサイエンスとWeb開発に適しています。 Golangは同時性モデルと効率的なパフォーマンスで知られていますが、Pythonは簡潔な構文とリッチライブラリエコシステムで知られています。

GolangとCのパフォーマンスの違いは、主にメモリ管理、コンピレーションの最適化、ランタイム効率に反映されています。 1)Golangのゴミ収集メカニズムは便利ですが、パフォーマンスに影響を与える可能性があります。

GolangとCにはそれぞれパフォーマンス競争において独自の利点があります。1)Golangは、高い並行性と迅速な発展に適しており、2)Cはより高いパフォーマンスと微細な制御を提供します。選択は、プロジェクトの要件とチームテクノロジースタックに基づいている必要があります。

GolangisidealforBuildingsCalables Systemsduetoitsefficiency andConcurrency、Whilepythonexcelsinquickscriptinganddataanalysisduetoitssimplicityand vastecosystem.golang'ssignencouragesclean、readisinediteNeditinesinedinediseNabletinedinedinedisedisedioncourase
