目次
1: Accept-Encoding: gzip を追加する必要があります。リクエストヘッダーにdeflate,sdchを追加すると100Kが返され、gzipデコードが完了します
ホームページ バックエンド開発 PHPチュートリアル PHP を使用して Baidu の検索結果の取得をシミュレートし、それらを Baidu などのクライアントに送信するにはどうすればよいですか?

PHP を使用して Baidu の検索結果の取得をシミュレートし、それらを Baidu などのクライアントに送信するにはどうすればよいですか?

Jun 23, 2016 pm 01:21 PM

[http://m.baidu.com][Baidu モバイル端末に基づいて、主にこのモバイル端末をテストします]
300 KB 以上の Baidu 検索結果を取得するリンクを直接シミュレートし、クライアントのブラウザにプッシュしますGzip 圧縮にも約 100KB かかり、1.0 秒近くかかります。しかし、Baidu 自身がブラウザに最初に取得するコンテンツはわずか約 30 KB です。どうして百度と同じになれるのでしょうか。 Baidu の検索結果を取得するために PHP でいくつかの方法を試しましたが、スタイルやすべてが一緒に読み込まれます。
例:
$url="http://m.baidu.com /s?word=".$kw;
$html=file_get_contents($url);
//$html > 300KB
//Apache Web ページが圧縮されてブラウザに送信された後も、まだ 97.8KB が残っています


最初の get には実際にはスタイルがあります

しかし、Baidu 自体によって送信される実際の最初の get はわずか 30.3 KB であり、最初にスタイルがありません


ブラウザ自体にスタイルをロードするように、クライアントブラウザにどのようにプッシュできますか?議論 (解決済み) 解決策)

質問は少し長いので、すべてを理解できないかもしれません

300K から 30K に圧縮したい場合は、2 つの重要なポイントがあります:

1: あなた。リクエストヘッダーに Accept-Encoding: を追加する必要があります。gzip、deflate、sdch、これは 100K を返します、gzip デコードは完了します

2: Baidu ホームページにアクセスした Cookie を持ってくるので、30K になります。具体的な方法は、Cookie を一度キャプチャしてファイルにキャッシュし、クエリ時にこれらの Cookie をすべて持ち込むことです。

ちょっとわかりにくいようです。具体的なアプローチは何ですか?コードを直接投稿していただけますか?

【上記の質問の意味は、自分のページにBaidu検索エンジンを入れ子にしたいのですが、取得した検索結果を二次処理して表示する必要があるのですが、この処理に非常に時間がかかります。クロール後に初めて消費される時間、二次処理の時間 [これは制御可能]、表示するページにプッシュするのにかかる時間 (このプッシュ ファイルは Baidu ほど小さくすることはできません)] 少し長いので、完全ではないかもしれません。読んでください
Baidu モバイル Web ページを分析しました。300K から 30K に圧縮したい場合は、2 つの重要なポイントがあります:

1: Accept-Encoding: gzip を追加する必要があります。リクエストヘッダーにdeflate,sdchを追加すると100Kが返され、gzipデコードが完了します

2:BaiduのホームページにアクセスしたCookieを持ってくるので30Kになります。具体的な方法は、Cookie を一度キャプチャしてファイルにキャッシュし、クエリ時にこれらの Cookie をすべて持ち込むことです。


少しわかりにくいようです。具体的なアプローチは何ですか?コードを直接投稿していただけますか?
【上記の質問の意味は、自分のページにBaidu検索エンジンを入れ子にしたいのですが、取得した検索結果を二次処理して表示する必要があるのですが、この処理に非常に時間がかかります。クロール後に初めて消費される時間、二次処理の時間 [これは制御可能]、表示するページにプッシュするのにかかる時間 (このプッシュ ファイルは Baidu ほど小さくありません)]

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)

JSON Web Tokens(JWT)とPHP APIでのユースケースを説明してください。 JSON Web Tokens(JWT)とPHP APIでのユースケースを説明してください。 Apr 05, 2025 am 12:04 AM

JWTは、JSONに基づくオープン標準であり、主にアイデンティティ認証と情報交換のために、当事者間で情報を安全に送信するために使用されます。 1。JWTは、ヘッダー、ペイロード、署名の3つの部分で構成されています。 2。JWTの実用的な原則には、JWTの生成、JWTの検証、ペイロードの解析という3つのステップが含まれます。 3. PHPでの認証にJWTを使用する場合、JWTを生成および検証でき、ユーザーの役割と許可情報を高度な使用に含めることができます。 4.一般的なエラーには、署名検証障害、トークンの有効期限、およびペイロードが大きくなります。デバッグスキルには、デバッグツールの使用とロギングが含まれます。 5.パフォーマンスの最適化とベストプラクティスには、適切な署名アルゴリズムの使用、有効期間を合理的に設定することが含まれます。

PHPにおける後期静的結合の概念を説明します。 PHPにおける後期静的結合の概念を説明します。 Mar 21, 2025 pm 01:33 PM

記事では、PHP 5.3で導入されたPHPの後期静的結合(LSB)について説明し、より柔軟な継承を求める静的メソッドコールのランタイム解像度を可能にします。 LSBの実用的なアプリケーションと潜在的なパフォーマ

フレームワークセキュリティ機能:脆弱性から保護します。 フレームワークセキュリティ機能:脆弱性から保護します。 Mar 28, 2025 pm 05:11 PM

記事では、入力検証、認証、定期的な更新など、脆弱性から保護するためのフレームワークの重要なセキュリティ機能について説明します。

PHPのCurlライブラリを使用してJSONデータを含むPOSTリクエストを送信する方法は? PHPのCurlライブラリを使用してJSONデータを含むPOSTリクエストを送信する方法は? Apr 01, 2025 pm 03:12 PM

PHP開発でPHPのCurlライブラリを使用してJSONデータを送信すると、外部APIと対話する必要があることがよくあります。一般的な方法の1つは、Curlライブラリを使用して投稿を送信することです。

フレームワークのカスタマイズ/拡張:カスタム機能を追加する方法。 フレームワークのカスタマイズ/拡張:カスタム機能を追加する方法。 Mar 28, 2025 pm 05:12 PM

この記事では、フレームワークにカスタム機能を追加し、アーキテクチャの理解、拡張ポイントの識別、統合とデバッグのベストプラクティスに焦点を当てています。

確固たる原則と、それらがPHP開発にどのように適用されるかを説明してください。 確固たる原則と、それらがPHP開発にどのように適用されるかを説明してください。 Apr 03, 2025 am 12:04 AM

PHP開発における固体原理の適用には、次のものが含まれます。1。単一責任原則(SRP):各クラスは1つの機能のみを担当します。 2。オープンおよびクローズ原理(OCP):変更は、変更ではなく拡張によって達成されます。 3。Lischの代替原則(LSP):サブクラスは、プログラムの精度に影響を与えることなく、基本クラスを置き換えることができます。 4。インターフェイス分離原理(ISP):依存関係や未使用の方法を避けるために、細粒インターフェイスを使用します。 5。依存関係の反転原理(DIP):高レベルのモジュールと低レベルのモジュールは抽象化に依存し、依存関係噴射を通じて実装されます。

セッションのハイジャックはどのように機能し、どのようにPHPでそれを軽減できますか? セッションのハイジャックはどのように機能し、どのようにPHPでそれを軽減できますか? Apr 06, 2025 am 12:02 AM

セッションハイジャックは、次の手順で達成できます。1。セッションIDを取得します。2。セッションIDを使用します。3。セッションをアクティブに保ちます。 PHPでのセッションハイジャックを防ぐための方法には次のものが含まれます。1。セッション_regenerate_id()関数を使用して、セッションIDを再生します。2。データベースを介してストアセッションデータを3。

See all articles