Tmall New Balance 旗艦店の商品データの収集、Tmall New Balance 旗艦店_PHP チュートリアル

天猫ニューバランス旗艦店、天猫ニューバランス旗艦店の商品データを収集

1. Fire Spider Collectorをダウンロードします

Fire Spider Collector ダウンロードアドレス:

http://firespider.duapp.com/FireSpiderWeb/index.html

2.インストール

Fire Spider Collector には、クライアントとサーバーのインストール パッケージが含まれています。インストールは非常に便利で、次のステップで完了できます。具体的なインストール手順については、付属のインストールマニュアルを参照してください。

3.起動

サーバーを起動します:デスクトップに「Fire Spiderサーバー起動」というショートカットがありますので、右クリック→管理者として実行します。

クライアントを起動します: デスクトップのショートカット「FireSpider」をダブルクリックします

4. 試してみる

インストール後、デフォルトでいくつかの収集タスクが含まれます。以下の図に示すようにクライアントを開き、タスクを選択して「収集の実行」をクリックします。

収集が開始されたことがわかります。

収集を停止する必要がある場合は、収集タスクを選択し、「収集の実行」ボタンの横にある「終了」をクリックします。

5. ニューバランスタスクを作成します

インストール後、Luotuo Tmallストアを収集するタスク「Luotuoリストページ」がデフォルトで含まれています。これを参照して独自のタスクを構築するだけです。たとえば、「New Balance Flagship Store」を収集したい場合、Tmallで「New Balance」を検索し、New Balance Tmallストアに入り、New Balanceのリストページを見つけます。リンクは次のとおりです。

http://newbalance.tmall.com/search.htm?spm=a220m.1000858.1000725.4.vvTbdj&rn=bda5ce8edbc3307bf802e68880861de3&user_number_id=520557274

次に、New Balanceを収集するタスクを作成します

ブラウザに http://localhost:8090/FireSpider/html/index.html を出力して管理センターを開きます

「タスク名」「リンク」「データアップロードリンク」以外は「ラクダ一覧ページ」と同じです。先ほどのNew Balance一覧ページへのリンクを埋め込みます。

「データ アップロード リンク」フィールドに注意してください。これは、コレクターがデータを収集するときに、POST モードでデータをこのリンクにプッシュします。コレクターは、収集されたデータが何に使用されるかを知らないため、データの処理を私たちに任せる必要があります。 Apache、Tomcat、iis などの REST サービスをローカルで開くことができます。

ここでは、「データアップロードリンク」を「http://localhost/myphp/index.php」として入力します。ここではPHPを使用します。この PHP スクリプトについては後ほど説明します。

コレクションを体験したいだけの場合は、「データアップロードリンク」を空白のままにすることもできます。

クリックして保存

6. WAMP を構築する

収集したデータを自分で処理する必要がない場合、この手順は必要ありません。ここで話しているのは PHP カスタム コレクションのデータ処理であり、他の言語をスキップすることもできます。

6.1 wampをインストールする

これは言うまでもありませんが、次のステップを踏み続けてください。

6.2 エイリアスの作成

エイリアス名を入力してください

エイリアスに対応するディレクトリを入力してください

6.3 Index.php スクリプト

[php] プレーンコピーを表示

1. <?php
4. //PHP ファイルは UTF-8 BOM フリー形式で保存する必要があることに注意してください
7. //POST からデータを取得します
8. // firespider は投稿時にコンテンツ タイプを設定しないため、投稿データを取得するにはこのメソッドを使用する必要があり、$_POST は使用できません
9. $content = file_get_contents("php://input");
// JSON デコード
12. $p = json_decode($content);
13. // 後で独自のロジックを作成できます。これはファイルに保存されるだけです
15. $james=
fopen(
16. "e:/test/json-".$p->urlId.".txt",
"w");
17. if(!$ジェームズ) { echo'ファイルが存在しません';
18. 終了
}
fwrite(
21. $ジェームズ, $コンテンツ); fclose($ジェームズ)
7. ニューバランスを集める
26. タスクが作成されたら、収集を開始できます。コレクタークライアントを開き、タスクタブで作成したばかりの「New Balance」を選択し、「コレクションの実行」をクリックします

収集が開始されると、e:/test/ の josn-xxx.txt に収集されたデータが表示されます。

http://www.bkjia.com/PHPjc/908455.html

www.bkjia.com

tru​​e

http://www.bkjia.com/PHPjc/908455.html

技術記事

Tmall New Balance 旗艦店、Tmall New Balance 旗艦店の商品データを収集する 1. Fire Spider コレクターをダウンロード Fire Spider コレクターのダウンロード アドレス: http://firespider.duapp.com/FireSpiderWeb/index....