ホームページ > バックエンド開発 > PHPチュートリアル > シンプルなデータスクレイピングツール

シンプルなデータスクレイピングツール

WBOY
リリース: 2016-06-13 12:46:03
オリジナル
747 人が閲覧しました

シンプルなデータ スクレイピング ツールを探しています
必要なデータは次のようなものです:
http://map.baidu.com/?newmap=1&reqflag=pcmap&biz=1&qt=s&wd=1&c=131&tn=B_NORMAL_MAP&nn=0&ie=utf-8&l=12&b=(12925648.97,4823379.72;12990672.97,4828435.72)&t= 1368604536591
パラメータを変更することで異なるデータを取得できます。ファイルまたはデータベースに保存するだけです。

もともと、私はそれを自分で書きたかったのですが、ダウンロードしたいリンクをまとめてループでダウンロードし、データベースに処理するだけでした。
さらに、エージェントやマルチスレッド処理も考慮できます。

しかし、上司は私にオープンソースのクローラー ツールを見つけるよう主張しました。
また、このツールは、ツールにリンクを与え、それを機能させるためにデータをどのように処理する必要があるかを伝えることも要求します。
仕方なく皆さんにお聞きしたいのですが、どのクローラーツールにそのような機能がありますか?
私は PHP と簡単な Python しか知らないので、この 2 つの言語で記述できることを願っています。またよろしくお願いします。

関連ラベル:
ソース:php.cn
このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。
最新の問題
人気のチュートリアル
詳細>
最新のダウンロード
詳細>
ウェブエフェクト
公式サイト
サイト素材
フロントエンドテンプレート