シンプルなデータ スクレイピング ツールを探しています
必要なデータは次のようなものです:
http://map.baidu.com/?newmap=1&reqflag=pcmap&biz=1&qt=s&wd=1&c=131&tn=B_NORMAL_MAP&nn=0&ie=utf-8&l=12&b=(12925648.97,4823379.72;12990672.97,4828435.72)&t= 1368604536591
パラメータを変更することで異なるデータを取得できます。ファイルまたはデータベースに保存するだけです。
もともと、私はそれを自分で書きたかったのですが、ダウンロードしたいリンクをまとめてループでダウンロードし、データベースに処理するだけでした。
さらに、エージェントやマルチスレッド処理も考慮できます。
しかし、上司は私にオープンソースのクローラー ツールを見つけるよう主張しました。
また、このツールは、ツールにリンクを与え、それを機能させるためにデータをどのように処理する必要があるかを伝えることも要求します。
仕方なく皆さんにお聞きしたいのですが、どのクローラーツールにそのような機能がありますか?
私は PHP と簡単な Python しか知らないので、この 2 つの言語で記述できることを願っています。またよろしくお願いします。