Web サイトの記事リストとリスト内の実際のコンテンツからデータを自動的に収集する必要があります。各記事の ID はリストから取得でき、各記事は統一インターフェイスを介して渡されます (パラメーターは記事をもたらします)。対応する json を取得できます) と、収集して分析する必要があるデータがいくつかあります。
私のニーズを満たすことができる比較的成熟したフレームワークまたはホイールはありますか? (コレクション数が膨大なため、マルチスレッドで24時間365日安定して実行できる必要があります)
また、収集したコンテンツ(数百万から数千万)を保存する方法についてお聞きしたいのですが、統計分析が必要なデータがいくつかあります。mysql を使用できますか?それとも、他に使用できる、より成熟したシンプルなホイールはありますか?