Hadoop の 3 つの主要コンポーネントとは何ですか

Hadoop には 3 つの主要コンポーネントがあります: 1. HDFS、信頼性が高く、高スループットの分散ファイル システム; 2. MapReduce、分散オフライン並列コンピューティング フレームワーク; 3. Yarn、分散リソース管理フレームワーク。

#この記事の動作環境: Windows 7 システム、Dell G3 コンピューター。

Hadoop の 3 つの主要コンポーネント:

1. HDFS

高信頼性、高スループットの分散ファイル システム

大量のデータの保存

分散型

セキュリティ

データのコピー

データはブロックに保存され、128M

例: 200M—128M 72M

2. MapReduce

分散型オフライン並列コンピューティング フレームワーク

大量データ処理用

分散型

理念:

分割統治

大きなデータセットを小さなデータセットに分割

各データセットで論理的な業務処理(マップ)を実行

統計データの結果をマージ (削減)

#3, Yarn#分散リソース管理フレームワーク

クラスター全体のリソースを管理(メモリ、CPU コア)

クラスターのリソースの割り当てとスケジュール

関連ビデオの推奨事項:

PHP プログラミングの入門から習熟まで

以上がHadoop の 3 つの主要コンポーネントとは何ですかの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。