Rumah > masalah biasa > hadoop三大组件是什么

hadoop三大组件是什么

coldplay.xixi
Lepaskan: 2023-01-13 00:34:37
asal
42953 orang telah melayarinya

hadoop三大组件:1、HDFS,一个高可靠、高吞吐量的分布式文件系统;2、MapReduce,一个分布式的离线并行计算框架;3、Yarn,分布式资源管理框架。

hadoop三大组件是什么

本文操作环境:Windows7系统,Dell G3电脑。

hadoop三大组件:

1、HDFS

一个高可靠、高吞吐量的分布式文件系统

存储海量数据

分布式

安全性

副本数据

数据是以block的方式进行存储的,128M

比如:200M—128M 72M

2、MapReduce

一个分布式的离线并行计算框架

对海量数据的处理

分布式

思想:

分而治之

大数据集分为小的数据集

每个数据集进行逻辑业务处理(map)

合并统计数据结果(reduce)

3、Yarn

分布式资源管理框架

管理整个集群的资源(内存、CPU核数)

分配调度集群的资源

相关视频推荐:PHP编程从入门到精通

Atas ialah kandungan terperinci hadoop三大组件是什么. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Label berkaitan:
sumber:php.cn
Kenyataan Laman Web ini
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn
Artikel terbaru oleh pengarang
Tutorial Popular
Lagi>
Muat turun terkini
Lagi>
kesan web
Kod sumber laman web
Bahan laman web
Templat hujung hadapan