Rumah > masalah biasa > teks badan

Pengenalan kepada tiga komponen teras hadoop

小老鼠
Lepaskan: 2024-03-13 17:54:41
asal
1013 orang telah melayarinya

Tiga komponen teras Hadoop ialah: Hadoop Distributed File System (HDFS), MapReduce dan Yet Another Resource Negotiator (YARN).

  1. Sistem Fail Teragih Hadoop (HDFS):

    • HDFS ialah sistem fail teragih Hadoop yang digunakan untuk menyimpan set data berskala besar. Ia membahagikan fail besar kepada berbilang blok data dan mengedarkan serta menyimpan blok data ini pada berbilang nod dalam kelompok. HDFS menyediakan penyelesaian storan data berkapasiti tinggi, kebolehpercayaan tinggi dan daya pemprosesan tinggi serta merupakan asas kepada rangka kerja pengkomputeran teragih Hadoop.
  2. MapReduce:

    • MapReduce ialah rangka kerja pengkomputeran teragih Hadoop untuk pemprosesan selari set data berskala besar. Ia berdasarkan model pengaturcaraan berfungsi dan menguraikan tugas pengkomputeran kepada dua peringkat: Peta dan Kurangkan. Peringkat Map membahagikan data input kepada tugasan bebas untuk diproses, manakala peringkat Reduce menggabungkan hasil tugasan Map ke dalam output akhir. MapReduce menyediakan toleransi kesalahan, kebolehskalaan dan keupayaan pemprosesan selari.
  3. Yet Another Resource Negotiator (YARN):

    • YARN ialah pengurus sumber Hadoop, bertanggungjawab ke atas penjadualan dan pengurusan sumber dalam kelompok. Ia boleh memperuntukkan dan mengurus sumber pengkomputeran untuk berbilang aplikasi, dengan itu meningkatkan penggunaan sumber pengkomputeran. YARN membahagikan sumber pengkomputeran dalam kelompok kepada berbilang bekas dan menyediakan sumber yang sesuai untuk aplikasi yang berbeza sambil memantau dan mengurus status berjalan setiap aplikasi.

Ketiga komponen ini bersama-sama membentuk teras rangka kerja pengkomputeran teragih Hadoop, menjadikan Hadoop mahir dalam analisis data luar talian. Dalam pengkomputeran awan, Hadoop digabungkan dengan data besar dan teknologi virtualisasi untuk menyediakan sokongan yang berkuasa untuk pemprosesan data.

Atas ialah kandungan terperinci Pengenalan kepada tiga komponen teras hadoop. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Label berkaitan:
sumber:php.cn
Kenyataan Laman Web ini
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn
Tutorial Popular
Lagi>
Muat turun terkini
Lagi>
kesan web
Kod sumber laman web
Bahan laman web
Templat hujung hadapan
Tentang kita Penafian Sitemap
Laman web PHP Cina:Latihan PHP dalam talian kebajikan awam,Bantu pelajar PHP berkembang dengan cepat!