首頁 > 常見問題 > 主體

hadoop是什麼

青灯夜游
發布: 2020-10-21 10:31:49
原創
53880 人瀏覽過

Hadoop是一個由Apache基金會所開發的分散式系統基礎架構,一個能夠對大量資料進行分散式處理的軟體框架; Hadoop以一種可靠、高效、可伸縮的方式進行資料處理;使用者可以在不了解分散式底層細節的情況下,開發分散式程式。

hadoop是什麼

使用者可以輕鬆地在Hadoop上開發和運行處理大量資料的應用程式。

Hadoop實作了一個分散式檔案系統(Hadoop Distributed File System),簡稱HDFS。 HDFS具有高容錯性的特點,並且設計用來部署在低廉的(low-cost)硬體上;而且它提供高吞吐量(high throughput)來存取應用程式的數據,適合那些有著超大數據集(large data set)的應用程式。 HDFS放寬了(relax)POSIX的要求,可以以串流的形式存取(streaming access)檔案系統中的資料。

Hadoop的框架最核心的設計就是:HDFS和MapReduce。 HDFS為海量的數據提供了存儲,而MapReduce則為海量的數據提供了計算。

Hadoop主要有以下幾個優點:

● 高可靠度。 Hadoop按位儲存和處理資料的能力值得人們信賴。

● 高擴充性。 Hadoop是在可用的電腦集簇間分配資料並完成計算任務的,這些集簇可以方便地擴展到數以千計的節點中。

● 高效性。 Hadoop能夠在節點之間動態地移動數據,並確保各個節點的動態平衡,因此處理速度非常快。

● 高容錯性。 Hadoop能夠自動保存資料的多個副本,並且能夠自動將失敗的任務重新分配。

● 低成本。與一體機、商用資料倉儲以及QlikView、Yonghong Z-Suite等資料市集相比,hadoop是開源的,專案的軟體成本因此會大幅降低。

Hadoop帶有用Java語言編寫的框架,因此運行在 Linux 生產平台上是非常理想的。 Hadoop 上的應用程式也可以使用其他語言編寫,例如 C 。

以上是hadoop是什麼的詳細內容。更多資訊請關注PHP中文網其他相關文章!

相關標籤:
來源:php.cn
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板