Hadoop是一個由Apache基金會所開發的分散式系統基礎架構,一個能夠對大量資料進行分散式處理的軟體框架; Hadoop以一種可靠、高效、可伸縮的方式進行資料處理;使用者可以在不了解分散式底層細節的情況下,開發分散式程式。
使用者可以輕鬆地在Hadoop上開發和運行處理大量資料的應用程式。
Hadoop實作了一個分散式檔案系統(Hadoop Distributed File System),簡稱HDFS。 HDFS具有高容錯性的特點,並且設計用來部署在低廉的(low-cost)硬體上;而且它提供高吞吐量(high throughput)來存取應用程式的數據,適合那些有著超大數據集(large data set)的應用程式。 HDFS放寬了(relax)POSIX的要求,可以以串流的形式存取(streaming access)檔案系統中的資料。
Hadoop的框架最核心的設計就是:HDFS和MapReduce。 HDFS為海量的數據提供了存儲,而MapReduce則為海量的數據提供了計算。
Hadoop主要有以下幾個優點:
● 高可靠度。 Hadoop按位儲存和處理資料的能力值得人們信賴。
● 高擴充性。 Hadoop是在可用的電腦集簇間分配資料並完成計算任務的,這些集簇可以方便地擴展到數以千計的節點中。
● 高效性。 Hadoop能夠在節點之間動態地移動數據,並確保各個節點的動態平衡,因此處理速度非常快。
● 高容錯性。 Hadoop能夠自動保存資料的多個副本,並且能夠自動將失敗的任務重新分配。
● 低成本。與一體機、商用資料倉儲以及QlikView、Yonghong Z-Suite等資料市集相比,hadoop是開源的,專案的軟體成本因此會大幅降低。
Hadoop帶有用Java語言編寫的框架,因此運行在 Linux 生產平台上是非常理想的。 Hadoop 上的應用程式也可以使用其他語言編寫,例如 C 。
以上是hadoop是什麼的詳細內容。更多資訊請關注PHP中文網其他相關文章!