DataNode是一個在HDFS實例中單獨機器上運行的軟體節點;通常Hadoop叢集包含一個NameNode和大量DataNode,DataNode通常以機架的形式組織,所有機架透過一個交換器將所有系統連接起來。
本文操作環境:Windows10系統、nodejs 12.19.0版、Dell G3電腦。
DataNode是一個在HDFS實例中單獨機器上運行的軟體節點。通常Hadoop叢集包含一個NameNode和大量DataNode。 DataNode通常以機架的形式組織,所有機架透過一個交換器將所有系統連接起來。
DataNode回應來自HDFS客戶機的讀寫請求同時它們也回應來自NameNode的建立,刪除和複製區塊的命令。 NameNode依賴來自每個DataNode的定期心跳(heartbeat)訊息。每個訊息都包含一個區塊報告,NameNode可以根據這個報告驗證區塊映射和其他檔案系統元資料。如果DataNode無法傳送心跳訊息,NameNode將採取修復措施。重新複製在該節點上遺失的區塊。
Datenode 提供真實檔案資料的儲存服務。
檔案區塊(block):最基本的儲存單位。對於檔案內容而言,一個檔案的長度大小size,那麼從檔案的0偏移開始,按照固定的大小,順序將檔案分割並編號,分割好的每一個稱為一個Block。 HDFS預設BIock大小是128MB。
不同於一般檔案系統的是,HDFS中,如果一個檔案小於一個資料區塊的大小,並不佔用整個資料儲存空間。
推薦學習:《nodejs影片教學》
以上是datanode是什麼意思的詳細內容。更多資訊請關注PHP中文網其他相關文章!