首頁 > 資料庫 > mysql教程 > hadoop的HDFS文件系统

hadoop的HDFS文件系统

WBOY
發布: 2016-06-07 14:53:55
原創
1335 人瀏覽過

一,NameNode 元数据节点:管理文件系统 secondary namenode从元数据节点:元数据节点的别用节点 二,DataNode 数据节点:存储数据的地方 1)客户端向其请求读取或写入文件,元数据节点发起 2)周期性的想元数据节点回报当前存储的数据快信息 三,Block数据块

一,NameNode  元数据节点:管理文件系统

  secondary namenode从元数据节点:元数据节点的别用节点

二,DataNode 数据节点:存储数据的地方

1)客户端向其请求读取或写入文件,元数据节点发起

2)周期性的想元数据节点回报当前存储的数据快信息

三,Block数据块:最基本的存储单位,默认64m,当一个文件大小小于一个数据块的大小时,并不会占用整个数据块的空间


write
1),Client向NameNode发起文件写入的请求。
2),NameNode根据文件大小和文件块配置情况,返回给Client它所管理部分DataNode的信息。
30,Client将文件划分为多个Block,根据DataNode的地址信息,按顺序写入到每一个DataNode块中。

read
1),Client向NameNode发起文件读取的请求。
2),NameNode返回文件存储的DataNode的信息。
3),Client读取文件信息。

简单操作:

当前HDFS的基本信息
$:hadoop dfsadmin -report

Configured Capacity: 15217328128 (14.17 GB)
Present Capacity: 8593608704 (8 GB)
DFS Remaining: 8593297408 (8 GB)
DFS Used: 311296 (304 KB)
DFS Used%: 0%
Under replicated blocks: 1
Blocks with corrupt replicas: 0
Missing blocks: 0

-------------------------------------------------
Datanodes available: 1 (1 total, 0 dead)

Name: 127.0.0.1:50010
Decommission Status : Normal
Configured Capacity: 15217328128 (14.17 GB)
DFS Used: 311296 (304 KB)
Non DFS Used: 6623719424 (6.17 GB)
DFS Remaining: 8593297408(8 GB)
DFS Used%: 0%
DFS Remaining%: 56.47%
Last contact: Tue Dec 11 01:16:30 CST 2012

列出HDFS的文件

$;hadoop fs -ls

Found 2 items
-rw-r--r--   3 sina supergroup         13 2012-12-05 01:43 /user/demo.txt
drwxr-xr-x   - sina supergroup          0 2012-11-18 15:17 /user/docs

cat;

$ hadoop fs -cat /user/demo.txt
test-测试

相關標籤:
來源:php.cn
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板