#一.HDFS分散式檔案系統運作
1.在 #HDFS 檔案系統的根目錄下建立遞歸目錄「1daoyun/file」，將附件中的BigDataSkills.txt ##文件，上傳到1daoyun/file 目錄中，使用相關指令檢視檔案系統中1daoyun/file 目錄的文件列表資訊。
hadoop fs -mkdir -p /1daoyun/file
hadoop fs -put BigDataSkills.txt /1daoyun/file
#hadoop fs -ls /1daoyun/file
#2.在 HDFS 檔案系統的根目錄下建立遞歸目錄「1daoyun/file」，將附件中的BigDataSkills.txt 文件，上傳到1daoyun/file 目錄中，並使用HDFS #檔案系統檢查工具檢查檔案是否受損。
hadoop fs -mkdir -p /1daoyun/file
hadoop fs -put BigDataSkills.txt/1daoyun/file
#hadoop fsck /1daoyun/file/BigDataSkills.txt
#3.在 # HDFS 檔案系統的根目錄下建立遞歸目錄「1daoyun/file」，將附件中的 BigDataSkills.txt 文件，上傳到1daoyun/file 目錄中，上傳過程指定BigDataSkills.txt 檔案在HDFS 檔案系統中的複製因子為2#，並使用
###fsck ######工######具檢查儲存區塊的副本數。 ######hadoop fs -mkdir -p /1daoyun/file
hadoop fs -D dfs.replication=2 -put BigDataSkills.txt /1daoyun/file
hadoop fsck /1daoyun/file/BigDataSkills.txt
4.HDFS 檔案系統的根目錄下存在一個/apps 的檔案目錄，要求開啟該目錄的可建立快照功能，並為該目錄檔案建立快照，快照名稱為apps_1daoyun#，使#用相關指令查看該快照檔案的清單資訊。
hadoop dfsadmin -allowSnapshot /apps
hadoop fs -createSnapshot /apps apps_1daoyun
hadoop fs -ls /apps/.snapshot
5.當 Hadoop #叢集啟動的時候，會先進入到安全模式的狀態，該模式預設30 秒後退出。當系統處於安全模式時，只能對 HDFS 檔案系統進行讀取，無法進行寫入修改刪除等的操作。現假設需要對 Hadoop 叢集進行維護，需要使叢集進入安全模式的狀態，並檢查其狀態。
hdfs dfsadmin -safemode enter
#hdfs dfsadmin -safemode get
6.為了防止操作人員誤刪文件，HDFS 檔案系統提供了回收站的功能，但經過多的垃圾檔案會佔用大量的儲存空間。要求在先電大資料平台的WEB 介面將HDFS 檔案系統回收站中的檔案徹底刪除的時間間隔為7 天。 進階core-sitefs.trash.interval：10080
## ##
7.為了防止操作人員誤刪文件，#HDFS 檔案系統提供了回收站的功能，但過多的垃圾檔案會佔用大量的儲存空間。要求在Linux Shell 中使用“vi”命令修改為對應的設定檔以及參數訊息，關閉回收站功能。完成後，重啟對應的服#。 進階##core-sitefs.trash.interval：0
vi /etc/hadoop/2.4.3.0 -227/0/core-site.xml
#
sbin/stop-dfs.sh
sbin/start- dfs.sh8.Hadoop 叢集中的主機在某些情況下會出現宕機或系統損壞的問題，一 旦遇到這些問題，HDFS 檔案系統中的資料檔案難免會產生損壞或遺失，為了保證HDFS 檔案系統的可靠性，現需要在先電大資料平台的WEB 介面
將叢集的冗餘複製因子修改為5。
General
Block replication
9.Hadoop 叢集中的主機在某些情況下會出現宕機或係統損壞的問題，一旦遇到這些問題，HDFS 檔案系統中的資料檔案難免會產生損壞或遺失，為了保證##HDFS 檔案系統的可靠性，需要將叢集的冗餘複製因子修改為5，在Linux Shell 中使用「vi」指令修改對應的設定檔以及參數訊息，完成後，重啟對應的服務。
或
#vi/etc/hadoop/2.4.3.0-227/0/hdfs- site.xml
#/usr/hdp/current/hadoop-client/sbin/hadoop-daemon.sh --config /usr/hdp/current/hadoop-client/conf stop {namenode/datenode}
/usr/hdp/current/hadoop-client/sbin/hadoop-daemon.sh --config /usr/hdp/current/hadoop-client/conf start {namenode/datenode}
10.
使用指令檢視hdfs 檔案系統中/tmp 目錄下的目錄個數，檔案數量和檔案總大小。
hadoop fs -count /tmp#2.
MapREDUCE 案例題# 1.在叢集節點中/usr/hdp/2.4.3.0-227/hadoop-mapreduce/目錄下，存在一個案例JAR 套件#hadoop-mapreduce-examples.jar。運行JAR 包中的PI #程式來進行計算圓周率π的近似值，要求執行5 次Map 任務，每個##Map 任務的投擲次數為5。 cd /usr/hdp/2.4.3.0-227/hadoop-mapreduce/ hadoop jar hadoop- mapreduce-examples-2.7.1.2.4.3.0-227.jar pi 5 5 #2. 在叢集節點中/usr/hdp/2.4.3.0-227/hadoop-mapreduce/目錄下，存在一個案例JAR 套件hadoop-mapreduce-examples.jar。執行JAR 套件中的wordcount #程式來對/1daoyun/file/ BigDataSkills.txt 檔案進行單字計數，將運算結果輸出到/1daoyun/output 目錄中，使用相關指令查詢單字計數結果。 hadoop jar/usr/hdp/2.4.3.0-227/hadoop-mapreduce/hadoop-mapreduce-examples-2.7.1.2.4.3.0-227.jar wordcount /1daoyun/ file/BigDataSkills.txt /1daoyun/output# 3.在叢集節點中/usr/hdp/2.4.3.0-227/hadoop-mapreduce/目錄下，存在一個案例JAR 套件#hadoop-mapreduce-examples.jar。執行 JAR 包中的 sudoku 程式來計算#下表中數獨運算題的結果。 。 cat puzzle1.dta ##hadoop jarhadoop-mapreduce-examples- 2.7.1.2.4.3.0-227.jar sudoku /root/puzzle1.dta 4.在叢集節點中/usr/hdp/2.4.3.0-227/hadoop-mapreduce/目錄下，存在一個案例JAR 包hadoop-mapreduce-examples.jar。運行JAR 包中的grep 程式來統計文字件系統中/ 1daoyun/file/BigDataSkills.txt 檔案中「Hadoop」出現的次數，統計完成後，查詢統計結果資訊。 hadoop jarhadoop-mapreduce-examples-2.7.1.2.4.3.0-227.jar grep /1daoyun/file/BigDataSkills.txt /output hadoop ################################################################################################################################################################################################' #### ######
以上是BigData大數據運維的詳細內容。更多資訊請關注PHP中文網其他相關文章！
