如题,我想在hadoop上运行如下命令:
hadoop fs -get /test/*.log
但是在test目录下有着太多的log,而且很难用名称限制个数,应该如何改写这条命令,使得可以手动确定下载的文件个数呢?
认证0级讲师
沒用過 hadoop ;如果你是要下載 total 個的 log 的話可以試試:
cnt=0 total=100 for file in $(ls /test/*.log); do echo hadoop fs -get ${file} let cnt=$((${cnt} + 1)) # 这个 bash 可以用,别的 Shell 你改一下吧 if [ ${cnt} -ge ${total} ]; then break fi done
那個 echo 你自己去掉吧,命令我直接手寫的,沒試過;一般情況生產上,先 echo 測一下,看下輸出對不對,沒問題,再執行。
看了樓下的提示,我再補充一個簡單的:
ls /test/*.log | head -100 | xargs echo hadoop fs -get
你可以試試看。
shell裡有head指令,不知道hadoop有沒有
沒用過 hadoop ;如果你是要下載 total 個的 log 的話可以試試:
那個 echo 你自己去掉吧,命令我直接手寫的,沒試過;
一般情況生產上,先 echo 測一下,看下輸出對不對,沒問題,再執行。
看了樓下的提示,我再補充一個簡單的:
你可以試試看。
shell裡有head指令,不知道hadoop有沒有