Hadoop Rumen介绍
作者: Dong | 新浪微博: 西成懂 | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明 网址:http://dongxicheng.org/mapreduce/hadoop-rumen-introduction/ 什么是Hadoop Rumen? Hadoop Rumen是为Hadoop MapReduce设计的日志解析和分析工具
作者:Dong | 新浪微博:西成懂 | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明
网址:http://dongxicheng.org/mapreduce/hadoop-rumen-introduction/
什么是Hadoop Rumen?
Hadoop Rumen是为Hadoop MapReduce设计的日志解析和分析工具,它能够将JobHistory 日志解析成有意义的数据并格式化存储。Rumen可以单独使用,但通常作为其他组件,比如GridMix (v3) 和 Mumak的基础库。
Hadoop Rumen设计动机
对于任何一个工作在Hadoop之上的外部工具,分析JobHistory日志都是必须的工作之一。基于这点考虑,Hadoop应内嵌一个JobHistory日志分析工具。
统计分析MapReduce作业的各种属性,比如任务运行时间、任务失败率等,通常是基准测试或者模拟器必备的功能,Hadoop Rumen可以为任务生成Cumulative Distribution Functions (CDF),这可以用于推断不完整的、失败的或者丢失的任务。
Hadoop Rumen基本构成
Hadoop Rumen已经内置在Apache Hadoop 1.0之上(包括0.21.x,0.22.x,CDH3)各个版本中,位于org.apache.hadoop.tools.rumen包中,通常被Hadoop打包成独立的jar包hadoop-tools-[VERSION].jar。Hadoop Rumen由两部分组成:
(1) Trace Builder
将JobHistory日志解析成易读的格式,当前仅支持json格式。Trace Builder的输出被称为job trace(作业运行踪迹),我们通过job trace很容易模拟(还原)作业的整个运行过程。
(2) ?Folder
将job trace按时间进行压缩或者扩张。这个还是为了方便其他组件,比如GridMix (v3) 和 Mumak,使用。Folder可以将作业运行过程进行等比例缩放,以便在更短的时间内模拟作业运行过程。
试用Hadoop Rumen
你可以通过两种方式运行Rumen,一种是使用集成化(综合所有功能)的HadoopLogsAnalyzer类,在很多Hadoop版本中,这个类已经过期,不推荐使用,另一种是使用TraceBuilder和Folder类。它们的运行方式基本类似,下面以HadoopLogsAnalyzer类为例进行说明:
bin/hadoop org.apache.hadoop.tools.rumen.HadoopLogsAnalyzer -v1 -write-job-trace file:///tmp/job-trace.json -write-topology file:///tmp/topology.json file:///software/hadoop/logs/history/done/
其中,“-v1”表示采用version 1的JobHsitory格式,如果你的Hadoop版本是0.20.x系列,则需要加这个参数,“-write-job-trace”是输出的job trace存放位置,“-write-topology”是拓扑结构存放位置,Rumen能够通过分析JobHistory中所有文件得到Hadoop集群的拓扑结构。最后一项紧跟你的JobHistory 中done目录存放位置,一般在${HDOOP_LOG}/history/done中,如果在本地磁盘,则需在目录前加前缀file://,如果在HDFS上需在目录前加前缀“hdfs://”。
下面是截取的job-trace.json和topology.json文件内容:
【job-trace.json】
“priority” : “NORMAL”, “jobID” : “job_201301061549_0003″, “mapTasks” : [ { "attempts" : [ { "location" : null, "hostName" : "HADOOP001", "startTime" : 1357460454343, "finishTime" : 1357460665299, "result" : "KILLED", "shuffleFinished" : -1, "sortFinished" : -1, "attemptID" : "attempt_201301061549_0003_m_000000_0", "hdfsBytesRead" : -1, "hdfsBytesWritten" : -1, "fileBytesRead" : -1, "fileBytesWritten" : -1, "mapInputRecords" : -1, "mapOutputBytes" : -1, "mapOutputRecords" : -1, "combineInputRecords" : -1, "reduceInputGroups" : -1, "reduceInputRecords" : -1, "reduceShuffleBytes" : -1, "reduceOutputRecords" : -1, "spilledRecords" : -1, "mapInputBytes" : -1 } ], “preferredLocations” : [ ], “startTime” : 1357460454686, “finishTime” : -1, “inputBytes” : -1, “inputRecords” : -1, “outputBytes” : -1, “outputRecords” : -1, “taskID” : “task_201301061549_0003_m_000000″, “numberMaps” : -1, “numberReduces” : -1, “taskStatus” : null, “taskType” : “MAP” }, { ….
【topology.json】
{ “name” : “<root>”, “children” : [ { "name" : "default-rack", "children" : [ { "name" : " HADOOP001", "children" : null }, { "name" : " HADOOP002", "children" : null }, { "name" : HADOOP003", "children" : null }, { "name" : " HADOOP004", "children" : null }, { "name" : " HADOOP005", "children" : null }, { "name" : " HADOOP006", "children" : null } ] } ] }</root>
原创文章,转载请注明: 转载自董的博客
本文链接地址: http://dongxicheng.org/mapreduce/hadoop-rumen-introduction/
作者:Dong,作者介绍:http://dongxicheng.org/about/
Copyright © 2012
This feed is for personal, non-commercial use only.
The use of this feed on other websites breaches copyright. If this content is not in your news reader, it makes the page you are viewing an infringement of the copyright. (Digital Fingerprint:
)

熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

Video Face Swap
使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱門文章

熱工具

記事本++7.3.1
好用且免費的程式碼編輯器

SublimeText3漢化版
中文版,非常好用

禪工作室 13.0.1
強大的PHP整合開發環境

Dreamweaver CS6
視覺化網頁開發工具

SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)

1.先開啟手機網路瀏覽器,搜尋微博網頁版,進入後點選左上角頭像按鈕。 2、然後點選右上角設定。 3.點選設定裡面的版本切換選項。 4.接著在版本切換裡選擇彩版選項。 5.點選搜索,進入搜尋頁面。 6.輸入關鍵字後,點選找人。 7.出來的搜尋完成介面點選篩選。 8.最後在發佈時間欄輸入特定日期後,點選篩選即可。

1.打開微博,點選我的,再點選右上角的設定選項。 2.開啟設定之後,找到並點選裡面的推播通知設定。 3.進入推播通知設定之後,找到特別關注,然後點擊即時通知即可。

1.在微博app中點選右下方【我的】進入個人首頁。 2、然後,點選右上方的齒輪圖示。 3.這時,我們進入了設定頁面,在這裡選擇【屏蔽設定】進入。 4.在屏蔽設定中我們就可以看到自己屏蔽的好友,輕觸點擊,在彈出的選項中點選【解除屏蔽】即可。 5.或是用戶可以直接搜尋微博用戶進入封鎖用戶戶首頁,點選右上方【...】也能解除黑名單。

1.先打開微博,點選我的,點選草稿箱。 2、然後長按任一草稿,點選清空草稿箱或刪除草稿。 3、最後點選確定即可。

1.先打開手機微博,點選右下角【我】(如圖所示)。 2、接著點選右上角【齒輪】打開設定(如圖所示)。 3.然後找到並開啟【通用設定】(如圖所示)。 4.隨後進入【影片隨著】選項(如圖所示)。 5.再開啟【影片上傳清晰度】設定(如圖)。 6.最後選擇【原畫質】就能不壓縮了(如圖)。

1.先打開微博,點選我的,點選頭像,進入個人主頁。 2、然後點選背景圖。 3.接著點選更換影片封面。 4、最後在相簿中選擇視頻,點擊下一步,進行發布上傳即可。

微博用戶一旦開通SVIP功能,就可以管理訪客記錄,而且如果自己去訪問某個陌生人的首頁,如果在展示之前就可以把他刪除掉,這樣子他們就不知道是自己瀏覽首頁了,那麼?微博svip刪除訪客記錄對方還能看到嗎微博svip刪除訪客記錄對方還能看到嗎1、svip刪除訪客記錄對方就看不到了,只會看到訪問人數增加,但是不會顯示來訪者的ID和頭像。 2、一般使用者和vip使用者無法刪除或查看存取記錄,只能看到有多少人曾造訪過自己。 3、微博訪問的資料會在每日8:00進行更新,如果想要刪除訪問記錄的話需要在

1.先開啟微博,點選搜索,點選更多熱搜。 2、然後選擇一個熱搜進入。 3.接著進入熱搜的評論實況模式後,找到並點選右上角標準版。 4.最後即可回到熱搜標準的評論區狀態了,想要繼續查看實況評論區,點擊右上角實況版即可。註:只有目前即時評論很多的情況下才會自動進入實況模式,部分熱搜會自動進入實況模式。一般熱搜都是標準模式。
