目次
目录
1. Shell Action
2. Shell Action 日志
3. Shell Action 限制

Oozie Shell Action 配置

Jun 07, 2016 pm 04:30 PM
action shell 目次 構成

目录 1. Shell Action 2. Shell Action 日志 3. Shell Action 限制 1. Shell Action Shell action运行一个shell命令,需要配置的有job-tracker,name-node和一些必要的参数。 经过配置,在启动Shell Action之前可以创建或删除HDFS文件夹。 可以通过配置文件

目录

1. Shell Action

2. Shell Action 日志

3. Shell Action 限制

1. Shell Action

Shell action运行一个shell命令,需要配置的有job-tracker,name-node和一些必要的参数。

经过配置,在启动Shell Action之前可以创建或删除HDFS文件夹。

可以通过配置文件(通过job-xml元素)给定配置信息,或者是用内嵌的configuration元素进行配置。

可以在内嵌的configuration里面使用EL表达式,在configuration里面配置的信息会覆盖job-xml里面相同的值。

需要注意的是,Hadoop的mapred.job.tracker和fs.default.name属性不可以在内嵌的configuration里面配置。

跟hadoop的map-reduce jobs一样,可以添加附件到sqoop job里面。具体参见【http://archive.cloudera.com/cdh/3/oozie/WorkflowFunctionalSpec.html#a3.2.2.1_Adding_Files_and_Archives_for_the_Job】

shell任务的标准输出(STDOUT)在shell运行结束之后是可用的。这些信息可以被决策结点使用。如果shell job的输出被配置成可用的,那shell命令必须包含以下两个参数:

  • 输出的格式必须是合法的java属性文件。
  • 输出的大小不能超过2KB。

语法:

    ...
            [JOB-TRACKER]
            [NAME-NODE]
               ...
               ...
            [SHELL SETTINGS FILE]
                    [PROPERTY-NAME]
                    [PROPERTY-VALUE]
                ...
            [SHELL-COMMAND]
            [ARG-VALUE]
                ...
            [ARG-VALUE]
            [VAR1=VALUE1]
               ...
            [VARN=VALUEN]
            [FILE-PATH]
            ...
            [FILE-PATH]
            ...
    ...
ログイン後にコピー

prepare元素里面配置启动job前要删除或者创建的文件夹,文件夹路径必须是以hdfs://HOST:PORT开头。

job-xml指定一个存在的配置文件。

configuration里面配置传递给sqoop job的参数。

exec元素包含要执行的shell命令的路径。可以给shell命令添加参数。

argument元素指定要传递给shell脚本的参数。

env-var包含传递给shell命令的环境变量。env-var只能包含一个环境变量和值。如果这个环境变量包含像$PATH一样的,那它必须写成PATH=$PATH:mypath。不能用${PATH},因为它将会被EL解析。

capture-output元素指定用来捕获shell脚本的标准输出。可以通过String action:output(String node, String key)函数【EL函数】来获得输出。

例子:

            ${jobTracker}
            ${nameNode}
                  mapred.job.queue.name
                  ${queueName}
            ${EXEC}
            A
            B
            ${EXEC}#${EXEC} <!--Copy the executable to compute node's current working directory -->
        Script failed, error message[${wf:errorMessage(wf:lastErrorNode())}]
ログイン後にコピー

其中,job属性文件如下:

oozie.wf.application.path=hdfs://localhost:8020/user/kamrul/workflows/script#Execute is expected to be in the Workflow directory.
#Shell Script to run
EXEC=script.sh
#CPP executable. Executable should be binary compatible to the compute node OS.
#EXEC=hello
#Perl script
#EXEC=script.pl
jobTracker=localhost:8021
nameNode=hdfs://localhost:8020
queueName=default
ログイン後にコピー

运行jar里面的java程序:

            ${jobTracker}
            ${nameNode}
                  mapred.job.queue.name
                  ${queueName}
            java
            -classpath
            ./${EXEC}:$CLASSPATH
            Hello
            ${EXEC}#${EXEC} <!--Copy the jar to compute node current working directory -->
        Script failed, error message[${wf:errorMessage(wf:lastErrorNode())}]
ログイン後にコピー

属性会复制指定的文件到运行该脚本的机器上。当提示找不到文件的时候,试试file

对应的属性文件是:

oozie.wf.application.path=hdfs://localhost:8020/user/kamrul/workflows/script#Hello.jar file is expected to be in the Workflow directory.
EXEC=Hello.jar
jobTracker=localhost:8021
nameNode=hdfs://localhost:8020
queueName=default
ログイン後にコピー

2. Shell Action 日志

shell action的stdout和stderr输出被重定向到运行该脚本的oozie执行器上的map-reduce任务的stdout。

除了在Oozie的web网页上可以看到少部分日志,还可以在hadoop的job-tracker的网页上看到详细的日志信息。

3. Shell Action 限制

虽然Shell Action可以执行任意的shell命令,但是有以下几个限制:

不支持交互命令。

不能通过sudo来让不同用户执行命令。

用户必须明确的上传所需要的第三方库。Oozie通过Hadoop的分布式缓冲来上传、打标签、使用。

Shell命令会在任意一个hadoop 计算节点上运行,但是计算节点上默认安装的工具集可能会不一样。不过在所有的计算节点上,通常都装有大部分普通的unix工具。因此需要明确的很重要的一点是:Oozie只支持有被安装到计算节点上的命令或者通过分布式缓存上传的命令。也就是说,我们必须通过file上传我们要用到的文件。

http://archive.cloudera.com/cdh/3/oozie/DG_ShellActionExtension.html

转载请注明: 转载自http://jyd.me/

本文链接地址: Oozie Shell Action 配置

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)

LinuxシステムにおけるGDMの動作原理と設定方法 LinuxシステムにおけるGDMの動作原理と設定方法 Mar 01, 2024 pm 06:36 PM

タイトル: Linux システムにおける GDM の動作原理と構成方法 Linux オペレーティング システムでは、GDM (GNOMEDisplayManager) は、グラフィカル ユーザー インターフェイス (GUI) ログインとユーザー セッション管理を制御するために使用される一般的なディスプレイ マネージャーです。この記事では、GDM の動作原理と構成方法を紹介し、具体的なコード例を示します。 1. GDM の動作原理 GDM は GNOME デスクトップ環境のディスプレイ マネージャーであり、X サーバーの起動とログイン インターフェイスの提供を担当します。

Linux Bashrc の機能、構成、使用法を理解する Linux Bashrc の機能、構成、使用法を理解する Mar 20, 2024 pm 03:30 PM

Linux Bashrc について: 機能、構成、および使用法 Linux システムでは、Bashrc (BourneAgainShellrunco​​mmands) は非常に重要な構成ファイルであり、システムの起動時に自動的に実行されるさまざまなコマンドと設定が含まれています。 Bashrc ファイルは通常、ユーザーのホーム ディレクトリにある隠しファイルであり、その機能はユーザーの Bashshell 環境をカスタマイズすることです。 1. Bashrc関数の設定環境

Linux でファイルの末尾の行をすばやく削除する方法 Linux でファイルの末尾の行をすばやく削除する方法 Mar 01, 2024 pm 09:36 PM

Linux システムでファイルを処理する場合、ファイルの末尾の行を削除する必要がある場合があります。この操作は実際のアプリケーションでは非常に一般的で、いくつかの簡単なコマンドで実行できます。この記事では、Linux システムでファイルの末尾の行をすばやく削除する手順と、具体的なコード例を紹介します。ステップ 1: ファイルの最終行を確認する 削除操作を実行する前に、最初にファイルの最終行がどの行であるかを確認する必要があります。ファイルの最後の行を表示するには、tail コマンドを使用できます。具体的なコマンドは次のとおりです: tail-n1filena

DJI Osmo Action 5 Pro: GoPro Hero 13 Black を割り込む可能性のある発売価格を小売店が明らかにしたため、発売日が議論される DJI Osmo Action 5 Pro: GoPro Hero 13 Black を割り込む可能性のある発売価格を小売店が明らかにしたため、発売日が議論される Sep 04, 2024 am 06:51 AM

DJIはまだ新しいアクションカメラを導入する計画を確認していません。その代わりに、GoPro は今年、9 月 4 日に 2 台の新しいアクション カメラを発表すると予告し、ライバルに先んじることになるようです。

Linux システムで FTPS を構成してインストールする方法 Linux システムで FTPS を構成してインストールする方法 Mar 20, 2024 pm 02:03 PM

タイトル: Linux システムで FTPS を構成およびインストールする方法、具体的なコード例が必要です。Linux システムでは、FTPS は安全なファイル転送プロトコルです。FTP と比較して、FTPS は TLS/SSL プロトコルを通じて送信データを暗号化し、データのセキュリティを向上させます。伝染 ; 感染。この記事では、Linux システムに FTPS を構成およびインストールする方法を紹介し、具体的なコード例を示します。ステップ 1: vsftpd をインストールする ターミナルを開き、次のコマンドを入力して vsftpd をインストールします: sudo

プロジェクトの構築を高速化するために Maven ローカル リポジトリをセットアップするためのガイド プロジェクトの構築を高速化するために Maven ローカル リポジトリをセットアップするためのガイド Feb 24, 2024 pm 02:12 PM

Maven ローカル ウェアハウスの構成方法を段階的に説明します。プロジェクトの構築速度を向上させます。 Maven は、Java 開発で広く使用されている強力なプロジェクト管理ツールです。これは、プロジェクトの依存関係の管理、プロジェクトの構築、プロジェクトの公開などに役立ちます。ただし、実際の開発プロセスでは、プロジェクトの構築が遅いという問題に遭遇することがあります。解決策の 1 つは、ローカル リポジトリを構成してプロジェクトのビルド速度を向上させることです。この記事では、プロジェクトの構築をより効率的にするために Maven ローカル ウェアハウスを構成する方法を段階的に説明します。ローカルウェアハウスを構成する必要があるのはなぜですか?

win11 コンピューターの構成はどこで確認できますか? win11コンピュータの構成情報を確認する方法 win11 コンピューターの構成はどこで確認できますか? win11コンピュータの構成情報を確認する方法 Mar 06, 2024 am 10:10 AM

win11システムを使用するとき、コンピューターの構成を確認する必要がある場合がありますが、多くのユーザーは、win11コンピューターの構成をどこで確認すればよいか尋ねています。実際、その方法は非常に簡単で、設定でシステム情報を直接開き、コンピュータの構成情報を表示できます。このサイトでは、win11 コンピューターの構成情報を見つける方法をユーザーに注意深く紹介します。 win11 コンピューターの構成情報を確認する方法 方法 1: 1. [スタート] をクリックし、[コンピューターの設定] を開きます。 3. このページでは、コンピュータの構成情報を表示できます。 2. コマンド プロンプト ウィンドウで「systeminfo」と入力し、Enter キーを押してコンピュータの構成を表示します。

Black Myth Wukong にはどのようなコンピュータ構成が必要ですか? Black Myth Wukong にはどのようなコンピュータ構成が必要ですか? Mar 08, 2024 pm 01:22 PM

「黒神話悟空」というゲームは、2024 年の夏にすべての主要プラットフォームでリリースされます。ゲームを体験するには、ゲームをダウンロードするときに特定のコンピューター構成を満たす必要があります。以下は、「黒神話悟空」に必要な最小構成の紹介です。 Black Myth Wukong にはどのようなコンピュータ構成が必要ですか? 最小構成オペレーティング システム: Windows 7、Windows 8.1、Windows 10 (すべて 64 ビット) プロセッサ: Intel Corei5-4430/AMDFX-6300 実行メモリ: 8GB RAM グラフィック カード: NVIDIA GeForce GTX9602GB /AMDRadeon R73702GB ストレージ容量: 100GB が必要 空き容量推奨オペレーティング システム: Windows 7、Win

See all articles