Oozie Shell Action 配置-tutorial mysql-php.cn

Oozie Shell Action 配置

WBOY

Lepaskan： 2016-06-07 16:30:23

asal

1288 orang telah melayarinya

目录 1. Shell Action 2. Shell Action 日志 3. Shell Action 限制 1. Shell Action Shell action运行一个shell命令，需要配置的有job-tracker，name-node和一些必要的参数。经过配置，在启动Shell Action之前可以创建或删除HDFS文件夹。可以通过配置文件

    ...
            [JOB-TRACKER]
            [NAME-NODE]
               ...
               ...
            [SHELL SETTINGS FILE]
                    [PROPERTY-NAME]
                    [PROPERTY-VALUE]
                ...
            [SHELL-COMMAND]
            [ARG-VALUE]
                ...
            [ARG-VALUE]
            [VAR1=VALUE1]
               ...
            [VARN=VALUEN]
            [FILE-PATH]
            ...
            [FILE-PATH]
            ...
    ...

Salin selepas log masuk

prepare元素里面配置启动job前要删除或者创建的文件夹，文件夹路径必须是以hdfs://HOST:PORT开头。

job-xml指定一个存在的配置文件。

configuration里面配置传递给sqoop job的参数。

exec元素包含要执行的shell命令的路径。可以给shell命令添加参数。

argument元素指定要传递给shell脚本的参数。

env-var包含传递给shell命令的环境变量。env-var只能包含一个环境变量和值。如果这个环境变量包含像$PATH一样的，那它必须写成PATH=$PATH:mypath。不能用${PATH}，因为它将会被EL解析。

capture-output元素指定用来捕获shell脚本的标准输出。可以通过String action:output(String node, String key)函数【EL函数】来获得输出。

例子：

            ${jobTracker}
            ${nameNode}
                  mapred.job.queue.name
                  ${queueName}
            ${EXEC}
            A
            B
            ${EXEC}#${EXEC} <!--Copy the executable to compute node's current working directory -->
        Script failed, error message[${wf:errorMessage(wf:lastErrorNode())}]

Salin selepas log masuk

其中，job属性文件如下：

oozie.wf.application.path=hdfs://localhost:8020/user/kamrul/workflows/script#Execute is expected to be in the Workflow directory.
#Shell Script to run
EXEC=script.sh
#CPP executable. Executable should be binary compatible to the compute node OS.
#EXEC=hello
#Perl script
#EXEC=script.pl
jobTracker=localhost:8021
nameNode=hdfs://localhost:8020
queueName=default

Salin selepas log masuk

运行jar里面的java程序：

            ${jobTracker}
            ${nameNode}
                  mapred.job.queue.name
                  ${queueName}
            java
            -classpath
            ./${EXEC}:$CLASSPATH
            Hello
            ${EXEC}#${EXEC} <!--Copy the jar to compute node current working directory -->
        Script failed, error message[${wf:errorMessage(wf:lastErrorNode())}]

Salin selepas log masuk

属性会复制指定的文件到运行该脚本的机器上。当提示找不到文件的时候，试试file

对应的属性文件是：

oozie.wf.application.path=hdfs://localhost:8020/user/kamrul/workflows/script#Hello.jar file is expected to be in the Workflow directory.
EXEC=Hello.jar
jobTracker=localhost:8021
nameNode=hdfs://localhost:8020
queueName=default

Salin selepas log masuk

2. Shell Action 日志

shell action的stdout和stderr输出被重定向到运行该脚本的oozie执行器上的map-reduce任务的stdout。

除了在Oozie的web网页上可以看到少部分日志，还可以在hadoop的job-tracker的网页上看到详细的日志信息。

3. Shell Action 限制

虽然Shell Action可以执行任意的shell命令，但是有以下几个限制：

不支持交互命令。

不能通过sudo来让不同用户执行命令。

用户必须明确的上传所需要的第三方库。Oozie通过Hadoop的分布式缓冲来上传、打标签、使用。

Shell命令会在任意一个hadoop 计算节点上运行，但是计算节点上默认安装的工具集可能会不一样。不过在所有的计算节点上，通常都装有大部分普通的unix工具。因此需要明确的很重要的一点是：Oozie只支持有被安装到计算节点上的命令或者通过分布式缓存上传的命令。也就是说，我们必须通过file上传我们要用到的文件。

http://archive.cloudera.com/cdh/3/oozie/DG_ShellActionExtension.html

转载请注明： 转载自http://jyd.me/

本文链接地址: Oozie Shell Action 配置