job中执行每行

Jun 07, 2016 pm 04:02 PM
job 私たち 埋め込む 変化 必要

job中执行每行 有时,我们需要job或转换执行多次,且每次传入的参数都不同。假如你正在做数据迁移的工作,需要导入每天的旧数据,则需要一个job根据指定的日期导入数据,该日期被指定作为参数,如果我们需要导入从一个起始日期到昨天所有的旧数据,手工运行j

job中执行每行

有时,我们需要job或转换执行多次,且每次传入的参数都不同。假如你正在做数据迁移的工作,需要导入每天的旧数据,则需要一个job根据指定的日期导入数据,该日期被指定作为参数,如果我们需要导入从一个起始日期到昨天所有的旧数据,手工运行job是痛苦的也是错误的做法,kettle是可以首先计算正确的日期然后根据每个日期运行导入job。
在主job中,首先运行返回日期转换(每个日期作为一行),实际导入数据的job放在转换的后面执行,并且根据转换的结果执行每一行,job可以被设置从一个结果字段中获取参数。
\

生成日期
这个转换负责生成只有一个日期字段的数据行,“set start date ”步骤生成10000行数据流(根据实际情况估算行数,测试时可以设置小点),包括一个日期类型常量字段。“calc days”步骤插入一个序列到数据流中,为了在“calc date”步骤可以计算连续的日期;其后的步骤去除掉其他的辅助字段,然后增加昨天的日期到数据流中;接着是一个比较功能的步骤,判断每行的中日期是否早于今天,如果进入“discard”步骤,否则进入“copy rows to result”步骤。

\
主job
主job中执行生成日期转换之后,是子job,负责执行每个输入日期,该job必须要明确设置去执行每个输入行,即设置“execute for every input row”复选框选中。同时需要传入一个计算日期,通过“date”参数,所以“copy previous results to parameters?”也需要选中。最后参数必须从输入行中映射,参数名和输入字段都命名为“date”。

\

\

子job
子job接收每行的“date”日期参数并运行,示例中简单使用date参数记录日志然后完成。
\

下载
这里下载本示例,主job运行子job,针对从2010-01-01到昨天的所有行。需要指出的是,本示例的技术并不适合所有的场合,特别“循环直到条件为真”(不确定次数),这时可能用到这篇文章的方法去实现循环。

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)

5分ごとに実行されるPythonスクリプト 5分ごとに実行されるPythonスクリプト Sep 10, 2023 pm 03:33 PM

自動化とタスクのスケジューリングは、ソフトウェア開発における反復的なタスクを合理化する上で重要な役割を果たします。 API からのデータの取得、データ処理の実行、定期的な更新の送信など、5 分ごとに実行する必要がある Python スクリプトがあると想像してください。スクリプトを手動で頻繁に実行すると、時間がかかり、エラーが発生しやすくなります。ここでタスクのスケジュール設定が役に立ちます。このブログ投稿では、Python スクリプトを 5 分ごとに実行するようにスケジュールし、手動介入なしで自動的に実行されるようにする方法を説明します。この目標を達成するために使用でき、タスクを効率的に自動化できるさまざまな方法とライブラリについて説明します。 time.sleep() 関数を使用して Python スクリプトを 5 分ごとに実行する簡単な方法は、tim を利用することです。

XXL-JOB API インターフェイスへの不正アクセスの RCE 脆弱性を再現する方法 XXL-JOB API インターフェイスへの不正アクセスの RCE 脆弱性を再現する方法 May 12, 2023 am 09:37 AM

XXL-JOB の説明 XXL-JOB は、軽量の分散タスク スケジューリング プラットフォームであり、その中心的な設計目標は、迅速な開発、容易な学習、軽量、容易な拡張です。ソースコードは現在公開されており、多くの企業のオンライン製品ラインに接続されており、すぐに使用できるようになっています。 1. 脆弱性の詳細 この脆弱性の中心的な問題は GLUE モードです。 XXL-JOB は、「GLUE モード」を通じて多言語およびスクリプトタスクをサポートします。このモードのタスク機能は次のとおりです: ●多言語サポート: Java、Shell、Python、NodeJS、PHP、PowerShell... などをサポートします。 。 ●WebIDE:タスクはソースコードモードでディスパッチセンターに保持され、WebIDEを通じてオンライン開発とメンテナンスをサポートします。 ●動的効果:ユーザーのオンラインコミュニケーション

Linux でのスクリプト作成と実行に Python を使用する方法 Linux でのスクリプト作成と実行に Python を使用する方法 Oct 05, 2023 am 11:45 AM

Python を使用して Linux でスクリプトを作成および実行する方法 Linux オペレーティング システムでは、Python を使用してさまざまなスクリプトを作成および実行できます。 Python は、スクリプト作成をより簡単かつ効率的にするための豊富なライブラリとツールを提供する、簡潔で強力なプログラミング言語です。以下では、Linux で Python を使用してスクリプトを作成および実行する基本的な手順を紹介し、Python をよりよく理解して使用するのに役立つ具体的なコード例をいくつか示します。 Pythonをインストールする

CAD をスムーズに実行するにはどのような構成が必要ですか? CAD をスムーズに実行するにはどのような構成が必要ですか? Jan 01, 2024 pm 07:17 PM

CAD をスムーズに使用するにはどのような構成が必要ですか? CAD ソフトウェアをスムーズに使用するには、次の構成要件を満たす必要があります: プロセッサ要件: 「Word Play Flowers」をスムーズに実行するには、少なくとも 1 つの Intel Corei5 または Intel Corei5 を搭載している必要があります。 AMD Ryzen5 以降のプロセッサ。もちろん、より高性能のプロセッサを選択すると、処理速度が向上し、パフォーマンスが向上します。メモリはコンピュータの非常に重要なコンポーネントであり、コンピュータのパフォーマンスとユーザー エクスペリエンスに直接影響します。一般的に、日常使用のほとんどのニーズを満たすことができる少なくとも 8GB のメモリをお勧めします。ただし、パフォーマンスを向上させ、よりスムーズな使用体験を得るには、16GB 以上のメモリ構成を選択することをお勧めします。これにより、

コンピューターのシャットダウンが非常に遅く、回転し続ける場合はどうすればよいですか? コンピューターのシャットダウンが非常に遅く、回転し続ける場合はどうすればよいですか? Feb 21, 2024 pm 12:42 PM

コンピューターは私たちの日常生活や仕事に欠かせないツールの 1 つですが、コンピューターのシャットダウンが非常に遅い、空回りするなどの問題が発生することがあります。この状況は多くの人にとって非常に一般的ですが、多くの人にとって、何をすべきかわかりません。まず、コンピューターのシャットダウンが遅い理由を理解する必要があります。この問題が発生する理由はいくつか考えられます。まず、コンピュータ内で実行中のプログラムやプロセスが閉じられていない可能性があるため、コンピュータをシャットダウンするとき、正常にシャットダウンするには、これらのプログラムやプロセスが終了するまで待つ必要があります。

ブラウザで PHP コードを記述し、コードが実行されないようにするにはどうすればよいでしょうか? ブラウザで PHP コードを記述し、コードが実行されないようにするにはどうすればよいでしょうか? Mar 10, 2024 pm 02:27 PM

ブラウザで PHP コードを記述し、コードが実行されないようにするにはどうすればよいでしょうか?インターネットの普及に伴い、Web開発に触れる人が増え、PHPの学習にも注目が集まっています。 PHP はサーバー側で実行されるスクリプト言語であり、動的な Web ページを作成するためによく使用されます。ただし、演​​習フェーズでは、ブラウザーで PHP コードを作成して結果を確認できるようにしたいと考えていますが、コードが実行されることは望ましくありません。では、ブラウザで PHP コードを記述し、それが実行されないようにするにはどうすればよいでしょうか?以下、詳細に説明する。初め、

Python でブラウン フォーサイス テストを実行する方法 Python でブラウン フォーサイス テストを実行する方法 Aug 31, 2023 pm 11:53 PM

ブラウン フォーサイス検定は、2 つ以上のグループの分散が等しいかどうかを判断するために使用される統計検定です。 Levene の検定では平均値からの絶対偏差が使用されますが、Brown-Forsythe 検定では中央値からの偏差が使用されます。検定で使用される帰無仮説は次のとおりです - H0: グループ (母集団) の分散は等しい. 対立仮説は、分散が等しくないということです - H1: グループ (母集団) の分散は等しくないです。検定を実行すると、各グループの中央値と中央値との相関、桁数の絶対偏差が計算されます。次に、これらの偏差の分散に基づいて F 統計量を計算します。計算された F 統計量が F 分布表の臨界値より大きいと仮定します。この場合、帰無仮説は棄却され、グループの分散は等しくないと結論付けられます。 Python では、sc

Python のラムダ関数とは何ですか?なぜそれが必要なのでしょうか? Python のラムダ関数とは何ですか?なぜそれが必要なのでしょうか? Aug 25, 2023 pm 02:41 PM

この記事では、Python のラムダ関数とそれが必要な理由について学び、ラムダ関数の実際の例をいくつか見ていきます。 Pythonのラムダ関数とは何ですか? Lambda 関数は「匿名関数」と呼ばれることが多く、名前なしで定義できる点を除けば通常の Python 関数と同じです。 >def キーワードは通常の関数を定義するために使用され、lambda キーワードは匿名関数を定義するために使用されます。ただし、単一行の式に限定されます。これらは、通常の関数と同様に、複数の引数を受け入れることができます。構文 lambdaarguments:expression この関数は任意の数の入力を受け入れますが、評価して式を返すだけです。子羊

See all articles