job中执行每行

Jun 07, 2016 pm 04:02 PM
job 우리를 구현하다 변화 필요

job中执行每行 有时,我们需要job或转换执行多次,且每次传入的参数都不同。假如你正在做数据迁移的工作,需要导入每天的旧数据,则需要一个job根据指定的日期导入数据,该日期被指定作为参数,如果我们需要导入从一个起始日期到昨天所有的旧数据,手工运行j

job中执行每行

有时,我们需要job或转换执行多次,且每次传入的参数都不同。假如你正在做数据迁移的工作,需要导入每天的旧数据,则需要一个job根据指定的日期导入数据,该日期被指定作为参数,如果我们需要导入从一个起始日期到昨天所有的旧数据,手工运行job是痛苦的也是错误的做法,kettle是可以首先计算正确的日期然后根据每个日期运行导入job。
在主job中,首先运行返回日期转换(每个日期作为一行),实际导入数据的job放在转换的后面执行,并且根据转换的结果执行每一行,job可以被设置从一个结果字段中获取参数。
\

生成日期
这个转换负责生成只有一个日期字段的数据行,“set start date ”步骤生成10000行数据流(根据实际情况估算行数,测试时可以设置小点),包括一个日期类型常量字段。“calc days”步骤插入一个序列到数据流中,为了在“calc date”步骤可以计算连续的日期;其后的步骤去除掉其他的辅助字段,然后增加昨天的日期到数据流中;接着是一个比较功能的步骤,判断每行的中日期是否早于今天,如果进入“discard”步骤,否则进入“copy rows to result”步骤。

\
主job
主job中执行生成日期转换之后,是子job,负责执行每个输入日期,该job必须要明确设置去执行每个输入行,即设置“execute for every input row”复选框选中。同时需要传入一个计算日期,通过“date”参数,所以“copy previous results to parameters?”也需要选中。最后参数必须从输入行中映射,参数名和输入字段都命名为“date”。

\

\

子job
子job接收每行的“date”日期参数并运行,示例中简单使用date参数记录日志然后完成。
\

下载
这里下载本示例,主job运行子job,针对从2010-01-01到昨天的所有行。需要指出的是,本示例的技术并不适合所有的场合,特别“循环直到条件为真”(不确定次数),这时可能用到这篇文章的方法去实现循环。

본 웹사이트의 성명
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

Video Face Swap

Video Face Swap

완전히 무료인 AI 얼굴 교환 도구를 사용하여 모든 비디오의 얼굴을 쉽게 바꾸세요!

뜨거운 도구

메모장++7.3.1

메모장++7.3.1

사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전

SublimeText3 중국어 버전

중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기

스튜디오 13.0.1 보내기

강력한 PHP 통합 개발 환경

드림위버 CS6

드림위버 CS6

시각적 웹 개발 도구

SublimeText3 Mac 버전

SublimeText3 Mac 버전

신 수준의 코드 편집 소프트웨어(SublimeText3)

5분마다 실행되는 Python 스크립트 5분마다 실행되는 Python 스크립트 Sep 10, 2023 pm 03:33 PM

자동화 및 작업 스케줄링은 소프트웨어 개발에서 반복적인 작업을 간소화하는 데 중요한 역할을 합니다. API에서 데이터 가져오기, 데이터 처리 수행, 주기적인 업데이트 보내기 등 5분마다 실행해야 하는 Python 스크립트가 있다고 상상해 보세요. 스크립트를 너무 자주 수동으로 실행하면 시간이 많이 걸리고 오류가 발생하기 쉽습니다. 여기서 작업 스케줄링이 시작됩니다. 이 블로그 게시물에서는 Python 스크립트가 5분마다 실행되도록 예약하여 수동 개입 없이 자동으로 실행되도록 하는 방법을 살펴보겠습니다. 이 목표를 달성하는 데 사용할 수 있는 다양한 방법과 라이브러리에 대해 논의하여 작업을 효율적으로 자동화할 수 있습니다. time.sleep() 함수를 사용하여 5분마다 Python 스크립트를 실행하는 쉬운 방법은 tim을 활용하는 것입니다.

Linux에서 스크립팅 및 실행을 위해 Python을 사용하는 방법 Linux에서 스크립팅 및 실행을 위해 Python을 사용하는 방법 Oct 05, 2023 am 11:45 AM

Linux에서 Python을 사용하여 스크립트를 작성하고 실행하는 방법 Linux 운영 체제에서는 Python을 사용하여 다양한 스크립트를 작성하고 실행할 수 있습니다. Python은 스크립팅을 보다 쉽고 효율적으로 만들기 위한 풍부한 라이브러리와 도구를 제공하는 간결하고 강력한 프로그래밍 언어입니다. 아래에서는 Linux에서 스크립트 작성 및 실행을 위해 Python을 사용하는 방법의 기본 단계를 소개하고, Python을 더 잘 이해하고 사용하는 데 도움이 되는 몇 가지 구체적인 코드 예제를 제공합니다. 파이썬 설치

XXL-JOB API 인터페이스에 대한 무단 액세스에 대한 RCE 취약점을 재현하는 방법 XXL-JOB API 인터페이스에 대한 무단 액세스에 대한 RCE 취약점을 재현하는 방법 May 12, 2023 am 09:37 AM

XXL-JOB 설명 XXL-JOB은 경량 분산 작업 스케줄링 플랫폼으로, 핵심 설계 목표는 신속한 개발, 손쉬운 학습, 경량 및 손쉬운 확장입니다. 이제 소스 코드가 공개되어 많은 회사의 온라인 제품 라인에 연결되어 즉시 사용할 수 있습니다. 1. 취약점 세부정보 이번 취약점의 핵심 이슈는 GLUE 모드입니다. XXL-JOB은 "GLUE 모드"를 통해 다중 언어 및 스크립트 작업을 지원합니다. 이 모드의 작업 기능은 다음과 같습니다. ● 다중 언어 지원: Java, Shell, Python, NodeJS, PHP, PowerShell... 및 기타 유형을 지원합니다. . ●WebIDE: 작업은 발송 센터에서 소스 코드 모드로 유지되며 WebIDE를 통해 온라인 개발 및 유지 관리를 지원합니다. ●동적 효과적: 사용자 온라인 커뮤니케이션

CAD를 원활하게 실행하려면 어떤 구성이 필요합니까? CAD를 원활하게 실행하려면 어떤 구성이 필요합니까? Jan 01, 2024 pm 07:17 PM

CAD를 원활하게 사용하려면 어떤 구성이 필요합니까? CAD 소프트웨어를 원활하게 사용하려면 다음 구성 요구 사항을 충족해야 합니다. 프로세서 요구 사항: "Word Play Flowers"를 원활하게 실행하려면 Intel Corei5 또는 AMD Ryzen5 이상 프로세서. 물론 고성능 프로세서를 선택하면 더 빠른 처리 속도와 더 나은 성능을 얻을 수 있습니다. 메모리는 컴퓨터에서 매우 중요한 구성 요소이며 컴퓨터의 성능과 사용자 경험에 직접적인 영향을 미칩니다. 일반적으로 대부분의 일상적인 사용 요구 사항을 충족할 수 있는 최소 8GB의 메모리를 권장합니다. 하지만 더 나은 성능과 원활한 사용 경험을 위해서는 16GB 이상의 메모리 구성을 선택하는 것이 좋습니다. 이는 다음을 보장합니다.

Python에서 Brown-Forsythe 테스트를 수행하는 방법 Python에서 Brown-Forsythe 테스트를 수행하는 방법 Aug 31, 2023 pm 11:53 PM

Brown-Forsythe 검정은 둘 이상의 그룹의 분산이 동일한지 여부를 확인하는 데 사용되는 통계 검정입니다. Levene의 검정은 평균과의 절대 편차를 사용하는 반면 Brown-Forsythe 검정은 중앙값과의 편차를 사용합니다. 검정에 사용된 귀무가설은 다음과 같습니다. - H0: 그룹(모집단)의 분산이 동일하지 않습니다. - H1: 그룹(모집단)의 분산이 동일하지 않습니다. 테스트를 수행하면 각 그룹의 중앙값과 자릿수의 절대 편차를 계산합니다. 그런 다음 이러한 편차의 분산을 기반으로 F-통계량을 계산합니다. 계산된 F 통계량이 F 분포표의 임계값보다 크다고 가정합니다. 이 경우 귀무 가설을 기각하고 그룹의 분산이 동일하지 않다는 결론을 내립니다. 파이썬에서는 sc

Python의 람다 함수는 무엇이며 왜 필요한가요? Python의 람다 함수는 무엇이며 왜 필요한가요? Aug 25, 2023 pm 02:41 PM

이 기사에서는 Python의 람다 함수와 이 함수가 필요한 이유에 대해 알아보고 람다 함수의 실제 예를 살펴보겠습니다. Python의 람다 함수는 무엇입니까? Lambda 함수는 종종 "익명 함수"라고도 하며 이름 없이 정의할 수 있다는 점을 제외하면 일반 Python 함수와 동일합니다. >def 키워드는 일반 함수를 정의하는 데 사용되는 반면, 람다 키워드는 익명 함수를 정의하는 데 사용됩니다. 그러나 한 줄 표현으로 제한됩니다. 일반 함수와 마찬가지로 여러 인수를 허용할 수 있습니다. 구문 Lambdaarguments:expression 이 함수는 입력 개수에 관계없이 허용되지만 표현식만 평가하고 반환합니다. 양고기

컴퓨터가 매우 느리게 종료되고 계속 회전하는 경우 어떻게 해야 합니까? 컴퓨터가 매우 느리게 종료되고 계속 회전하는 경우 어떻게 해야 합니까? Feb 21, 2024 pm 12:42 PM

컴퓨터는 우리의 일상생활과 업무에 없어서는 안 될 도구 중 하나이지만 때로는 컴퓨터가 매우 느리게 종료되고 원을 그리며 회전하는 등의 문제에 직면할 때도 있습니다. 이런 상황은 많은 사람들에게 매우 흔한 일이지만, 많은 사람들은 무엇을 해야 할지 모릅니다. 먼저, 컴퓨터가 느리게 종료되는 이유를 이해해야 합니다. 이 문제가 발생할 수 있는 이유는 여러 가지가 있습니다. 우선, 컴퓨터에 아직 닫히지 않은 실행 중인 프로그램이나 프로세스가 있을 수 있습니다. 따라서 컴퓨터가 종료되면 성공적으로 종료되기 전에 이러한 프로그램이나 프로세스가 닫힐 때까지 기다려야 합니다.

칭화옵틱스 AI가 자연에 등장! 물리적 신경망, 역전파는 더 이상 필요하지 않습니다. 칭화옵틱스 AI가 자연에 등장! 물리적 신경망, 역전파는 더 이상 필요하지 않습니다. Aug 10, 2024 pm 10:15 PM

빛을 사용하여 신경망을 훈련시킨 Tsinghua University의 결과가 최근 Nature에 게재되었습니다! 역전파 알고리즘을 적용할 수 없으면 어떻게 해야 합니까? 그들은 기존 디지털 컴퓨터 시뮬레이션의 한계를 극복하고 물리적 광학 시스템에서 직접 훈련 과정을 수행하는 FFM(Fully Forward Mode) 훈련 방법을 제안했습니다. 간단히 말해서, 예전에는 물리적 시스템을 세부적으로 모델링한 다음 이러한 모델을 컴퓨터에서 시뮬레이션하여 네트워크를 훈련시키는 것이 필요했습니다. FFM 방법은 모델링 프로세스를 제거하고 시스템이 학습 및 최적화를 위해 실험 데이터를 직접 사용할 수 있도록 합니다. 이는 또한 훈련이 더 이상 각 계층을 뒤에서 앞으로 확인할 필요가 없지만(역전파) 네트워크의 매개변수를 앞에서 뒤로 직접 업데이트할 수 있음을 의미합니다. 퍼즐, 역전파와 같은 비유를 사용하려면

See all articles