Heim Datenbank MySQL-Tutorial job中执行每行

job中执行每行

Jun 07, 2016 pm 04:02 PM
job uns 执行 ändern 需要

job中执行每行 有时,我们需要job或转换执行多次,且每次传入的参数都不同。假如你正在做数据迁移的工作,需要导入每天的旧数据,则需要一个job根据指定的日期导入数据,该日期被指定作为参数,如果我们需要导入从一个起始日期到昨天所有的旧数据,手工运行j

job中执行每行

有时,我们需要job或转换执行多次,且每次传入的参数都不同。假如你正在做数据迁移的工作,需要导入每天的旧数据,则需要一个job根据指定的日期导入数据,该日期被指定作为参数,如果我们需要导入从一个起始日期到昨天所有的旧数据,手工运行job是痛苦的也是错误的做法,kettle是可以首先计算正确的日期然后根据每个日期运行导入job。
在主job中,首先运行返回日期转换(每个日期作为一行),实际导入数据的job放在转换的后面执行,并且根据转换的结果执行每一行,job可以被设置从一个结果字段中获取参数。
\

生成日期
这个转换负责生成只有一个日期字段的数据行,“set start date ”步骤生成10000行数据流(根据实际情况估算行数,测试时可以设置小点),包括一个日期类型常量字段。“calc days”步骤插入一个序列到数据流中,为了在“calc date”步骤可以计算连续的日期;其后的步骤去除掉其他的辅助字段,然后增加昨天的日期到数据流中;接着是一个比较功能的步骤,判断每行的中日期是否早于今天,如果进入“discard”步骤,否则进入“copy rows to result”步骤。

\
主job
主job中执行生成日期转换之后,是子job,负责执行每个输入日期,该job必须要明确设置去执行每个输入行,即设置“execute for every input row”复选框选中。同时需要传入一个计算日期,通过“date”参数,所以“copy previous results to parameters?”也需要选中。最后参数必须从输入行中映射,参数名和输入字段都命名为“date”。

\

\

子job
子job接收每行的“date”日期参数并运行,示例中简单使用date参数记录日志然后完成。
\

下载
这里下载本示例,主job运行子job,针对从2010-01-01到昨天的所有行。需要指出的是,本示例的技术并不适合所有的场合,特别“循环直到条件为真”(不确定次数),这时可能用到这篇文章的方法去实现循环。

Erklärung dieser Website
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn

Heiße KI -Werkzeuge

Undresser.AI Undress

Undresser.AI Undress

KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover

AI Clothes Remover

Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool

Undress AI Tool

Ausziehbilder kostenlos

Clothoff.io

Clothoff.io

KI-Kleiderentferner

Video Face Swap

Video Face Swap

Tauschen Sie Gesichter in jedem Video mühelos mit unserem völlig kostenlosen KI-Gesichtstausch-Tool aus!

Heiße Werkzeuge

Notepad++7.3.1

Notepad++7.3.1

Einfach zu bedienender und kostenloser Code-Editor

SublimeText3 chinesische Version

SublimeText3 chinesische Version

Chinesische Version, sehr einfach zu bedienen

Senden Sie Studio 13.0.1

Senden Sie Studio 13.0.1

Leistungsstarke integrierte PHP-Entwicklungsumgebung

Dreamweaver CS6

Dreamweaver CS6

Visuelle Webentwicklungstools

SublimeText3 Mac-Version

SublimeText3 Mac-Version

Codebearbeitungssoftware auf Gottesniveau (SublimeText3)

Python-Skript, das alle 5 Minuten ausgeführt wird Python-Skript, das alle 5 Minuten ausgeführt wird Sep 10, 2023 pm 03:33 PM

Automatisierung und Aufgabenplanung spielen eine entscheidende Rolle bei der Rationalisierung wiederkehrender Aufgaben in der Softwareentwicklung. Stellen Sie sich vor, es gibt ein Python-Skript, das alle 5 Minuten ausgeführt werden muss, beispielsweise um Daten von einer API abzurufen, eine Datenverarbeitung durchzuführen oder regelmäßige Aktualisierungen zu senden. Das häufige manuelle Ausführen von Skripten kann zeitaufwändig und fehleranfällig sein. Hier kommt die Aufgabenplanung ins Spiel. In diesem Blogbeitrag erfahren Sie, wie Sie ein Python-Skript so planen, dass es alle 5 Minuten ausgeführt wird, um sicherzustellen, dass es automatisch und ohne manuelles Eingreifen ausgeführt wird. Wir besprechen verschiedene Methoden und Bibliotheken, mit denen Sie dieses Ziel erreichen und Aufgaben effizient automatisieren können. Eine einfache Möglichkeit, mit der Funktion time.sleep() alle 5 Minuten ein Python-Skript auszuführen, ist die Verwendung von tim

So verwenden Sie Python für die Skripterstellung und Ausführung unter Linux So verwenden Sie Python für die Skripterstellung und Ausführung unter Linux Oct 05, 2023 am 11:45 AM

So verwenden Sie Python zum Schreiben und Ausführen von Skripten unter Linux. Im Linux-Betriebssystem können wir Python zum Schreiben und Ausführen verschiedener Skripte verwenden. Python ist eine prägnante und leistungsstarke Programmiersprache, die eine Fülle von Bibliotheken und Tools bereitstellt, um die Skripterstellung einfacher und effizienter zu machen. Im Folgenden stellen wir die grundlegenden Schritte zur Verwendung von Python zum Schreiben und Ausführen von Skripten unter Linux vor und stellen einige spezifische Codebeispiele bereit, die Ihnen helfen, es besser zu verstehen und zu verwenden. Installieren Sie Python

So reproduzieren Sie die RCE-Schwachstelle des unbefugten Zugriffs auf die XXL-JOB-API-Schnittstelle So reproduzieren Sie die RCE-Schwachstelle des unbefugten Zugriffs auf die XXL-JOB-API-Schnittstelle May 12, 2023 am 09:37 AM

XXL-JOB-Beschreibung XXL-JOB ist eine leichtgewichtige verteilte Aufgabenplanungsplattform. Die wichtigsten Designziele sind schnelle Entwicklung, einfaches Erlernen, geringes Gewicht und einfache Erweiterung. Der Quellcode ist jetzt offen und mit den Online-Produktlinien vieler Unternehmen verbunden und sofort einsatzbereit. 1. Details zur Sicherheitslücke Das Kernproblem dieser Sicherheitslücke ist der GLUE-Modus. XXL-JOB unterstützt mehrsprachige und Skriptaufgaben durch den „GLUE-Modus“. Die Aufgabenfunktionen dieses Modus sind wie folgt: ●Mehrsprachige Unterstützung: unterstützt Java, Shell, Python, NodeJS, PHP, PowerShell... und andere Typen . ●WebIDE: Aufgaben werden im Versandzentrum im Quellcodemodus verwaltet und unterstützen die Online-Entwicklung und -Wartung über WebIDE. ●Dynamisch effektiv: Online-Kommunikation der Benutzer

Welche Konfiguration ist erforderlich, um CAD reibungslos auszuführen? Welche Konfiguration ist erforderlich, um CAD reibungslos auszuführen? Jan 01, 2024 pm 07:17 PM

Welche Konfigurationen sind erforderlich, um CAD reibungslos nutzen zu können? Um CAD-Software reibungslos nutzen zu können, müssen Sie die folgenden Konfigurationsvoraussetzungen erfüllen: Prozessoranforderungen: Um „Word Play Flowers“ reibungslos laufen zu lassen, müssen Sie mit mindestens einem Intel Corei5 oder ausgestattet sein AMD Ryzen5 oder höher Prozessor. Wenn Sie sich für einen leistungsstärkeren Prozessor entscheiden, können Sie natürlich schnellere Verarbeitungsgeschwindigkeiten und eine bessere Leistung erzielen. Der Speicher ist eine sehr wichtige Komponente im Computer. Er hat einen direkten Einfluss auf die Leistung und das Benutzererlebnis des Computers. Im Allgemeinen empfehlen wir mindestens 8 GB Arbeitsspeicher, der den Anforderungen der meisten täglichen Nutzung gerecht wird. Für eine bessere Leistung und ein reibungsloseres Nutzungserlebnis wird jedoch empfohlen, eine Speicherkonfiguration von 16 GB oder mehr zu wählen. Dadurch wird sichergestellt, dass die

So führen Sie den Brown-Forsythe-Test in Python durch So führen Sie den Brown-Forsythe-Test in Python durch Aug 31, 2023 pm 11:53 PM

Der Brown-Forsythe-Test ist ein statistischer Test, mit dem ermittelt wird, ob die Varianzen zweier oder mehrerer Gruppen gleich sind. Der Levene-Test verwendet die absolute Abweichung vom Mittelwert, während der Brown-Forsythe-Test die Abweichung vom Median verwendet. Die im Test verwendete Nullhypothese lautet wie folgt: - H0: Die Varianzen der Gruppen (Grundgesamtheit) sind gleich. Die Alternativhypothese lautet, dass die Varianzen nicht gleich sind. - H1: Die Varianzen der Gruppen (Grundgesamtheit) sind nicht gleich Führen Sie den Test durch und berechnen Sie den Median jeder Gruppe und seine Korrelation mit dem Median. Die absolute Abweichung der Anzahl der Ziffern. Anschließend berechnen wir die F-Statistik basierend auf der Varianz dieser Abweichungen. Nehmen Sie an, dass die berechnete F-Statistik größer als der kritische Wert in der F-Verteilungstabelle ist. In diesem Fall lehnen wir die Nullhypothese ab und kommen zu dem Schluss, dass die Varianzen der Gruppen nicht gleich sind. In Python, sc

Was ist die Lambda-Funktion in Python und warum brauchen wir sie? Was ist die Lambda-Funktion in Python und warum brauchen wir sie? Aug 25, 2023 pm 02:41 PM

In diesem Artikel erfahren wir mehr über die Lambda-Funktion in Python und warum wir sie brauchen, und sehen uns einige praktische Beispiele für Lambda-Funktionen an. Was ist eine Lambda-Funktion in Python? Eine Lambda-Funktion wird oft als „anonyme Funktion“ bezeichnet und ist mit einer normalen Python-Funktion identisch, außer dass sie ohne Namen definiert werden kann. Das Schlüsselwort >def wird zum Definieren gewöhnlicher Funktionen verwendet, während das Schlüsselwort lambda zum Definieren anonymer Funktionen verwendet wird. Sie sind jedoch auf einzeilige Ausdrücke beschränkt. Sie können wie reguläre Funktionen mehrere Argumente akzeptieren. Syntax lambdaarguments:expression Diese Funktion akzeptiert eine beliebige Anzahl von Eingaben, wertet jedoch nur einen Ausdruck aus und gibt ihn zurück. Lamm

Tsinghua Optics AI erscheint in der Natur! Physisches neuronales Netzwerk, Backpropagation ist nicht mehr erforderlich Tsinghua Optics AI erscheint in der Natur! Physisches neuronales Netzwerk, Backpropagation ist nicht mehr erforderlich Aug 10, 2024 pm 10:15 PM

Die Ergebnisse der Tsinghua-Universität mithilfe von Licht zum Trainieren neuronaler Netze wurden kürzlich in Nature veröffentlicht! Was soll ich tun, wenn ich den Backpropagation-Algorithmus nicht anwenden kann? Sie schlugen eine Trainingsmethode im Fully Forward Mode (FFM) vor, die den Trainingsprozess direkt im physischen optischen System durchführt und so die Einschränkungen herkömmlicher digitaler Computersimulationen überwindet. Vereinfacht ausgedrückt war es früher notwendig, das physikalische System im Detail zu modellieren und diese Modelle dann auf einem Computer zu simulieren, um das Netzwerk zu trainieren. Die FFM-Methode eliminiert den Modellierungsprozess und ermöglicht es dem System, experimentelle Daten direkt zum Lernen und zur Optimierung zu nutzen. Dies bedeutet auch, dass beim Training nicht mehr jede Schicht von hinten nach vorne überprüft werden muss (Backpropagation), sondern die Parameter des Netzwerks direkt von vorne nach hinten aktualisiert werden können. Um eine Analogie wie ein Puzzle zu verwenden: Backpropagation

Was soll ich tun, wenn mein Computer sehr langsam herunterfährt und sich ständig dreht? Was soll ich tun, wenn mein Computer sehr langsam herunterfährt und sich ständig dreht? Feb 21, 2024 pm 12:42 PM

Computer sind eines der unverzichtbaren Werkzeuge in unserem täglichen Leben und unserer Arbeit, aber manchmal stoßen wir auf einige Probleme, wie zum Beispiel, dass der Computer sehr langsam herunterfährt und sich im Kreis dreht. Diese Situation kommt bei vielen Menschen sehr häufig vor, aber viele Menschen wissen nicht, was sie tun sollen. Zuerst müssen wir den Grund verstehen, warum der Computer langsam herunterfährt. Es gibt mehrere mögliche Gründe, warum dieses Problem auftreten kann. Erstens gibt es möglicherweise einige laufende Programme oder Prozesse auf dem Computer, die nicht geschlossen wurden. Daher muss der Computer beim Herunterfahren warten, bis diese Programme oder Prozesse geschlossen werden, bevor er erfolgreich heruntergefahren werden kann.

See all articles