job中执行每行
job中执行每行 有时,我们需要job或转换执行多次,且每次传入的参数都不同。假如你正在做数据迁移的工作,需要导入每天的旧数据,则需要一个job根据指定的日期导入数据,该日期被指定作为参数,如果我们需要导入从一个起始日期到昨天所有的旧数据,手工运行j
job中执行每行
有时,我们需要job或转换执行多次,且每次传入的参数都不同。假如你正在做数据迁移的工作,需要导入每天的旧数据,则需要一个job根据指定的日期导入数据,该日期被指定作为参数,如果我们需要导入从一个起始日期到昨天所有的旧数据,手工运行job是痛苦的也是错误的做法,kettle是可以首先计算正确的日期然后根据每个日期运行导入job。
在主job中,首先运行返回日期转换(每个日期作为一行),实际导入数据的job放在转换的后面执行,并且根据转换的结果执行每一行,job可以被设置从一个结果字段中获取参数。
生成日期
这个转换负责生成只有一个日期字段的数据行,“set start date ”步骤生成10000行数据流(根据实际情况估算行数,测试时可以设置小点),包括一个日期类型常量字段。“calc days”步骤插入一个序列到数据流中,为了在“calc date”步骤可以计算连续的日期;其后的步骤去除掉其他的辅助字段,然后增加昨天的日期到数据流中;接着是一个比较功能的步骤,判断每行的中日期是否早于今天,如果进入“discard”步骤,否则进入“copy rows to result”步骤。
主job
主job中执行生成日期转换之后,是子job,负责执行每个输入日期,该job必须要明确设置去执行每个输入行,即设置“execute for every input row”复选框选中。同时需要传入一个计算日期,通过“date”参数,所以“copy previous results to parameters?”也需要选中。最后参数必须从输入行中映射,参数名和输入字段都命名为“date”。
子job
子job接收每行的“date”日期参数并运行,示例中简单使用date参数记录日志然后完成。
下载
这里下载本示例,主job运行子job,针对从2010-01-01到昨天的所有行。需要指出的是,本示例的技术并不适合所有的场合,特别“循环直到条件为真”(不确定次数),这时可能用到这篇文章的方法去实现循环。

Outils d'IA chauds

Undresser.AI Undress
Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover
Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool
Images de déshabillage gratuites

Clothoff.io
Dissolvant de vêtements AI

Video Face Swap
Échangez les visages dans n'importe quelle vidéo sans effort grâce à notre outil d'échange de visage AI entièrement gratuit !

Article chaud

Outils chauds

Bloc-notes++7.3.1
Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise
Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1
Puissant environnement de développement intégré PHP

Dreamweaver CS6
Outils de développement Web visuel

SublimeText3 version Mac
Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Sujets chauds





L'automatisation et la planification des tâches jouent un rôle essentiel dans la rationalisation des tâches répétitives dans le développement de logiciels. Imaginez qu'il y ait un script Python qui doit être exécuté toutes les 5 minutes, par exemple pour obtenir des données d'une API, effectuer un traitement de données ou envoyer des mises à jour périodiques. L’exécution manuelle de scripts aussi fréquemment peut prendre du temps et être sujette aux erreurs. C'est là qu'intervient la planification des tâches. Dans cet article de blog, nous explorerons comment planifier l'exécution d'un script Python toutes les 5 minutes, garantissant qu'il s'exécute automatiquement sans intervention manuelle. Nous discuterons de différentes méthodes et bibliothèques qui peuvent être utilisées pour atteindre cet objectif, vous permettant d'automatiser efficacement les tâches. Un moyen simple d'exécuter un script Python toutes les 5 minutes à l'aide de la fonction time.sleep() consiste à utiliser tim

Comment utiliser Python pour écrire et exécuter des scripts sous Linux Dans le système d'exploitation Linux, nous pouvons utiliser Python pour écrire et exécuter divers scripts. Python est un langage de programmation concis et puissant qui fournit une multitude de bibliothèques et d'outils pour rendre la création de scripts plus facile et plus efficace. Ci-dessous, nous présenterons les étapes de base de l'utilisation de Python pour l'écriture et l'exécution de scripts sous Linux, et fournirons quelques exemples de code spécifiques pour vous aider à mieux le comprendre et l'utiliser. Installer Python

Description de XXL-JOB XXL-JOB est une plate-forme légère de planification de tâches distribuées. Ses principaux objectifs de conception sont un développement rapide, un apprentissage facile, une légèreté et une expansion facile. Le code source est désormais ouvert et connecté aux gammes de produits en ligne de nombreuses entreprises, prêt à être utilisé immédiatement. 1. Détails de la vulnérabilité Le principal problème de cette vulnérabilité est le mode GLUE. XXL-JOB prend en charge les tâches multi-langues et script via le « mode GLUE ». Les fonctionnalités des tâches de ce mode sont les suivantes : ●Support multi-langues : prend en charge Java, Shell, Python, NodeJS, PHP, PowerShell... et d'autres types. . ●WebIDE : les tâches sont gérées dans le centre de répartition en mode code source et prennent en charge le développement et la maintenance en ligne via WebIDE. ●Dynamique efficace : communication en ligne avec l'utilisateur

Quelles configurations sont nécessaires pour utiliser la CAO de manière fluide ? Pour utiliser le logiciel de CAO de manière fluide, vous devez répondre aux exigences de configuration suivantes : Configuration requise du processeur : Pour exécuter "Word Play Flowers" de manière fluide, vous devez être équipé d'au moins un processeur Intel Corei5 ou Processeur AMD Ryzen5 ou supérieur. Bien entendu, si vous choisissez un processeur plus performant, vous pourrez obtenir des vitesses de traitement plus rapides et de meilleures performances. La mémoire est un composant très important de l’ordinateur. Elle a un impact direct sur les performances et l’expérience utilisateur de l’ordinateur. De manière générale, nous recommandons au moins 8 Go de mémoire, ce qui peut répondre aux besoins de la plupart des utilisations quotidiennes. Cependant, pour de meilleures performances et une expérience d'utilisation plus fluide, il est recommandé de choisir une configuration de mémoire de 16 Go ou plus. Cela garantit que le

Le test de Brown-Forsythe est un test statistique utilisé pour déterminer si les variances de deux groupes ou plus sont égales. Le test de Levene utilise l'écart absolu par rapport à la moyenne, tandis que le test de Brown-Forsythe utilise l'écart par rapport à la médiane. L'hypothèse nulle utilisée dans le test est la suivante - H0 : Les variances des groupes (population) sont égales. L'hypothèse alternative est que les variances ne sont pas égales. - H1 : Les variances des groupes (population) ne sont pas égales. effectuer le test, nous calculons la médiane de chaque groupe et sa corrélation avec la médiane L'écart absolu du nombre de chiffres. Nous calculons ensuite la statistique F en fonction de la variance de ces écarts. Supposons que la statistique F calculée soit supérieure à la valeur critique dans le tableau de distribution F. Dans ce cas, nous rejetons l’hypothèse nulle et concluons que les variances des groupes ne sont pas égales. En Python, sc

Dans cet article, nous découvrirons la fonction lambda en Python et pourquoi nous en avons besoin, et verrons quelques exemples pratiques de fonctions lambda. Qu’est-ce que la fonction lambda en Python ? Une fonction Lambda est souvent appelée « fonction anonyme » et est identique à une fonction Python normale, sauf qu'elle peut être définie sans nom. Le mot-clé >def est utilisé pour définir des fonctions ordinaires, tandis que le mot-clé lambda est utilisé pour définir des fonctions anonymes. Cependant, ils sont limités aux expressions sur une seule ligne. Comme les fonctions normales, elles peuvent accepter plusieurs arguments. Syntaxe lambdaarguments:expression Cette fonction accepte n'importe quel nombre d'entrées, mais évalue et renvoie uniquement une expression. Agneau

En utilisant la lumière pour entraîner les réseaux neuronaux, les résultats de l’Université Tsinghua ont été récemment publiés dans Nature ! Que dois-je faire si je ne parviens pas à appliquer l’algorithme de rétropropagation ? Ils ont proposé une méthode de formation en mode entièrement avancé (FFM) qui exécute directement le processus de formation dans le système optique physique, surmontant ainsi les limites des simulations informatiques numériques traditionnelles. Pour faire simple, il fallait autrefois modéliser le système physique en détail puis simuler ces modèles sur un ordinateur pour entraîner le réseau. La méthode FFM élimine le processus de modélisation et permet au système d'utiliser directement les données expérimentales pour l'apprentissage et l'optimisation. Cela signifie également que la formation n'a plus besoin de vérifier chaque couche d'avant en arrière (rétropropagation), mais peut directement mettre à jour les paramètres du réseau d'avant en arrière. Pour utiliser une analogie, comme un puzzle, la rétropropagation

Les ordinateurs sont l'un des outils indispensables dans notre vie quotidienne et dans notre travail, mais nous rencontrons parfois des problèmes, comme l'ordinateur qui s'éteint très lentement et tourne en rond. Cette situation est très courante chez de nombreuses personnes, mais pour beaucoup, elles ne savent pas quoi faire. Tout d’abord, nous devons comprendre la raison pour laquelle l’ordinateur s’éteint lentement. Il existe plusieurs raisons possibles pour lesquelles ce problème peut survenir. Tout d'abord, certains programmes ou processus en cours d'exécution sur l'ordinateur n'ont pas été fermés. Par conséquent, lorsque l'ordinateur s'arrête, il doit attendre la fermeture de ces programmes ou processus avant de pouvoir s'arrêter correctement.
