job中执行每行
job中执行每行 有时,我们需要job或转换执行多次,且每次传入的参数都不同。假如你正在做数据迁移的工作,需要导入每天的旧数据,则需要一个job根据指定的日期导入数据,该日期被指定作为参数,如果我们需要导入从一个起始日期到昨天所有的旧数据,手工运行j
job中执行每行
有时,我们需要job或转换执行多次,且每次传入的参数都不同。假如你正在做数据迁移的工作,需要导入每天的旧数据,则需要一个job根据指定的日期导入数据,该日期被指定作为参数,如果我们需要导入从一个起始日期到昨天所有的旧数据,手工运行job是痛苦的也是错误的做法,kettle是可以首先计算正确的日期然后根据每个日期运行导入job。
在主job中,首先运行返回日期转换(每个日期作为一行),实际导入数据的job放在转换的后面执行,并且根据转换的结果执行每一行,job可以被设置从一个结果字段中获取参数。
生成日期
这个转换负责生成只有一个日期字段的数据行,“set start date ”步骤生成10000行数据流(根据实际情况估算行数,测试时可以设置小点),包括一个日期类型常量字段。“calc days”步骤插入一个序列到数据流中,为了在“calc date”步骤可以计算连续的日期;其后的步骤去除掉其他的辅助字段,然后增加昨天的日期到数据流中;接着是一个比较功能的步骤,判断每行的中日期是否早于今天,如果进入“discard”步骤,否则进入“copy rows to result”步骤。
主job
主job中执行生成日期转换之后,是子job,负责执行每个输入日期,该job必须要明确设置去执行每个输入行,即设置“execute for every input row”复选框选中。同时需要传入一个计算日期,通过“date”参数,所以“copy previous results to parameters?”也需要选中。最后参数必须从输入行中映射,参数名和输入字段都命名为“date”。
子job
子job接收每行的“date”日期参数并运行,示例中简单使用date参数记录日志然后完成。
下载
这里下载本示例,主job运行子job,针对从2010-01-01到昨天的所有行。需要指出的是,本示例的技术并不适合所有的场合,特别“循环直到条件为真”(不确定次数),这时可能用到这篇文章的方法去实现循环。

Alat AI Hot

Undresser.AI Undress
Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover
Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool
Gambar buka pakaian secara percuma

Clothoff.io
Penyingkiran pakaian AI

Video Face Swap
Tukar muka dalam mana-mana video dengan mudah menggunakan alat tukar muka AI percuma kami!

Artikel Panas

Alat panas

Notepad++7.3.1
Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina
Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1
Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6
Alat pembangunan web visual

SublimeText3 versi Mac
Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Topik panas











Automasi dan penjadualan tugas memainkan peranan penting dalam menyelaraskan tugasan berulang dalam pembangunan perisian. Bayangkan terdapat skrip Python yang perlu dilaksanakan setiap 5 minit, seperti mendapatkan data daripada API, melakukan pemprosesan data atau menghantar kemas kini berkala. Menjalankan skrip secara manual dengan kerap boleh memakan masa dan terdedah kepada ralat. Di sinilah penjadualan tugas masuk. Dalam catatan blog ini, kami akan meneroka cara menjadualkan skrip Python untuk dilaksanakan setiap 5 minit, memastikan ia berjalan secara automatik tanpa campur tangan manual. Kami akan membincangkan kaedah dan perpustakaan berbeza yang boleh digunakan untuk mencapai matlamat ini, membolehkan anda mengautomasikan tugas dengan cekap. Cara mudah untuk menjalankan skrip Python setiap 5 minit menggunakan fungsi time.sleep() ialah menggunakan tim

Cara menggunakan Python untuk menulis dan melaksanakan skrip dalam Linux Dalam sistem pengendalian Linux, kita boleh menggunakan Python untuk menulis dan melaksanakan pelbagai skrip. Python ialah bahasa pengaturcaraan ringkas dan berkuasa yang menyediakan banyak perpustakaan dan alatan untuk menjadikan skrip lebih mudah dan lebih cekap. Di bawah ini kami akan memperkenalkan langkah asas cara menggunakan Python untuk penulisan dan pelaksanaan skrip dalam Linux, dan menyediakan beberapa contoh kod khusus untuk membantu anda memahami dan menggunakannya dengan lebih baik. Pasang Python

Penerangan XXL-JOB XXL-JOB ialah platform penjadualan tugas teragih ringan Matlamat reka bentuk terasnya ialah pembangunan pesat, pembelajaran mudah, ringan dan pengembangan yang mudah. Kod sumber kini dibuka dan disambungkan ke barisan produk dalam talian banyak syarikat, sedia untuk digunakan di luar kotak. 1. Butiran kerentanan Isu teras kerentanan ini ialah mod GLUE. XXL-JOB menyokong tugas berbilang bahasa dan skrip melalui "mod GLUE". Ciri tugas mod ini adalah seperti berikut: ●Sokongan berbilang bahasa: menyokong Java, Shell, Python, NodeJS, PHP, PowerShell... dan jenis lain . ●WebIDE: Tugasan dikekalkan di pusat penghantaran dalam mod kod sumber dan menyokong pembangunan dan penyelenggaraan dalam talian melalui WebIDE. ●Dinamik berkesan: komunikasi dalam talian pengguna

Ujian Brown-Forsythe ialah ujian statistik yang digunakan untuk menentukan sama ada varians dua atau lebih kumpulan adalah sama. Ujian Levene menggunakan sisihan mutlak daripada min, manakala ujian Brown-Forsythe menggunakan sisihan daripada median. Hipotesis nol yang digunakan dalam ujian adalah seperti berikut - H0: Varians kumpulan (populasi) adalah sama Hipotesis alternatif ialah varians tidak sama - H1: Varians kumpulan (populasi) tidak sama melaksanakan ujian, kami mengira median setiap kumpulan dan korelasinya dengan median. Sisihan mutlak bilangan digit. Kami kemudian mengira statistik F berdasarkan varians sisihan ini. Andaikan bahawa statistik F yang dikira adalah lebih besar daripada nilai kritikal dalam jadual taburan F. Dalam kes ini, kami menolak hipotesis nol dan membuat kesimpulan bahawa varians kumpulan adalah tidak sama. Dalam Python, sc

Apakah konfigurasi yang diperlukan untuk menggunakan CAD dengan lancar? Untuk menggunakan perisian CAD dengan lancar, anda perlu memenuhi keperluan konfigurasi berikut: Keperluan pemproses: Untuk menjalankan "Word Play Flowers" dengan lancar, anda perlu dilengkapi dengan sekurang-kurangnya satu Intel Corei5 atau Pemproses AMD Ryzen5 atau ke atas. Sudah tentu, jika anda memilih pemproses berprestasi tinggi, anda akan mendapat kelajuan pemprosesan yang lebih pantas dan prestasi yang lebih baik. Memori adalah komponen yang sangat penting dalam komputer Ia mempunyai kesan langsung kepada prestasi dan pengalaman pengguna komputer. Secara umumnya, kami mengesyorkan sekurang-kurangnya 8GB memori, yang boleh memenuhi keperluan kebanyakan penggunaan harian. Walau bagaimanapun, untuk prestasi yang lebih baik dan pengalaman penggunaan yang lebih lancar, adalah disyorkan untuk memilih konfigurasi memori 16GB atau lebih tinggi. Ini memastikan bahawa

Menggunakan cahaya untuk melatih rangkaian saraf, keputusan Universiti Tsinghua diterbitkan baru-baru ini dalam Nature! Apakah yang perlu saya lakukan jika saya tidak boleh menggunakan algoritma perambatan balik? Mereka mencadangkan kaedah latihan Mod Hadapan Penuh (FFM) yang secara langsung melaksanakan proses latihan dalam sistem optik fizikal, mengatasi batasan simulasi komputer digital tradisional. Ringkasnya, dahulunya adalah perlu untuk memodelkan sistem fizikal secara terperinci dan kemudian mensimulasikan model ini pada komputer untuk melatih rangkaian. Kaedah FFM menghapuskan proses pemodelan dan membenarkan sistem menggunakan data percubaan secara langsung untuk pembelajaran dan pengoptimuman. Ini juga bermakna latihan tidak lagi perlu menyemak setiap lapisan dari belakang ke hadapan (backpropagation), tetapi boleh terus mengemas kini parameter rangkaian dari hadapan ke belakang. Untuk menggunakan analogi, seperti teka-teki, penyebaran belakang

Dalam artikel ini, kita akan mempelajari tentang fungsi lambda dalam Python dan sebab kita memerlukannya, dan melihat beberapa contoh praktikal fungsi lambda. Apakah fungsi lambda dalam Python? Fungsi Lambda sering dipanggil "fungsi tanpa nama" dan sama seperti fungsi Python biasa, kecuali ia boleh ditakrifkan tanpa nama. Kata kunci >def digunakan untuk mentakrifkan fungsi biasa, manakala kata kunci lambda digunakan untuk mentakrifkan fungsi tanpa nama. Walau bagaimanapun, ia terhad kepada ungkapan satu baris. Mereka, seperti fungsi biasa, boleh menerima berbilang hujah. Syntax lambdaarguments:expression Fungsi ini menerima sebarang bilangan input, tetapi hanya menilai dan mengembalikan ungkapan. kambing

ANCOVA (analisis kovarian) ialah kaedah statistik yang berguna kerana ia membenarkan kemasukan kovariat dalam analisis, yang boleh membantu melaraskan pembolehubah tambahan dan meningkatkan ketepatan perbandingan antara kumpulan. Faktor tambahan atau kovariat ini boleh dimasukkan ke dalam kajian dengan menggunakan ANCOVA. Untuk memastikan bahawa perbezaan yang diperhatikan antara kumpulan disebabkan oleh rawatan atau campur tangan dalam kajian dan bukan oleh faktor luar, ANCOVA boleh digunakan untuk melaraskan kesan kovariat pada min kumpulan. Ini membolehkan perbandingan yang lebih tepat antara kumpulan dan memberikan kesimpulan yang lebih dipercayai tentang hubungan antara pembolehubah. Dalam artikel ini, kita akan melihat lebih dekat pada ANCOVA dan melaksanakannya dalam Python. Apakah ANCOVA? Kaedah Analisis kovarians (ANCOVA) membandingkan dua atau lebih kumpulan
