Cloud Composer で同じオペレーターを複数のタスクとして実行する

質問の内容

エアフローでクラウドコンポーザーを使用して実行された pythonoperator があります:

リーリー

generate_data() 関数は、ランダムに生成され、一意の名前が付けられた CSV ファイルを、データを含むバケットに書き込みます。そのまま実行しても問題ありませんが、同じタスクを複数回並列実行したいと考えています。 10 個の並列実行を指定すると、10 個のファイルがバケットに書き込まれることが予想されます。 concurrency と task_concurrency を試しましたが、同じ結果が得られました。

クラウドコンポーザー上でエアフローを使用してこれを実装できますか?

正解

動的タスク マッピングを使用します:

リーリー

以上がCloud Composer で同じオペレーターを複数のタスクとして実行するの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。