Cloud Composer에서 동일한 연산자를 여러 작업으로 실행

질문 내용

클라우드 작곡가를 사용하여 실행되는 airflow의 pythonoperator가 있습니다.

으아악

generate_data() 함수는 무작위로 생성된 고유한 이름의 csv 파일을 일부 데이터가 포함된 버킷에 기록합니다. 그대로 실행하면 문제가 없지만 동일한 작업을 여러 번 병렬로 실행하고 싶습니다. 10개의 병렬 실행을 지정하면 버킷에 10개의 파일이 기록될 것으로 예상됩니다. 동시성 및 task_concurrency를 시도했지만 동일한 결과를 얻었습니다.

클라우드 컴포저 위에 공기 흐름을 사용하여 이를 달성할 수 있나요?

정답

동적 작업 매핑 사용:

으아악

위 내용은 Cloud Composer에서 동일한 연산자를 여러 작업으로 실행의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!