Apache Beam은 Go의 PCollection에서 상위 N개 행을 선택합니다.

Apache Beam은 다양한 배치 및 스트림 처리 엔진에서 실행될 수 있는 통합 프로그래밍 모델을 제공하는 오픈 소스 분산 데이터 처리 프레임워크입니다. 최근에는 Apache Beam의 Go SDK에 PCollection에서 첫 번째 N 행을 선택하는 매우 유용한 기능이 추가되었습니다. 이 기능은 대규모 데이터 세트를 샘플링하거나 빠르게 미리 봐야 하는 시나리오에 매우 유용합니다. 이 문서에서는 Apache Beam의 Go SDK에서 이 기능을 사용하는 방법을 다루고 몇 가지 실용적인 예제 코드를 보여 드리겠습니다. 시작하자!

질문 내용

n개의 가장 큰 행을 선택해야 하는 pcollection이 있습니다. go를 사용하여 데이터 흐름 파이프라인을 만들려고 하는데 멈췄습니다.

으아악

위 코드에서 user.age를 기준으로 처음 5개 행을 선택해야 합니다. 동일한 기능을 가지고 있지만 단일 요소 pcollection을 반환한다고 나와 있는 링크를 패키지 상단에서 찾았습니다. 차이점은 무엇입니까?

으아악

위처럼 처음 5개 행을 선택하는 기능을 추가했는데 오류가 나네요[]main.user is not allocate to main.user

추가 처리가 필요하기 때문에 이전과 동일한 형식의 pcollection이 필요합니다. 나는 이것이 top.largest 함수가 단일 요소 pcollection을 반환하기 때문이라고 생각합니다. 형식을 변환하는 방법에 대한 아이디어가 있습니까?

솔루션

가장 좋은 pcollection은 []user

입니다

한번 해보세요...

으아악

위 내용은 Apache Beam은 Go의 PCollection에서 상위 N개 행을 선택합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!