Spark DataFrame에서 각 그룹의 상위 N개 레코드를 얻는 방법은 무엇입니까?

DataFrame에서 각 그룹의 상위 N 가져오기

Spark DataFrame에서는 특정 열을 기준으로 데이터를 그룹화하고 상위 항목을 검색해야 하는 경우가 많습니다. 각 그룹의 N개 레코드입니다. 예를 들어, 사용자 항목 등급 데이터가 있는 DataFrame이 있고 각 사용자에 대해 최고 등급 항목을 찾으려고 합니다.

Scala 솔루션

The Scala 이 문제에 대한 해결책은 순위 창 함수를 사용하는 것입니다. 이를 수행하는 방법은 다음과 같습니다.

1. 상위 N 값 정의:

   val n: Int = ???

2. 사용자가 데이터를 분할하는 창 정의를 만듭니다. 열을 선택하고 레코드의 내림차순으로 순위를 매깁니다. 평가:

   val w = Window.partitionBy($"user").orderBy(desc("rating"))

3. 순위 함수를 사용하여 DataFrame에 순위 열을 추가합니다.

   df.withColumn("rank", rank().over(w))

4. 유지하도록 DataFrame을 필터링합니다. 각각의 상위 N개 레코드 group:

   df.where($"rank" <= n)

행 번호를 사용한 대안

연결을 끊을 필요가 없으면 대신 row_number 함수를 사용할 수 있습니다. 순위 함수의 이렇게 하면 각 그룹의 각 레코드에 대해 고유한 행 번호가 제공됩니다.

df.withColumn("row_number", row_number().over(w))

그런 다음 DataFrame을 필터링하여 이전과 동일한 기준을 사용하여 각 그룹의 상위 N개 레코드만 유지할 수 있습니다.

위 내용은 Spark DataFrame에서 각 그룹의 상위 N개 레코드를 얻는 방법은 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!