Spark DataFrame에서 그룹당 상위 N개 항목을 가져오는 방법은 무엇입니까?

Spark DataFrame GroupBy를 사용하여 그룹당 상위 N개 항목 가져오기

Spark DataFrame 작업에서 특정 열을 기준으로 데이터를 그룹화하고 상위 N개를 검색해야 할 수도 있습니다. 각 그룹 내의 항목. 이 문서에서는 Python 예제에서 영감을 받아 Scala를 사용하여 이를 달성하는 방법을 보여줍니다.

제공된 DataFrame을 고려하세요.

user1 item1 rating1
user1 item2 rating2
user1 item3 rating3
user2 item1 rating4
...

Scala 솔루션

상위 N개 항목을 검색하려면 각 사용자 그룹에 대해 orderBy 및 where 작업과 함께 창 기능을 활용할 수 있습니다. 구현은 다음과 같습니다.

// Import required functions and classes
import org.apache.spark.sql.expressions.Window
import org.apache.spark.sql.functions.{rank, desc}

// Specify the number of desired top N items
val n: Int = ???

// Define the window definition for ranking
val w = Window.partitionBy($"user").orderBy(desc("rating"))

// Calculate the rank within each group using the rank function
val rankedDF = df.withColumn("rank", rank.over(w))

// Filter the DataFrame to select only the top N items
val topNDF = rankedDF.where($"rank" <= n)

대체 옵션

동률이 문제가 되지 않으면 순위를 row_number로 대체할 수 있습니다.

val topNDF = rankedDF.withColumn("row_num", row_number.over(w)).where($"row_num" <= n)

이 접근 방식을 사용하면 DataFrame에서 각 사용자 그룹의 상위 N개 항목을 효율적으로 검색할 수 있습니다.

위 내용은 Spark DataFrame에서 그룹당 상위 N개 항목을 가져오는 방법은 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!