如何在Spark RDD中模擬SQL的`ROW_NUMBER()`函數？

Spark RDD 中等效的SQL 行號

在Spark 中，取得與SQL 的row_number() 等效的行號（按.. 分區） .order by ...) 對於RDD 可以使用Spark 1.4的增強功能來實現

解決方案：

1. 建立一個測試RDD：

val sample_data = Seq(((3, 4), 5, 5, 5),
((3, 4), 5, 5, 9),
((3, 4), 7, 5, 5),
((1, 2), 1, 2, 3),
((1, 2), 1, 4, 7),
((1, 2), 2, 2, 3))

val temp1 = sc.parallelize(sample_data)

import org.apache.spark.sql.expressions.Window

val partitionedRdd = temp1
  .map(x => (x._1, x._2._1, x._2._2, x._2._3))
  .groupBy(_._1)
  .mapGroups((_, entries) =>
    entries.toList
      .sortBy(x => (x._2, -x._3, x._4))
      .zipWithIndex
      .map(x => (x._1._1, x._1._2, x._1._3, x._1._4, x._2 + 1))
  )

按鍵分割與順序：

3. 利用Spark 1.4 中引入的rowNumber() 函數建立分割區視窗：

partitionedRdd.foreach(println)

// Example output:
// ((1,2),1,4,7,1)
// ((1,2),1,2,3,2)
// ((1,2),2,2,3,3)
// ((3,4),5,5,5,4)
// ((3,4),5,5,9,5)
// ((3,4),7,5,5,6)

輸出結果：

以上是如何在Spark RDD中模擬SQL的`ROW_NUMBER()`函數？的詳細內容。更多資訊請關注PHP中文網其他相關文章！