如何使用 Spark SQL 視窗函數有效率地將 Became_Active 日期指派給使用者登入資料？

使用視窗函數最佳化 Spark SQL 中的 Became_Active 日期分配

此範例示範了考慮特定時間窗口，為使用者登入資料分配 became_active 日期。 雖然簡單的視窗函數方法似乎就足夠了，但下面提供了更強大的解決方案，特別是對於較舊的 Spark 版本。

Spark 3.2 及更高版本

Spark 3.2 及更高版本提供會話視窗（SPARK-10816、SPARK-34893），顯著簡化了此任務。 這些內建函數直接處理會話識別和日期分配。 有關使用會話視窗的詳細信息，請參閱 Spark 文件。

3.2 之前的 Spark 版本

對於 3.2 之前的 Spark 版本，需要採取多步驟方法：

1. 導入必要的函數：

import org.apache.spark.sql.expressions.Window
import org.apache.spark.sql.functions.{coalesce, datediff, lag, lit, min, sum}

2. 定義視窗：

val userWindow = Window.partitionBy("user_name").orderBy("login_date")
val userSessionWindow = Window.partitionBy("user_name", "session")

3. 會話標識：

此步驟根據登入日期的 5 天間隔來決定新使用者工作階段的開始。

val newSession = (coalesce(
  datediff($"login_date", lag($"login_date", 1).over(userWindow)),
  lit(0)
) > 5).cast("bigint")

val sessionized = df.withColumn("session", sum(newSession).over(userWindow))

4. 每個會話最早登入日期：

最後，每個會話中最早的登入日期被指定為became_active日期。

val result = sessionized
  .withColumn("became_active", min($"login_date").over(userSessionWindow))
  .drop("session")

此方法有效地填入每個使用者的 became_active 列，遵守定義的時間範圍，為 3.2 之前的 Spark 版本提供比遞歸方法更乾淨的解決方案。 用作中介的 session 列隨後被刪除。

以上是如何使用 Spark SQL 視窗函數有效率地將 Became_Active 日期指派給使用者登入資料？的詳細內容。更多資訊請關注PHP中文網其他相關文章！