Comment les fonctions de fenêtre Spark SQL peuvent-elles déterminer les dates d'activation des utilisateurs avec expiration basée sur la session ?

Fonctions de la fenêtre Spark SQL et conditions complexes

Supposons que vous disposiez d'un DataFrame contenant les informations de connexion de l'utilisateur et que vous souhaitiez ajouter une colonne pour indiquer leur date d'activation sur le site Web. Il y a cependant une mise en garde : la période d'activité d'un utilisateur expire après un certain temps et une nouvelle connexion réinitialisera sa date d'activation.

Ce problème peut être résolu à l'aide des fonctions de fenêtre dans Spark SQL. Voici une façon :

Étape 1 : Définir la fenêtre

<code>import org.apache.spark.sql.expressions.Window
import org.apache.spark.sql.functions._

val userWindow = Window.partitionBy("user_name").orderBy("login_date")
val userSessionWindow = Window.partitionBy("user_name", "session")</code>

Étape 2 : Détecter le début d'une nouvelle session

<code>val newSession = (coalesce(
  datediff($"login_date", lag($"login_date", 1).over(userWindow)),
  lit(0)
) > 5).cast("bigint")

val sessionized = df.withColumn("session", sum(newSession).over(userWindow))</code>

Étape 3 : Trouver la date la plus proche pour chaque séance

<code>val result = sessionized
  .withColumn("became_active", min($"login_date").over(userSessionWindow))
  .drop("session")</code>

Cette méthode utilise une fenêtre coulissante pour partitionner les données par utilisateur et les trier par date de connexion. Définissez ensuite la fenêtre de session en regroupant les lignes avec le même ID de session. Le résultat souhaité peut être obtenu en détectant le démarrage d'une nouvelle session (newSession) et en calculant la première date de connexion dans chaque session (became_active).

Dernières améliorations de Spark

Pour Spark 3.2 et supérieur, les fenêtres de session sont nativement prises en charge, ce qui rend la solution ci-dessus encore plus simple. Consultez la documentation officielle pour plus de détails.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!