Maison > Périphériques technologiques > IA > Problèmes complexes de conception expérimentale sur le marché biface de Kuaishou

Problèmes complexes de conception expérimentale sur le marché biface de Kuaishou

PHPz
Libérer: 2023-04-15 19:40:01
avant
1368 Les gens l'ont consulté

Problèmes complexes de conception expérimentale sur le marché biface de Kuaishou

1. Contexte du problème

1. Introduction à l'expérience de marché bilatéral

Un marché biface, c'est-à-dire une plate-forme, comprend deux participants, producteurs et consommateurs, et les deux parties promeuvent chacun autre. Par exemple, Kuaishou a un producteur vidéo et un consommateur vidéo, et les deux identités peuvent se chevaucher dans une certaine mesure.

L'expérimentation bilatérale est une méthode expérimentale qui associe des groupes du côté des producteurs et des consommateurs.

Les expériences bilatérales présentent les avantages suivants :

(1) L'impact de la nouvelle stratégie sur deux aspects peut être détecté simultanément, comme les changements dans le DAU du produit et le nombre de personnes téléchargeant des œuvres. Les plateformes bilatérales ont souvent des effets de réseau transversaux. Plus il y a de lecteurs, plus les auteurs seront actifs, et plus les auteurs seront actifs, plus les lecteurs suivront.

(2) peut détecter le débordement et le transfert d'effet.

(3) Aidez-nous à mieux comprendre le mécanisme d'action. L'expérience AB elle-même ne peut pas nous dire la relation entre la cause et le résultat. Elle peut seulement nous dire quel type d'impact et de changements de données seront obtenus. ce que nous faisons. Cependant, le mécanisme d’action entre le côté production et le côté consommateur nécessite des conceptions expérimentales plus complexes et davantage d’indicateurs expérimentaux pour comprendre clairement ces problèmes.

2. Exemple d'expérience bilatérale

Problèmes complexes de conception expérimentale sur le marché biface de Kuaishou

Ici utilise un exemple de beauté en direct pour aider tout le monde à mieux comprendre les expériences bilatérales.

Supposons que l'effet beauté soit ajouté à la scène de diffusion en direct. En regardant de côté depuis la table, les groupes de publics expérimentaux répartis dans les deux rangées contrôlent si le public peut voir la différence avant et après le soin de beauté en direct. Les colonnes du tableau représentent l'impact réel du fait que l'ancre soit belle ou non. En combinant les deux aspects ci-dessus, la fonction d'embellissement sera activée pour la vidéo si et seulement lorsque le présentateur du groupe expérimental se comparera au public du groupe expérimental. En fait, les trois autres groupes ne voient pas la fonction beauté. Mais il y a une différence entre BC ne voyant pas la beauté et D ne voyant pas la beauté. La distinction AD est un scénario courant dans les expériences AB conventionnelles. Cette scène utilise une conception bilatérale pour observer s'il y a un débordement du côté du public.

Il n'y a pas de fonction beauté pour le présentateur. S'il n'y a pas de débordement d'audience, les données BD doivent être cohérentes. Cependant, en fait, s'il y a des différences dans les données BD, si le présentateur n'en a pas. Fonction beauté, le public regardera d'autres ancres. En ce qui concerne la fonction beauté, l'effet réel aura un impact positif ou négatif. De la même manière, le débordement côté ancre peut également se faire via ce type d'expérience bilatérale pour mieux comprendre le mécanisme de l'expérience et s'il y a débordement des deux côtés de l'expérience.

2. Défis des stratégies d'incitation

Problèmes complexes de conception expérimentale sur le marché biface de Kuaishou

Au sein de l'écosystème offre-consommateur, la durée de l'activité nécessite un soutien politique au trafic. Il s'agit de la stratégie d'incitation, qui comprend principalement les trois types suivants. Scénario :

(1) L'opération introduit des auteurs de haute qualité, mais la performance des données des auteurs sur la plateforme n'est pas sûre

(2) Certaines entreprises doivent exploiter des types spécifiques de auteurs et fournissent un support de macro-contrôle du trafic et une répartition plus forte du trafic

(3) Dans le scénario de volonté de la plateforme, elle se développe dans une direction spécifique et estime que le changement de la méthode de répartition du trafic renforcera l'offre de certains correspondants ; contenu.

Dans les scénarios ci-dessus, il ne s'agit souvent pas d'une méthode d'apprentissage en ligne, mais d'un macro-contrôle du trafic de la plateforme d'un point de vue humain. Pour ceux qui se concentrent sur le relativement long terme, il faut observer l’effet d’apprentissage (favoriser la production, etc.), et des méthodes telles que la rotation des tranches de temps ne sont pas essayées. Par exemple, le scénario suivant : fournir un support de trafic aux auteurs avec un type de trafic directionnel pour étudier si l'interaction et la production d'un tel trafic peuvent durer longtemps dans un scénario à long terme.

Problèmes complexes de conception expérimentale sur le marché biface de Kuaishou

Le premier est la pression du côté de l'auteur : dans la plupart de ces expériences, le nombre total d'expositions sur la plateforme est limité. Dans les scénarios où la plateforme prend en charge la plateforme, l'exposition de la plateforme est limitée. Les auteurs du groupe expérimental augmentent et l'exposition du groupe témoin qui n'est pas pris en charge augmente. Si l’exposition au démarrage à froid de l’auteur augmente plus que celle du lecteur au démarrage à froid, cela prouve qu’il y a foule.

Selon la figure ci-dessus, basée sur la relation entre le groupe expérimental et le groupe témoin et la différence relative de base de l'exposition de chaque groupe, on peut voir qu'au début de l'expérience, le boost de l'auteur finira par être transmis non seulement au groupe d'utilisateurs B mais également au groupe d'utilisateurs B via le système de recommandation. Les différences d'exposition du groupe d'utilisateurs A, de l'auteur B, de l'utilisateur B et de l'auteur B et de l'utilisateur A sont fondamentalement cohérentes. Des expériences traditionnelles ont été consacrées à corriger la situation du trafic faussée par cette stratégie.

Problèmes complexes de conception expérimentale sur le marché biface de Kuaishou

SUTVA suppose que l'individu i est uniquement lié au fait qu'il soit affecté au groupe expérimental ou au groupe témoin pendant l'expérience, et n'a rien à voir avec le groupe dans lequel se trouvent les autres nœuds sous le système expérimental, que d'autres nœuds soient ou non des relations de coopération. Il s'agit toujours d'une relation de compétition. SUTVA est l'hypothèse la plus fondamentale pour obtenir des conclusions efficaces dans les expériences AB.

Le réseau bilatéral actuel viole l'hypothèse de la SUTVA.

Problèmes complexes de conception expérimentale sur le marché biface de Kuaishou

Dans le scénario vidéo courte, si chaque stratégie d'enregistrement est considérée comme un algorithme de tri. Différentes stratégies d'incitation représentent différents résultats de classement des courtes vidéos. RC dans la figure ci-dessus représente le groupe témoin, RT_25 % est la combinaison de tri d'algorithmes lorsque le trafic du groupe expérimental est de 25 %, et RT représente la poussée expérimentale du groupe expérimental d'une combinaison de tri d'algorithmes à 100 %. BCDE est le type d'utilisateur cible expérimental, c'est-à-dire l'auteur d'incitation sélectionné. Et D signifie que lorsque l'inférence expérimentale est de 25 %, elle tombe exactement dans le groupe expérimental. Supposons que grâce à la méthode de pondération des recommandations, D soit classé directement en première position. Si la stratégie passe à 100%, la BCDE sera pondérée. Dans ce cas, le classement des œuvres D diminuera. Ce scénario est l’encombrement du groupe expérimental et la raison de cet encombrement. 3. Solutions optionnelles de diminue à mesure que le débit du groupe témoin diminue.

[Avantage du premier arrivant] Au cours de l'expérience, il a été constaté que dans le scénario de support du trafic, à intensité de support égale, soutenir l'auteur en premier maintiendra toujours l'avantage du trafic. La logique d’un soutien antérieur et d’un processus d’excavation accéléré est cohérente.

​Détails expérimentaux de l'expansion progressive : La figure ci-dessus montre l'expansion progressive, et l'ordonnée est la différence dans les données de croissance de la poudre par rapport au groupe de base. Au début de l'expérience, 20 % du groupe expérimental ne soutenait que le groupe expérimental 1, et les indicateurs de données du groupe expérimental 1 ont commencé à augmenter ; lorsque l'expérience a augmenté à 60 %, les groupes expérimentaux 123 ont commencé à soutenir et les indicateurs expérimentaux des deux autres groupes ont également commencé à augmenter, mais il n'y avait toujours pas de groupe expérimental dépassé 1 ; a ensuite changé le groupe expérimental à 124 et a constaté que 4 commençait également à s'améliorer, mais 4 ne pouvait toujours pas dépasser le groupe expérimental 3.

De là, nous pouvons tirer la conclusion suivante : une expansion progressive est utile. Les indicateurs augmenteront en fonction de l'expansion. Il est impossible de confirmer si l'augmentation diminuera à mesure que le trafic augmente. Les résultats expérimentaux actuels peuvent conclure que les performances des données du groupe expérimental qui a reçu le support de trafic en premier seront meilleures que celles du groupe expérimental qui a reçu le support de trafic plus tard. ​

Problèmes complexes de conception expérimentale sur le marché biface de Kuaishou

2. Option 2 : Diviser le petit monde

Comme le montre la figure ci-dessus, le groupe expérimental et le groupe témoin sont complètement isolés. Les lecteurs du groupe expérimental ne peuvent voir que les travaux du groupe expérimental, et les lecteurs du groupe témoin ne peuvent voir que les travaux du groupe témoin. groupe. Cela évite une tension entre l'auteur et le lecteur.

Une approche similaire consiste à traiter la répartition du trafic entre les auteurs et les lecteurs comme un diagramme de réseau. Ce diagramme de réseau n'est pas connecté partout. Certains lecteurs n'aiment lire que certains types d'œuvres. des groupes expérimentaux peuvent être constitués. Séparation du groupe témoin. L’approche ci-dessus est cohérente avec la méthode de division des petits mondes et donne de meilleurs résultats pratiques, mais en même temps elle entraîne également des coûts de calcul plus élevés.

Problèmes complexes de conception expérimentale sur le marché biface de Kuaishou

Les principaux problèmes liés à la division du petit monde sont :

(1) Le système de recommandation d'algorithmes nécessite une certaine échelle pour démarrer à froid. Lorsque le pool de segmentation doit être petit, cela affectera la personnalisation réelle. espace de distribution. Différentes entreprises et différentes plates-formes ont des exigences différentes en matière de granularité la plus fine de la structure de segmentation, dans le but de conserver l'effet d'élasticité des recommandations. Dans la plupart des cas, des effets marginaux décroissants sont recommandés.

(2) Un isolement clair du trafic entraînera certaines restrictions sur le nombre d'expériences et les méthodes d'inspection des échantillons. Pour les scénarios d'expérimentation parallèles, les utilisateurs isolés doivent être constamment divisés et redivisés.

Problèmes complexes de conception expérimentale sur le marché biface de Kuaishou

Correction à partir de méthodes analytiques au lieu d'un plan expérimental :

  • Faire une analyse de correction basée sur les effets de réseau réels
  • Faire des hypothèses linéaires et d'autres basées sur des résultats expérimentaux Hypothèses conditionnelles ;

Les raisons de l'utilisation de méthodes expérimentales de correction :

Tout d'abord, il est difficile de vérifier les hypothèses de la méthode de correction d'analyse réelle pour les expériences avec de grandes différences, le débordement et l'élimination du réseau. les effets varient, et il est difficile de le vérifier en peu de temps. Il est impossible d'obtenir une méthode générale en résumant les règles en interne. En fait, notre solution espère résoudre une large classe de problèmes.

Construire une solution globale

Problèmes complexes de conception expérimentale sur le marché biface de Kuaishou

Construction d'une solution basée sur la fusion de classement - essentiellement, nous espérons garantir que le classement du groupe expérimental RT_a% et le classement réel du groupe expérimental RT_100 % peut être maintenu. Des résultats cohérents.

Méthode de mise en œuvre : Tout d'abord, utilisez deux ensembles d'algorithmes de tri RT/RC pour trier en même temps, et enregistrez l'ordre correspondant des œuvres en groupes expérimentaux et groupes témoins, et montrez aux lecteurs les résultats ; des deux algorithmes pour le groupe expérimental Trier l'ordre de fusion.

Problèmes complexes de conception expérimentale sur le marché biface de Kuaishou

Faire de RC une solution de tri en ligne qui n'est actuellement pas prise en charge par tous les auteurs et élever les droits de tous les auteurs de connaissances dans RT. Après avoir fusionné les résultats de tri de RC et RT, placer d'abord les auteurs (T1T2) correspondant au RT du groupe expérimental dans la position de tri correspondante du groupe final, et conserver les auteurs du groupe témoin dans un ordre sans rapport avec l'original expérience. Par mesure de prudence, pendant la période de faible trafic, il est recommandé qu'à l'exception des travaux expérimentaux, les autres ouvrages soient exécutés dans l'ordre initial. Si l’expérience a été extrapolée, les résultats de RT seront pleinement utilisés.

Problèmes complexes de conception expérimentale sur le marché biface de Kuaishou

Et si le groupe expérimental et le groupe témoin se disputaient le même poste ?

Selon le plan expérimental ci-dessus, si les œuvres du groupe expérimental et du groupe témoin sont en compétition pour le même poste, le moyen le plus simple est de sélectionner au hasard. La probabilité que cela se produise est très faible.

Si le groupe expérimental et le groupe témoin ont tous deux un% du trafic total, en supposant a=2,

En supposant que 10 œuvres sont promues à la fois, la probabilité que les 10 meilleures œuvres du groupe expérimental et du groupe témoin apparaissent est calculée comme le montre la figure ci-dessus, qui est d'environ 3,3 %. Si les deux algorithmes sont complètement indépendants, la probabilité de conflit dans les mêmes top 10 est plus faible.

​Souvent, les améliorations sont progressives, avec RC et RT hautement corrélés et moins conflictuels. Dans le même temps, la probabilité de conflits peut également être estimée à l’avance grâce à des tests hors ligne.

Les principales évaluations des indicateurs des expériences bilatérales ci-dessus peuvent être divisées dans les trois catégories suivantes :​

  • Indicateurs côté auteur : nombre d'œuvres, nombre d'auteurs de production, directement inspectés du côté de l'auteur ;
  • Indicateurs de volume de vues du rapport : CTR, EVTR, l'augmentation de l'exposition des œuvres de l'auteur = l'augmentation du nombre de vues des lecteurs sont calculés
  • Indicateurs côté lecteur : Expérimental unilatéral côté lecteur ; vérification.

Problèmes complexes de conception expérimentale sur le marché biface de Kuaishou

La solution peut avoir d'autres problèmes :

Tout d'abord, toute solution aura des problèmes. Les fortes retombées des marchés bifaces font qu’il est difficile de résoudre tous les problèmes avec une seule solution.

Les principaux problèmes de la conception expérimentale actuelle incluent les aspects suivants :

(1) Tout d'abord, il y a un certain coût du côté de l'ingénierie pour conserver deux ensembles d'incitations politiques de tri. sont utilisés, il vaudra mieux faire avancer l'algorithme. Il n'est pas facile de conserver deux ensembles d'angles sans fusion

(2) Deuxièmement, du point de vue de l'isolation des données de l'algorithme, une partie de l'amélioration vient de ; les données elles-mêmes et le modèle lui-même ont subi des changements majeurs. En conséquence, la logique de l'algorithme de tri n'est plus établie.

(3) Troisièmement, le calcul suppose a = 2 %, la valeur de a peut-elle être augmentée si davantage de trafic teste de petits effets ? Sélectionnez au hasard un mélange proportionnel pour réduire la probabilité de conflits de circulation plus importants. Enfin, les questions bilatérales seront résolues de manière unilatérale. La question de savoir si elles peuvent être résolues de manière bilatérale sera examinée à l'avenir.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Étiquettes associées:
source:51cto.com
Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn
Tutoriels populaires
Plus>
Derniers téléchargements
Plus>
effets Web
Code source du site Web
Matériel du site Web
Modèle frontal