Un marché biface, c'est-à-dire une plate-forme, comprend deux participants, producteurs et consommateurs, et les deux parties promeuvent chacun autre. Par exemple, Kuaishou a un producteur vidéo et un consommateur vidéo, et les deux identités peuvent se chevaucher dans une certaine mesure.
L'expérimentation bilatérale est une méthode expérimentale qui associe des groupes du côté des producteurs et des consommateurs.
Les expériences bilatérales présentent les avantages suivants :
(1) L'impact de la nouvelle stratégie sur deux aspects peut être détecté simultanément, comme les changements dans le DAU du produit et le nombre de personnes téléchargeant des œuvres. Les plateformes bilatérales ont souvent des effets de réseau transversaux. Plus il y a de lecteurs, plus les auteurs seront actifs, et plus les auteurs seront actifs, plus les lecteurs suivront.
(2) peut détecter le débordement et le transfert d'effet.
(3) Aidez-nous à mieux comprendre le mécanisme d'action. L'expérience AB elle-même ne peut pas nous dire la relation entre la cause et le résultat. Elle peut seulement nous dire quel type d'impact et de changements de données seront obtenus. ce que nous faisons. Cependant, le mécanisme d’action entre le côté production et le côté consommateur nécessite des conceptions expérimentales plus complexes et davantage d’indicateurs expérimentaux pour comprendre clairement ces problèmes.
Ici utilise un exemple de beauté en direct pour aider tout le monde à mieux comprendre les expériences bilatérales.
Supposons que l'effet beauté soit ajouté à la scène de diffusion en direct. En regardant de côté depuis la table, les groupes de publics expérimentaux répartis dans les deux rangées contrôlent si le public peut voir la différence avant et après le soin de beauté en direct. Les colonnes du tableau représentent l'impact réel du fait que l'ancre soit belle ou non. En combinant les deux aspects ci-dessus, la fonction d'embellissement sera activée pour la vidéo si et seulement lorsque le présentateur du groupe expérimental se comparera au public du groupe expérimental. En fait, les trois autres groupes ne voient pas la fonction beauté. Mais il y a une différence entre BC ne voyant pas la beauté et D ne voyant pas la beauté. La distinction AD est un scénario courant dans les expériences AB conventionnelles. Cette scène utilise une conception bilatérale pour observer s'il y a un débordement du côté du public.
Il n'y a pas de fonction beauté pour le présentateur. S'il n'y a pas de débordement d'audience, les données BD doivent être cohérentes. Cependant, en fait, s'il y a des différences dans les données BD, si le présentateur n'en a pas. Fonction beauté, le public regardera d'autres ancres. En ce qui concerne la fonction beauté, l'effet réel aura un impact positif ou négatif. De la même manière, le débordement côté ancre peut également se faire via ce type d'expérience bilatérale pour mieux comprendre le mécanisme de l'expérience et s'il y a débordement des deux côtés de l'expérience.
Au sein de l'écosystème offre-consommateur, la durée de l'activité nécessite un soutien politique au trafic. Il s'agit de la stratégie d'incitation, qui comprend principalement les trois types suivants. Scénario :
(1) L'opération introduit des auteurs de haute qualité, mais la performance des données des auteurs sur la plateforme n'est pas sûre
(2) Certaines entreprises doivent exploiter des types spécifiques de auteurs et fournissent un support de macro-contrôle du trafic et une répartition plus forte du trafic
(3) Dans le scénario de volonté de la plateforme, elle se développe dans une direction spécifique et estime que le changement de la méthode de répartition du trafic renforcera l'offre de certains correspondants ; contenu.
Dans les scénarios ci-dessus, il ne s'agit souvent pas d'une méthode d'apprentissage en ligne, mais d'un macro-contrôle du trafic de la plateforme d'un point de vue humain. Pour ceux qui se concentrent sur le relativement long terme, il faut observer l’effet d’apprentissage (favoriser la production, etc.), et des méthodes telles que la rotation des tranches de temps ne sont pas essayées. Par exemple, le scénario suivant : fournir un support de trafic aux auteurs avec un type de trafic directionnel pour étudier si l'interaction et la production d'un tel trafic peuvent durer longtemps dans un scénario à long terme.
Le premier est la pression du côté de l'auteur : dans la plupart de ces expériences, le nombre total d'expositions sur la plateforme est limité. Dans les scénarios où la plateforme prend en charge la plateforme, l'exposition de la plateforme est limitée. Les auteurs du groupe expérimental augmentent et l'exposition du groupe témoin qui n'est pas pris en charge augmente. Si l’exposition au démarrage à froid de l’auteur augmente plus que celle du lecteur au démarrage à froid, cela prouve qu’il y a foule.
Selon la figure ci-dessus, basée sur la relation entre le groupe expérimental et le groupe témoin et la différence relative de base de l'exposition de chaque groupe, on peut voir qu'au début de l'expérience, le boost de l'auteur finira par être transmis non seulement au groupe d'utilisateurs B mais également au groupe d'utilisateurs B via le système de recommandation. Les différences d'exposition du groupe d'utilisateurs A, de l'auteur B, de l'utilisateur B et de l'auteur B et de l'utilisateur A sont fondamentalement cohérentes. Des expériences traditionnelles ont été consacrées à corriger la situation du trafic faussée par cette stratégie.
SUTVA suppose que l'individu i est uniquement lié au fait qu'il soit affecté au groupe expérimental ou au groupe témoin pendant l'expérience, et n'a rien à voir avec le groupe dans lequel se trouvent les autres nœuds sous le système expérimental, que d'autres nœuds soient ou non des relations de coopération. Il s'agit toujours d'une relation de compétition. SUTVA est l'hypothèse la plus fondamentale pour obtenir des conclusions efficaces dans les expériences AB.
Le réseau bilatéral actuel viole l'hypothèse de la SUTVA.
Dans le scénario vidéo courte, si chaque stratégie d'enregistrement est considérée comme un algorithme de tri. Différentes stratégies d'incitation représentent différents résultats de classement des courtes vidéos. RC dans la figure ci-dessus représente le groupe témoin, RT_25 % est la combinaison de tri d'algorithmes lorsque le trafic du groupe expérimental est de 25 %, et RT représente la poussée expérimentale du groupe expérimental d'une combinaison de tri d'algorithmes à 100 %. BCDE est le type d'utilisateur cible expérimental, c'est-à-dire l'auteur d'incitation sélectionné. Et D signifie que lorsque l'inférence expérimentale est de 25 %, elle tombe exactement dans le groupe expérimental. Supposons que grâce à la méthode de pondération des recommandations, D soit classé directement en première position. Si la stratégie passe à 100%, la BCDE sera pondérée. Dans ce cas, le classement des œuvres D diminuera. Ce scénario est l’encombrement du groupe expérimental et la raison de cet encombrement. 3. Solutions optionnelles de diminue à mesure que le débit du groupe témoin diminue.
De là, nous pouvons tirer la conclusion suivante : une expansion progressive est utile. Les indicateurs augmenteront en fonction de l'expansion. Il est impossible de confirmer si l'augmentation diminuera à mesure que le trafic augmente. Les résultats expérimentaux actuels peuvent conclure que les performances des données du groupe expérimental qui a reçu le support de trafic en premier seront meilleures que celles du groupe expérimental qui a reçu le support de trafic plus tard.
Comme le montre la figure ci-dessus, le groupe expérimental et le groupe témoin sont complètement isolés. Les lecteurs du groupe expérimental ne peuvent voir que les travaux du groupe expérimental, et les lecteurs du groupe témoin ne peuvent voir que les travaux du groupe témoin. groupe. Cela évite une tension entre l'auteur et le lecteur. Une approche similaire consiste à traiter la répartition du trafic entre les auteurs et les lecteurs comme un diagramme de réseau. Ce diagramme de réseau n'est pas connecté partout. Certains lecteurs n'aiment lire que certains types d'œuvres. des groupes expérimentaux peuvent être constitués. Séparation du groupe témoin. L’approche ci-dessus est cohérente avec la méthode de division des petits mondes et donne de meilleurs résultats pratiques, mais en même temps elle entraîne également des coûts de calcul plus élevés. Les principaux problèmes liés à la division du petit monde sont : (1) Le système de recommandation d'algorithmes nécessite une certaine échelle pour démarrer à froid. Lorsque le pool de segmentation doit être petit, cela affectera la personnalisation réelle. espace de distribution. Différentes entreprises et différentes plates-formes ont des exigences différentes en matière de granularité la plus fine de la structure de segmentation, dans le but de conserver l'effet d'élasticité des recommandations. Dans la plupart des cas, des effets marginaux décroissants sont recommandés. (2) Un isolement clair du trafic entraînera certaines restrictions sur le nombre d'expériences et les méthodes d'inspection des échantillons. Pour les scénarios d'expérimentation parallèles, les utilisateurs isolés doivent être constamment divisés et redivisés. Correction à partir de méthodes analytiques au lieu d'un plan expérimental : Les raisons de l'utilisation de méthodes expérimentales de correction : Tout d'abord, il est difficile de vérifier les hypothèses de la méthode de correction d'analyse réelle pour les expériences avec de grandes différences, le débordement et l'élimination du réseau. les effets varient, et il est difficile de le vérifier en peu de temps. Il est impossible d'obtenir une méthode générale en résumant les règles en interne. En fait, notre solution espère résoudre une large classe de problèmes. 
Construire une solution globale
Construction d'une solution basée sur la fusion de classement - essentiellement, nous espérons garantir que le classement du groupe expérimental RT_a% et le classement réel du groupe expérimental RT_100 % peut être maintenu. Des résultats cohérents.
Méthode de mise en œuvre : Tout d'abord, utilisez deux ensembles d'algorithmes de tri RT/RC pour trier en même temps, et enregistrez l'ordre correspondant des œuvres en groupes expérimentaux et groupes témoins, et montrez aux lecteurs les résultats ; des deux algorithmes pour le groupe expérimental Trier l'ordre de fusion.
Faire de RC une solution de tri en ligne qui n'est actuellement pas prise en charge par tous les auteurs et élever les droits de tous les auteurs de connaissances dans RT. Après avoir fusionné les résultats de tri de RC et RT, placer d'abord les auteurs (T1T2) correspondant au RT du groupe expérimental dans la position de tri correspondante du groupe final, et conserver les auteurs du groupe témoin dans un ordre sans rapport avec l'original expérience. Par mesure de prudence, pendant la période de faible trafic, il est recommandé qu'à l'exception des travaux expérimentaux, les autres ouvrages soient exécutés dans l'ordre initial. Si l’expérience a été extrapolée, les résultats de RT seront pleinement utilisés.
Selon le plan expérimental ci-dessus, si les œuvres du groupe expérimental et du groupe témoin sont en compétition pour le même poste, le moyen le plus simple est de sélectionner au hasard. La probabilité que cela se produise est très faible.
Si le groupe expérimental et le groupe témoin ont tous deux un% du trafic total, en supposant a=2,
En supposant que 10 œuvres sont promues à la fois, la probabilité que les 10 meilleures œuvres du groupe expérimental et du groupe témoin apparaissent est calculée comme le montre la figure ci-dessus, qui est d'environ 3,3 %. Si les deux algorithmes sont complètement indépendants, la probabilité de conflit dans les mêmes top 10 est plus faible.
Souvent, les améliorations sont progressives, avec RC et RT hautement corrélés et moins conflictuels. Dans le même temps, la probabilité de conflits peut également être estimée à l’avance grâce à des tests hors ligne.
Les principales évaluations des indicateurs des expériences bilatérales ci-dessus peuvent être divisées dans les trois catégories suivantes :
Les principaux problèmes de la conception expérimentale actuelle incluent les aspects suivants :
(1) Tout d'abord, il y a un certain coût du côté de l'ingénierie pour conserver deux ensembles d'incitations politiques de tri. sont utilisés, il vaudra mieux faire avancer l'algorithme. Il n'est pas facile de conserver deux ensembles d'angles sans fusion
(2) Deuxièmement, du point de vue de l'isolation des données de l'algorithme, une partie de l'amélioration vient de ; les données elles-mêmes et le modèle lui-même ont subi des changements majeurs. En conséquence, la logique de l'algorithme de tri n'est plus établie.
(3) Troisièmement, le calcul suppose a = 2 %, la valeur de a peut-elle être augmentée si davantage de trafic teste de petits effets ? Sélectionnez au hasard un mélange proportionnel pour réduire la probabilité de conflits de circulation plus importants. Enfin, les questions bilatérales seront résolues de manière unilatérale. La question de savoir si elles peuvent être résolues de manière bilatérale sera examinée à l'avenir.
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!
![[Web front-end] Démarrage rapide de Node.js](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
