Komplexe experimentelle Designprobleme im zweiseitigen Markt von Kuaishou

1. Problemhintergrund

1. Einführung in das zweiseitige Marktexperiment

Ein zweiseitiger Markt, also eine Plattform, umfasst zwei Teilnehmer, Produzenten und Konsumenten, und beide Parteien sich gegenseitig fördern. Kuaishou hat beispielsweise einen Videoproduzenten und einen Videokonsumenten, und die beiden Identitäten können sich bis zu einem gewissen Grad überschneiden.

Das bilaterale Experiment ist eine experimentelle Methode, die Gruppen auf Produzenten- und Verbraucherseite kombiniert.

Bilaterale Experimente haben folgende Vorteile:

(1) Die Auswirkungen der neuen Strategie auf zwei Aspekte können gleichzeitig erkannt werden, beispielsweise Änderungen im Produkt-DAU und der Anzahl der Personen, die Werke hochladen. Bilaterale Plattformen haben oft netzwerkübergreifende Effekte, je mehr Leser es gibt, desto aktiver werden die Autoren sein, und je aktiver die Autoren sind, desto mehr Leser werden ihnen folgen.

(2) kann Effektüberlauf und -übertragung erkennen.

(3) Helfen Sie uns, den Wirkungsmechanismus besser zu verstehen. Das AB-Experiment selbst kann uns nicht sagen, welche Art von Wirkung und Datenänderungen erzielt werden was wir tun. Der Wirkungsmechanismus zwischen der Produktionsseite und der Verbraucherseite erfordert jedoch komplexere experimentelle Designs und experimentellere Indikatoren, um diese Probleme klar zu verstehen. 2. Beispiel für ein bilaterales Experiment

Angenommen, der Schönheitseffekt wird zur Live-Übertragungsszene hinzugefügt. Die experimentellen Zuschauergruppen in den beiden Reihen blicken seitlich vom Tisch und kontrollieren, ob das Publikum den Unterschied vor und nach der Live-Beauty-Behandlung erkennen kann. Die Spalten in der Tabelle stellen die tatsächliche Auswirkung dar, ob der Anker schön ist oder nicht. Durch die Kombination der beiden oben genannten Aspekte wird die Verschönerungsfunktion für das Video nur dann aktiviert, wenn der Moderator der Experimentalgruppe mit dem Publikum der Experimentalgruppe verglichen wird. Tatsächlich können die anderen drei Gruppen die Schönheitsfunktion nicht erkennen. Aber es gibt einen Unterschied zwischen BC, der keine Schönheit sieht, und D, der keine Schönheit sieht. AD-Unterscheidung ist ein häufiges Szenario in regulären AB-Experimenten. In dieser Szene wird ein bilaterales Design verwendet, um zu beobachten, ob es auf der Zuschauerseite zu einem Überlauf kommt.

Es gibt keine Beauty-Funktion für den Anker. Wenn es keinen Publikumsüberlauf gibt, sollten die BD-Daten jedoch konsistent sein, wenn es Unterschiede in den Daten-BD gibt, wenn der Anker dies nicht hat Bei der Schönheitsfunktion wird das Publikum andere Anker betrachten. Wenn es um die Schönheitsfunktion geht, wird sich der tatsächliche Effekt positiv oder negativ auswirken. Auf die gleiche Weise kann durch diese Art von bilateralem Experiment auch ein Überlauf auf der Ankerseite durchgeführt werden, um den Mechanismus des Experiments besser zu verstehen und festzustellen, ob auf beiden Seiten des Experiments ein Überlauf vorliegt.

2. Herausforderungen von Anreizstrategien

Innerhalb des angebotsseitigen Verbraucherökosystems erfordert die Geschäftsdauer eine politische Verkehrsunterstützung. Dies ist die Anreizstrategie, die hauptsächlich die folgenden drei Arten umfasst Szenario:

(1) Der Vorgang führt hochwertige Autoren ein, aber die Datenleistung der Autoren auf der Plattform ist nicht sicher;

(2) Einige Unternehmen müssen bestimmte Arten von Autoren erschließen Autoren und bieten eine gewisse Makrosteuerung des Verkehrs und eine stärkere Verkehrsverteilung Inhalt.

In den oben genannten Szenarien handelt es sich häufig nicht um eine Online-Lernmethode, sondern um eine Makrosteuerung des Plattformverkehrs aus menschlicher Sicht. Für diejenigen, die sich relativ langfristig orientieren, ist es notwendig, den Lerneffekt (Förderung der Produktion usw.) zu beobachten, und Methoden wie Zeitscheibenrotation werden nicht ausprobiert. Zum Beispiel das folgende Szenario: Stellen Sie Autoren Verkehrsunterstützung mit einer Art Richtungsverkehr zur Verfügung, um zu untersuchen, ob die Interaktion und Produktion dieses Verkehrs in einem Langzeitszenario lange anhalten kann.

Der erste ist der Druck auf Seiten des Autors: Bei den meisten dieser Experimente ist die Gesamtzahl der Belichtungen auf der Plattform begrenzt Die Belastung der nicht unterstützten Kontrollgruppe nimmt zu. Wenn die Kaltstartexposition des Autors stärker ansteigt als die Kaltstartexposition des Lesers, beweist dies, dass es zu Gedränge kommt.

Gemäß der obigen Abbildung ist auf der Grundlage der Beziehung zwischen der Versuchsgruppe und der Kontrollgruppe und dem relativen Basisunterschied der Exposition jeder Gruppe ersichtlich, dass zu Beginn des Experiments der Autor schließlich einen Schub erhalten wird Wird nicht nur an Benutzergruppe B, sondern auch an Benutzergruppe B über das Empfehlungssystem weitergegeben. Die Expositionsunterschiede von Benutzergruppe A, Autor B, Benutzer B sowie Autor B und Benutzer A sind grundsätzlich konsistent. Traditionelle Experimente widmeten sich der Korrektur der durch diese Strategie verzerrten Verkehrssituation.

SUTVA geht davon aus, dass das Individuum i nur damit zusammenhängt, ob es während des Experiments der Versuchsgruppe oder der Kontrollgruppe zugeordnet wird, und nichts damit zu tun hat, zu welcher Gruppe die anderen Knoten gehören Unabhängig davon, ob andere Knoten in einer kooperativen Beziehung stehen, ist das experimentelle System immer noch eine Wettbewerbsbeziehung. SUTVA ist die grundlegendste Annahme, um in AB-Experimenten effektive Schlussfolgerungen zu erhalten.

Das tatsächliche bilaterale Netzwerk verstößt gegen die SUTVA-Annahme.

Im Kurzvideoszenario wird jede Aufnahmestrategie als Sortieralgorithmus betrachtet. Unterschiedliche Anreizstrategien führen zu unterschiedlichen Ranking-Ergebnissen von Kurzvideos. RC in der obigen Abbildung stellt die Kontrollgruppe dar, RT_25 % ist die Algorithmus-Sortierkombination, wenn der Datenverkehr der Versuchsgruppe 25 % beträgt, und RT stellt den experimentellen Vorstoß der Versuchsgruppe mit einer Algorithmus-Sortierkombination von 100 % dar. BCDE ist der experimentelle Zielbenutzertyp, dh der ausgewählte Anreizautor arbeitet. Und D bedeutet, dass, wenn die experimentelle Schlussfolgerung 25 % beträgt, sie genau in die experimentelle Gruppe fällt. Angenommen, D wird durch die Empfehlungsgewichtungsmethode direkt an die erste Stelle gesetzt. Wenn die Strategie auf 100 % ansteigt, wird BCDE gewichtet. In diesem Fall verringert sich die Rangfolge der D-Werke. Dieses Szenario ist die Überfüllung der Versuchsgruppe und der Grund für die Überfüllung. 3. Optionale Lösungen: 1. Option 1: Allmähliche Erweiterung Der Effekt nimmt ab, wenn die Flussrate der Kontrollgruppe abnimmt.

[First Mover Advantage] Während des Experiments wurde festgestellt, dass im Szenario der Verkehrsunterstützung bei gleicher Unterstützungsintensität die Unterstützung des Autors zuerst immer den Verkehrsvorteil aufrechterhält. Die Logik der früheren Unterstützung und des beschleunigten Aushubprozesses ist konsequent.

​Experimentelle Details der phasenweisen Expansion: Die obige Abbildung zeigt die phasenweise Expansion und die Ordinate ist der Unterschied in den Pulverwachstumsdaten der relativen Basisgruppe. Zu Beginn des Experiments unterstützten 20 % der Versuchsgruppe nur Versuchsgruppe 1, und als das Experiment auf 60 % anstieg, begannen die Versuchsgruppen 123 zu unterstützen, und die Versuchsindikatoren begannen zu steigen Von den anderen beiden Gruppen begann ebenfalls ein Anstieg, aber es gab immer noch keine Überschreitung der Versuchsgruppe 1. Später änderte sich die Versuchsgruppe auf 124 und es stellte sich heraus, dass sich auch 4 zu verbessern begannen, aber 4 die Versuchsgruppe 3 immer noch nicht übertreffen konnte.

Daraus können wir folgende Schlussfolgerung ziehen: Eine schrittweise Ausweitung ist sinnvoll. Der Indikator wird entsprechend der Ausweitung ansteigen. Ob der Anstieg mit zunehmendem Verkehr geringer wird, lässt sich nicht bestätigen. Aus den aktuellen Versuchsergebnissen lässt sich schließen, dass die Datenleistung der Versuchsgruppe, die zuerst Verkehrsunterstützung erhielt, besser sein wird als die der Versuchsgruppe, die später Verkehrsunterstützung erhielt. ​

2. Option 2: Die kleine Welt aufteilen

Wie in der Abbildung oben gezeigt, sind die Experimentalgruppe und die Kontrollgruppe vollständig isoliert. Leser in der Experimentalgruppe können nur die Werke der Experimentalgruppe sehen, und Leser in der Kontrollgruppe können nur die Werke der Kontrolle sehen Gruppe. Dies vermeidet einen Engpass zwischen Autor und Leser.

Ein ähnlicher Ansatz besteht darin, die Verkehrsverteilung zwischen Autoren und Lesern als Netzwerkdiagramm zu behandeln. Einige Leser lesen gerne nur einige Arten von Werken. Experimentelle Gruppen können aus der Kontrollgruppe aufgeteilt werden. Der obige Ansatz steht im Einklang mit der Methode zur Aufteilung kleiner Welten und führt zu besseren praktischen Ergebnissen, verursacht aber gleichzeitig auch höhere Rechenkosten.

Die Hauptprobleme bei der Aufteilung der kleinen Welt sind:

(1) Das Algorithmus-Empfehlungssystem erfordert einen bestimmten Maßstab für den Kaltstart Vertriebsraum. Unterschiedliche Unternehmen und unterschiedliche Plattformen stellen unterschiedliche Anforderungen an die feinste Granularität der Segmentierungsstruktur, um den Elastizitätseffekt der Empfehlungen beizubehalten. In den meisten Fällen werden abnehmende Randeffekte empfohlen.

(2) Eine klare Verkehrsisolierung wird bestimmte Einschränkungen hinsichtlich der Anzahl der Experimente und Inspektionsmethoden für Proben mit sich bringen. Für parallele Experimentierszenarien müssen isolierte Benutzer ständig neu organisiert und aufgeteilt werden.

Korrektur anhand analytischer Methoden statt experimentellem Design:

• Korrekturanalyse basierend auf tatsächlichen Netzwerkeffekten durchführen;
• Einige lineare Annahmen und andere basierend auf experimentellen Ergebnissen bedingte Annahmen treffen.

Die Gründe für die Verwendung experimenteller Korrekturmethoden:

Erstens ist es schwierig, die Annahmen in der tatsächlichen Analysekorrekturmethode zu überprüfen, da der Überlauf und die Verdrängung von Netzwerkeffekten variieren , und es ist schwierig, es in kurzer Zeit zu überprüfen. Es ist unmöglich, eine allgemeine Methode durch interne Zusammenfassung der Regeln zu erhalten. Tatsächlich hofft unsere Lösung, eine große Klasse von Problemen zu lösen. 4. Erstellen Sie eine umfassende Lösung RT_100 % können beibehalten werden. Konsistente Ergebnisse.

Implementierungsmethode: Verwenden Sie zunächst zwei Sätze von RT/RC-Sortieralgorithmen, um gleichzeitig zu sortieren, und teilen Sie die Autoren in eine experimentelle Gruppe und eine Kontrollgruppe auf In der Gruppe werden den Lesern die Ergebnisse der beiden Algorithmen angezeigt. Sortieren Sie die Fusionsreihenfolge.

Machen Sie RC zu einer Online-Sortierlösung, die derzeit nicht von allen Autoren unterstützt wird, und erhöhen Sie die Rechte aller Wissensautoren in RT. Platzieren Sie nach dem Zusammenführen der Sortierergebnisse von RC und RT zunächst die Autoren (T1T2), die der RT der Versuchsgruppe entsprechen, an der entsprechenden Sortierposition der endgültigen Gruppe und behalten Sie die Reihenfolge der Autoren der Kontrollgruppe in einer Reihenfolge bei, die nichts mit dem Original zu tun hat Experiment. Um konservativ zu sein, wird in Zeiten geringen Verkehrsaufkommens empfohlen, mit Ausnahme experimenteller Arbeiten andere Arbeiten in der ursprünglichen Reihenfolge auszuführen. Wenn das Experiment extrapoliert wurde, werden die RT-Ergebnisse vollständig verwendet.

Was wäre, wenn die Experimentalgruppe und die Kontrollgruppe um die gleiche Position konkurrieren?

Wenn gemäß dem obigen Versuchsaufbau die Werke der Versuchsgruppe und die Werke der Kontrollgruppe um dieselbe Position konkurrieren, ist die Auswahl nach dem Zufallsprinzip der einfachste Weg. Die Wahrscheinlichkeit dafür ist sehr gering.

Wenn sowohl die Versuchsgruppe als auch die Kontrollgruppe einen % des Gesamtverkehrs haben, angenommen a=2,

Unter der Annahme, dass 10 Werke gleichzeitig beworben werden, wird die Wahrscheinlichkeit, dass die Top 10 Werke sowohl aus der Experimentalgruppe als auch aus der Kontrollgruppe erscheinen, wie oben gezeigt berechnet, was etwa 3,3 beträgt %. Wenn die beiden Algorithmen völlig unabhängig sind, ist die Wahrscheinlichkeit eines Konflikts auf denselben Top-10-Positionen geringer.

​Die Verbesserung erfolgt oft schrittweise, wobei RC und RT stark korrelieren und weniger widersprüchlich sind. Gleichzeitig kann durch Offline-Tests auch die Wahrscheinlichkeit von Konflikten im Vorfeld abgeschätzt werden.

Die Hauptindikatorauswertungen der oben genannten bilateralen Experimente lassen sich in die folgenden drei Kategorien einteilen:​

• Autorenseite Indikatoren: Anzahl der Werke. Die Anzahl der Produktionsautoren wird direkt von der Autorenseite überprüft. EVTR, Verbesserung der Arbeitspräsenz des Autors = Leserseite. Die Berechnung basiert auf der Zunahme der Häufigkeit; : leserseitige einseitige experimentelle Überprüfung. Möglicherweise gibt es noch andere Probleme mit der Lösung:
• Zuallererst wird es bei jedem Plan Probleme geben. Die starken Spillover-Effekte zweiseitiger Märkte machen es schwierig, alle Probleme mit einer Lösung zu lösen.
• Die Hauptthemen im aktuellen experimentellen Design umfassen die folgenden Aspekte: #🎜 🎜#

(1) Erstens entstehen aus technischer Sicht gewisse Kosten für die Beibehaltung zweier Rankings. Wenn politische Anreize geschaffen werden, wird dies aus algorithmischer Sicht besser gefördert. Es ist nicht einfach, die beiden Sätze ohne Fusion beizubehalten Die Verbesserung ergibt sich aus den Daten selbst. Es gibt große Änderungen im Modell selbst und die Ergebnisse sind nicht mehr gültig.

(3) Drittens geht die Berechnung von a=2 % aus, um zu testen, ob der kleine Effekt zunehmen kann ein Wert? Wählen Sie zufällig eine proportionale Mischung aus, um die Möglichkeit größerer Verkehrskonflikte unwahrscheinlicher zu machen. Schließlich werden bilaterale Probleme einseitig gelöst. Ob sie bilateral gelöst werden können, wird in Zukunft untersucht.

Das obige ist der detaillierte Inhalt vonKomplexe experimentelle Designprobleme im zweiseitigen Markt von Kuaishou. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!