目录
一、问题背景" >一、问题背景
1、双边市场实验介绍" >1、双边市场实验介绍
2、双边实验的例子" >2、双边实验的例子
二、激励策略的挑战" >二、激励策略的挑战
三、可选解决方案" >三、可选解决方案
1、方案1:逐步扩量" >1、方案1:逐步扩量
2、方案2:划分小世界" >2、方案2:划分小世界
四、构建综合方案" >四、构建综合方案
如果实验组和对照组竞争同一个位置怎么办?" >如果实验组和对照组竞争同一个位置怎么办?
方案可能存在其他一些问题:" >方案可能存在其他一些问题:
首页 科技周边 人工智能 快手双边市场的复杂实验设计问题

快手双边市场的复杂实验设计问题

Apr 15, 2023 pm 07:40 PM
排序算法 因果推理

快手双边市场的复杂实验设计问题

一、问题背景

1、双边市场实验介绍

双边市场,即平台,包含生产者与消费者两方参与者,双方相互促进。比如快手有视频的生产者,视频的消费者,两种身份可能存在一定程度重合。

双边实验是在生产者和消费者端组合分组的实验方式。

双边实验具有以下优点:

(1)可以同时检测新策略对两方面的影响,例如产品 DAU 和上传作品人数变化。双边平台往往有跨边网络效应,读者越多,作者越活跃,作者越活跃,读者也会跟着增加。

(2)可以检测效果溢出和转移。

(3)帮助我们更好得理解作用的机制,AB实验本身不能告诉我们原因和结果之间的关系,只能告诉我们所作事情会得出什么样的影响以及数据变化。但是生产端与消费端之间的作用机制,就需要更加复杂的实验设计和更多的实验指标才能把这些问题看清楚。

2、双边实验的例子

快手双边市场的复杂实验设计问题

里通过一个直播美颜的例子,帮助大家进一步理解双边实验。

假设在直播场景中加上美颜的效果。从表格中横着看,两行的实验的观众组,控制观众是否可以看到直播美颜前后的差异。表格中的列表示主播有没有美颜对实际的影响。将以上两方面结合,当且仅当实验组主播对照实验组观众时,才给视频开美颜功能。实际另外三个组无法看到美颜功能。但是 BC 看不到美颜,和 D 看不到美颜存在区别。AD 的区别是常规的 AB 实验的常见场景。本场景通过双边设计可以观察到观众侧是否存在溢出。

针对主播美没有美颜功能,若不存在观众溢出,则 BD 应该数据表现一致,但实际上,数据 BD 若存在差异,如果主播没有美颜功能,观众在其他主播侧看到美颜功能,则实际效果就存在了正影响或者负影响。同理,主播侧的溢出也可以通过此种双边实验,更好理解实验中的作用机制,和实验双方是否存在溢出。

二、激励策略的挑战

快手双边市场的复杂实验设计问题

供给侧-消费侧生态体系内部,业务时长有政策性流量扶持的需求,这就是激励策略,主要包括以下三种场景:

(1)运营引入优质作者,但不确定作者在平台上的数据表现;

(2)某些业务需要挖掘特定类型作者,给一些宏观调控上的流量扶持,予以更强的流量分发力度;

(3)平台意志场景下,按照某种特定方向发展,认为改变流量分配方式强化某些对应内容供给。

在以上场景下往往并非网络学习的方式,而是通过人为的角度对平台流量做宏观的调控。针对关注相对长期的,需要观察学习效应(促生产等),时间片轮转之类的方法不太试用。例如如下场景:给一类定向流量的作者流量的支持,来研究这样的流量在长期场景下,互动以及生产是否可以长久。

快手双边市场的复杂实验设计问题

首先是作者侧的挤占:大多数此类实验,平台的总曝光数量有限,平台扶持的场景下,实验组作者曝光增加,不被扶持的对照组曝光量减少。若作者侧冷启动曝光提升幅度比读者侧冷启动曝光幅度更大,就证明存在挤占情况。

根据上图根据实验组对照组关系以及开展各组曝光相对基线 diff,可以看出,随着实验开始对作者 boost 最后会通过推荐系统不仅传递给用户组 B 也会传递给用户组 A,并且作者 B 用户 B,作者 B 用户 A 的曝光 diff 是基本趋于一致的。传统实验一直致力于对此种策略扭曲的流量情况矫正。

快手双边市场的复杂实验设计问题

SUTVA 假设,个体 i 在实验过程中只与自身被分配在实验组或者对照组相关,与实验体系下其他节点在哪个分组无关,不论其他节点是合作关系还是竞争关系。SUTVA 是 AB 实验得到有效结论最基础的假设。

实际双边网络违背了 SUTVA 假设。

快手双边市场的复杂实验设计问题

在短视频场景下,如果把每一种记录策略看作一种排序算法。不同的激励策略代表短视频的不同排序结果。上图 RC 代表对照组,RT_25% 实验组流量是 25% 时的算法排序组合,RT 代表实验组实验推全 100% 算法排序组合。BCDE 为实验目标用户类型,即被选中的激励作者作品。而 D 为当实验推量 25% 时,正好落在实验组中。假设通过推荐加权的方式实验,D 的排序直接排到前面位置。若策略增加至 100%,BCDE 均被加权,这种情况,D 作品却排序反而下降。这种场景就是实验组挤占,以及出现挤占的原因。

三、可选解决方案

1、方案1:逐步扩量

快手双边市场的复杂实验设计问题

实验组排序 gap 会随着实验组数据比例扩大而逐渐接近,挤占的效应随着对照组流量减少而减少。

【先发优势】实验过程中发现,针对流量扶持的场景下,相等扶持力度,先扶持作者会始终保持流量优势。更早的扶持和加速发掘过程本身逻辑是前后一致的。

​分阶段扩量的实验详情:上图展示了分阶段扩量,纵坐标为相对 base 组涨粉数据差异。实验初期,20% 实验组的情况,只扶持了实验组 1,实验组一数据指标开始上升;当实验放量 60%,实验组 123 均开始扶持,另外两组实验指标也开始上升,但始终没有超过实验组 1;后面将实验组改成了 124,发现 4 也开始提升,但是 4 仍然无法超过实验组 3。

由此可以得出以下结论:逐步扩量是有用的,指标会根据扩量提升,提升会不会随着流量扩大而变小则无法确认。目前实验结果可以得出,先获得流量扶持的实验组数据表现会比后获得流量扶持的实验组更好。​

2、方案2:划分小世界

快手双边市场的复杂实验设计问题

如上图所示方法,将实验组和对照组完全隔离,实验组读者只能看到实验组作品,控制组读者只能看到控制组作品。由此避免出现作者和读者之间的挤压情况。

类似的做法有,将作者和读者的流量分发当成一个网络图,这个网络图并不是处处联通,部分读者只爱看部分几类作品,基于这样的网络图可以做实验组对照组的切分。以上做法与划分小世界方式思路一致,实践效果更好,但与此同时也具有更大的计算成本。

快手双边市场的复杂实验设计问题

划分小世界主要存在的问题为:

(1)算法推荐系统需要一定的规模量级才能冷启动,当切分池子一定小的时候,影响实际个性化分发空间。不同业务不同平台保留推荐弹性效果前提下,对切分结构最细粒度要求各不相同。大多数情况,推荐边际效应递减。

(2)明确的流量隔离,会对样本进行的实验数量和检验方式有一定限制。针对并行实验场景需要不断得将隔离开的用户重新打散重新拆分。

快手双边市场的复杂实验设计问题

从分析方法中矫正而不是实验设计的方式矫正:

  • 根据实际网络效应做矫正分析;
  • 根据实验结果做一些线性假设以及其他的一些条件假设。

采用实验方式矫正的原因:

首先实际的分析矫正方法中假设很难验证,对于差异较大的实验,网络效应的溢出挤占情况各不相同,很难在短时间内总结规律,无法得到通用方法。而实际我们的解决方案希望可以解决一大类问题。

四、构建综合方案

快手双边市场的复杂实验设计问题

基于排序融合的方案构建——本质上我们希望可以保证实验组 RT_a% 的排序和实验组RT_100% 的实际排序可以保持一致结果。

实现方式:首先同时用 RT/RC 两套排序算法进行排序,记录对应的作品顺序;将作者分为实验组和对照组,对于实验组给读者展示的为两个算法的排序融合顺序。

快手双边市场的复杂实验设计问题

将 RC 为当前所有作者均没有扶持的线上排序方案,RT 中将所有知识类作者提权。将RC 于 RT 的排序结果融合,先将实验组 RT 对应的作者(T1T2)放在 final 分组的对应排序位置上,将对照组的作者根据原先实验无关的次序继续保留。保守起见,小流量时期建议除了实验作品以外,其他作品均按照原先次序填充。若实验已经推全,则全量使用 RT 的结果。

快手双边市场的复杂实验设计问题

如果实验组和对照组竞争同一个位置怎么办?

根据以上实验设计,如果出现实验组作品和对照组作品竞争同一个位置,最简单的方式是随机选择。这种情况出现的概率很低。

如果实验组和对照组都是 a% 的总流量,假设 a=2,

假设一次推 10 个作品,top10 同时出现实验组和对照组作品的概率计算如上图,约为 3.3%。如果两个算法完全独立,前 10 相同位置出现冲突的概率更低。

​往往改进具有一定的渐进式的,RC 和 RT 关联性很高,冲突性更小。于此同时也可以通过离线测试的方式提前预估冲突的概率。

以上双边实验主要的指标评估可分为以下三类:​

  • 作者侧指标:作品数量,生产作者数,直接从作者侧检验;
  • 报告观看量指标:CTR,EVTR,作者作品曝光提升=读者观看次数提升进行推算;
  • 读者侧指标:读者侧单边实验验证。

快手双边市场的复杂实验设计问题

方案可能存在其他一些问题:

首先任何的方案都会存在问题。双边市场强的溢出效应很难通过一个解决方案解决所有问题。

目前实验设计的主要问题包括以下几个方面:

(1)首先,保留两套排序从工程侧存在一定成本,若政策激励会更好推进,算法的角度不容易一直保持两套不做融合;

(2)其次,从算法数据的隔离的角度,部分改进来自于数据本身,模型本身存在较大变化,结果排序算法逻辑不再成立。

(3)第三,计算假设 a=2%,如果更多的流量检验小的效果是否可以增加 a 值?随机选择比例混排,使得更大流量冲突可能性更小。最后,双边问题退换为单边来解决,是否可以通过双边可以解决,待后续继续探究。

以上是快手双边市场的复杂实验设计问题的详细内容。更多信息请关注PHP中文网其他相关文章!

本站声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

AI Hentai Generator

AI Hentai Generator

免费生成ai无尽的。

热门文章

R.E.P.O.能量晶体解释及其做什么(黄色晶体)
3 周前 By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.最佳图形设置
3 周前 By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.如果您听不到任何人,如何修复音频
3 周前 By 尊渡假赌尊渡假赌尊渡假赌
WWE 2K25:如何解锁Myrise中的所有内容
3 周前 By 尊渡假赌尊渡假赌尊渡假赌

热工具

记事本++7.3.1

记事本++7.3.1

好用且免费的代码编辑器

SublimeText3汉化版

SublimeText3汉化版

中文版,非常好用

禅工作室 13.0.1

禅工作室 13.0.1

功能强大的PHP集成开发环境

Dreamweaver CS6

Dreamweaver CS6

视觉化网页开发工具

SublimeText3 Mac版

SublimeText3 Mac版

神级代码编辑软件(SublimeText3)

快手双边市场的复杂实验设计问题 快手双边市场的复杂实验设计问题 Apr 15, 2023 pm 07:40 PM

一、问题背景1、双边市场实验介绍双边市场,即平台,包含生产者与消费者两方参与者,双方相互促进。比如快手有视频的生产者,视频的消费者,两种身份可能存在一定程度重合。双边实验是在生产者和消费者端组合分组的实验方式。双边实验具有以下优点:(1)可以同时检测新策略对两方面的影响,例如产品DAU和上传作品人数变化。双边平台往往有跨边网络效应,读者越多,作者越活跃,作者越活跃,读者也会跟着增加。(2)可以检测效果溢出和转移。(3)帮助我们更好得理解作用的机制,AB实验本身不能告诉我们原因和结果之间的关系,只

公理训练让LLM学会因果推理:6700万参数模型比肩万亿参数级GPT-4 公理训练让LLM学会因果推理:6700万参数模型比肩万亿参数级GPT-4 Jul 17, 2024 am 10:14 AM

把因果链展示给LLM,它就能学会公理。AI已经在帮助数学家和科学家做研究了,比如著名数学家陶哲轩就曾多次分享自己借助GPT等AI工具研究探索的经历。AI要在这些领域大战拳脚,强大可靠的因果推理能力是必不可少的。本文要介绍的这项研究发现:在小图谱的因果传递性公理演示上训练的Transformer模型可以泛化用于大图谱的传递性公理。也就是说,如果让Transformer学会执行简单的因果推理,就可能将其用于更为复杂的因果推理。该团队提出的公理训练框架是一种基于被动数据来学习因果推理的新范式,只有演示

谷歌借AI打破十年排序算法封印,每天被执行数万亿次,网友却说是最不切实际的研究? 谷歌借AI打破十年排序算法封印,每天被执行数万亿次,网友却说是最不切实际的研究? Jun 22, 2023 pm 09:18 PM

整理|核子可乐,褚杏娟接触过基础计算机科学课程的朋友们,肯定都曾亲自动手设计排序算法——也就是借助代码将无序列表中的各个条目按升序或降序方式重新排列。这是个有趣的挑战,可行的操作方法也多种多样。人们曾投入大量时间探索如何更高效地完成排序任务。作为一项基础操作,大多数编程语言的标准库中都内置有排序算法。世界各地的代码库中使用了许多不同的排序技术和算法来在线组织大量数据,但至少就与LLVM编译器配套使用的C++库而言,排序代码已经有十多年没有任何变化了。近日,谷歌DeepMindAI小组如今开发出一

Vue技术开发中如何进行数据筛选和排序 Vue技术开发中如何进行数据筛选和排序 Oct 09, 2023 pm 01:25 PM

Vue技术开发中如何进行数据筛选和排序在Vue技术开发中,数据筛选和排序是非常常见和重要的功能。通过数据筛选和排序,我们可以快速查询和展示我们需要的信息,提高用户体验。本文将介绍在Vue中如何进行数据筛选和排序,并提供具体的代码示例,帮助读者更好地理解和运用这些功能。一、数据筛选数据筛选是指根据特定的条件筛选出符合要求的数据。在Vue中,我们可以通过comp

如何实现C#中的选择排序算法 如何实现C#中的选择排序算法 Sep 20, 2023 pm 01:33 PM

如何实现C#中的选择排序算法选择排序(SelectionSort)是一种简单直观的排序算法,其基本思想是每次从待排序元素中选择最小(或最大)的元素,放到已排序的序列末尾。通过重复这个过程,直到所有元素都排序完成。下面我们来详细了解如何在C#中实现选择排序算法,同时附上具体的代码示例。创建选择排序方法首先,我们需要创建一个用于实现选择排序的方法。该方法接受一

Swoole进阶:如何使用多线程实现高速排序算法 Swoole进阶:如何使用多线程实现高速排序算法 Jun 14, 2023 pm 09:16 PM

Swoole是一款基于PHP语言的高性能网络通信框架,它支持多种异步IO模式和多种高级网络协议的实现。在Swoole的基础上,我们可以利用其多线程功能实现高效的算法运算,例如高速排序算法。高速排序算法(QuickSort)是一种常见的排序算法,通过定位一个基准元素,将元素分为两个子序列,小于基准元素的放在左侧,大于等于基准元素的放在右侧,再对左右子序列递归

数组的排序算法有哪些? 数组的排序算法有哪些? Jun 02, 2024 pm 10:33 PM

数组排序算法用于按特定顺序排列元素。常见的算法类型包括:冒泡排序:通过比较相邻元素交换位置。选择排序:找出最小元素交换到当前位置。插入排序:逐个插入元素到正确位置。快速排序:分治法,选择枢纽元素划分数组。合并排序:分治法,递归排序和合并子数组。

如何使用C++中的基数排序算法 如何使用C++中的基数排序算法 Sep 19, 2023 pm 12:15 PM

如何使用C++中的基数排序算法基数排序算法是一种非比较性的排序算法,它通过将待排序的元素分割成一组有限的数字位来完成排序。在C++中,我们可以使用基数排序算法来对一组整数进行排序。下面我们将详细讨论如何实现基数排序算法,并附上具体的代码示例。算法思想基数排序算法的思想是将待排序的元素分割成一组有限的数字位,然后依次对每个位上的元素进行排序。在每个位上的排序完

See all articles