大家好，我是蘑菇先生。
首发原文也可参见群众号"蘑菇先生学习记"。
当天先分享一篇最新的探求与应用的文章，是阿里妈妈宣布在KDD2022的文章， AdversarialGradientDrivenExplorationforDeepClick-ThroughRatePrediction (AGE)，钻研了如何在精排CTR模型中钻研探求与应用疑问(Exploration-Exploitation)。与以往上班不同的是，AGE可以在不扭转 CTR预估散布 的前提下启动有效的探求，能够清楚优化模型收敛速度和CTR等目的，也能够处置长尾和冷启动item的CTR准确预估。
现有的精排模型重要在搜集的曝光数据上启动训练，大多面临着重大的feedback-loop疑问：即：模型在曝光数据上启动训练，而后展现items给用户，搜集到的曝光item数据又会作为模型的输入启动降级，久而久之曝光偏向和马太效应会越来越重大，模型很容易堕入自嗨形态，只对头部ITEM学习充沛，形成少量新ITEM或长尾ITEM不可被反常学习，预估置信度低，得不到反常的曝光时机。很或者介绍用户不感兴味的item，影响用户体验。实质上就是介绍系统中常说的消息茧房或filter
为了证实曝光量和模型预估分之间的相关，作者画了一幅图，画出真实点击率和曝光量之间的相关。可以看出，一个新的item须要平均1W次曝光点击率才会收敛。换句话说，曝光在1W次以下，点击率或者都不是置信的，存在低估的或者，和其真实点击率相去甚远。
这实践上引出了现有介绍/搜查等系统广泛存在的 一个困境 ：关于曝光资源调配和预估置信度之间的权衡，即：如何给用户展现 其感兴味并曝光足够的item (曝光量足够时预估点击率才更准)，同时还能为新item或长尾item预留足够的曝光资源( 资源充沛应用 ， 不糜费 )。
工业界面对这种疑问，一种最经常出现的方法是在精排后置链路上统筹探求与应用(EE)，比如UCB，汤普森采样等，其实质原理在于，给予模型预测值不确定性大(比如预测值置信区分宽度)的item曝光时机，再基于用户的行为反应极速挑选出低价值的item，淘汰低价值的item，最终item的模型预测值会收敛到其希冀值左近。实践上是在模型预测准确率和预测不确定之间做权衡。
因为引入了不确定性，item最终的预估值散布会和真实散布存在较大的diff。比如在UCB方法中，预估的不确定性下限值会加到原始模型预测值上，构成最终的预测分。而预估散布的变动或者会影响广告等真实业务。
为了处置预估散布偏移较大的疑问，作者提出可以将探求模块嵌入到CTR模型中，在输入侧启动不确定性的建模和扰动，而不是在预估输入侧启动扰动。这样的好处是可以保障探求后的预估散布和原始预估散布较为分歧和对齐。
本文的重要奉献包含：
全体的方法一言以蔽之。在精排CTR模型中，引入一种伪探求模块启动探求，会基于CTR预估的不确定性和反抗梯度在输入侧做扰动，不确定性越大，则扰动越大，代表探求水平越大。同时引入了一个灵活阈值单元来建模item的希冀CTR值，输入是item的特色，输入是doc的CTR值，权衡了item的后劲，若精排模型的CTR值小于灵活阈值单元的CTR值，则以为该item是低后劲的，就不启动扰动做EE，否则启动扰动。
上方来区分启动探求模块和灵活阈值单元。
伪探求模块的目的是：
即：管理扰动在必定范围内，最小化扰动后的CTR预估值和真实之间的损失。是超参数，即：每次扰动L2范数会小于该值。
但不是一切的item都有label。为了处置这个疑问，作者以为 伪探求模块 的目的是优化CTR低估item的曝光概率，因此自动被探求item的。但1是CTR值的上界，真实CTR值必需是小于1的。为了处置这个gap，会在扰动上界的基础上继续乘个降权系数。CTR低估的越重大(不确定性越大)，其扰动上界也越大，让其CTR优化越迫近1，越无时机做探求；未低估时，则尽量不启动扰动，也即扰动的下限迫近0。因此扰动上界的系数应该与CTR预估的不确定性水平正相关，给不确定性大的item更多的扰动时机。因此新的目的是（原paper此处是argmax团体以为是笔误，等正式cameraready了）
上述方式的解是：
其中，权衡了CTR预估值的不确定性，作为扰动大小的步长。是反抗梯度，是扰动的方向。是超参数。上方引见和的计算方法。
参考SIGIR2021关于汤普森采样和梯度降低联合做EE的上班[3]，驳回蒙特卡罗-dropout(MC-Dropout[4])战略来计算不确定性。
首先繁难引见下MC-dropout，一种权衡模型预测不确定性的方法，外围现实是须要对同一个输入启动屡次前向流传环节，这样在dropout的加持下可以获取不同网络结构的输入，将这些输入启动平均和统计方差，即可获取模型的预测结果及uncertainty。这个环节是可以并行的，时期上可以等于启动一次性前向流传。成功起来其实就是dropout，惟一的区别在于MC-dropout在infer/test阶段也要关上dropout，把Dropout当作一个自然的随机出现器，经过屡次前向流传来计算不确定性。
成功起来形如：
其中，就是经过伯努利散布采样获取的mask，shape和一样，是element-wise的乘法，等价于在上做随机摈弃，这样不同的mask就能够发生不同的输入值，每个可以了解为是从真实CTR散布上采样获取的。MC-dropout的好处在于不须要变革原来的精排模型，成功起来十分繁难。获取了MC-dropout采样的多种后，就可以计算不确定性了。一种方式是UCB中的屡次采样并计算的方差/规范差。
不减少扰动的预测值可以了解为CTR预估的希冀值，是详细某个sample，上述就是预估的规范差。
还有一种是汤普森采样中的 单次采样 ，间接拿单个采样的deviation权衡不确定性，即：
第一种是极速梯度法(FastGradientMethod)，也即单步梯度降低，即：
可以看到，求的是未扰动时对的梯度。也即 扰动的方向是跟着y对x的梯度方向走的 。用数学的方式就是沿着曲线的切线或一阶导数的方向移动，这样能够尽或者保障扰动不会影响全体值的散布，同时扰动是沿着 y值增长的方向 ，使得探求后的CTR值会大于原始CTR值，到达 探求的目的 。如下图白色箭头局部所示：
再做个梯度的归一化，获取单位梯度，重点关注的是梯度的方向，而不是大小：
上述单步梯度或者不能准确地计算好反抗梯度(没有解释)。作者提出驳回投影梯度降低法(projectgradientdescent)，驳回T步梯度降级：
上述第二个递推式的意思是先对做扰动后，再计算扰动后的预测值对的梯度，而后降级，共口头T步。
有了扰动的大小和方向的计算方法后，就能够获取 伪探求预测分数 ，即：
以往的上班[5]可以证实这种反抗梯度扰动能够权衡模型的泛化性。换一种视角来了解，这种反抗搅扰实质上是探求发现哪些samples在输入空间泛化性很差，泛化性差就做扰动和探求，并保管在训练样本中做继续训练，直到泛化性变好或不确定性变小为止。
从前文图1咱们可以看到，item的CTR会随着曝光的增长而增长，直到收敛。因此，假设某个item的CTR没有随着曝光有增长的趋向，实践上就不是后劲item，没有必要做探求了。因此，假设探求后的CTR值小于未探求前的CTR，那实践上就没必要做探求了。应该把探求的时机给那些高潜的item。
为此，探求系统须要一个灵活阈值单元来过滤低CTR的样本。所谓的灵活阈值是指不同item有不同的阈值，大于该阈值则以为有探求价值。这实质上相似一个后劲预测模型。作者的做法是经常使用一个繁难的网络，输入的特色只包含item侧的特色(相似item单塔网络)，来预测item的希冀CTR。即：
即为阈值，当探求模块的预测值小于该值时，则不启动探求，否则启动探求。则最终探求精排分为：
加了一个0/1的批示函数，小于阈值时，扰动项未0，即不启动扰动。
到此为止，咱们可以看一下全体的模型架构：输入侧1条样本包含了user侧特色、item侧特色，经过embeddinng后：
全体成功思绪其实还是比拟明晰的。有个独自的探求模块做屡次前向流传和不确定性预测；有个独自DTU模块来决策能否要启动探求。
学习目的有2个，包含探求CTR预估目的和灵活阈值单元目的。
第一个损失即带MC-dropout启动探求的CTR预估损失；第二个是item维度全局的CTR希冀。
驳回驰名的LinUCB[6]的数据集：Yahoo!R6B>评价目的：点击数(无偏数据集，有真实点击数据)，参考了[3]和[8]的方式。
网络成功上，设置为0.001，MC-Drop为0.01，驳回PGD。依据不确定性计算分为：AGE-TS和AGE-UCB(N=20次，20次前向流传来计算不确定性)。训练时在前8W条日志上启动初始化CTR模型训练，而后在残余的数据上启动不确定性AGE模型的训练。
评价不确定性中的大小和反抗梯度方向、DTU的影响。
还做了梯度优化的对比以及DTU和固定阈值的比拟：
在阿里的展现广告平台部署，试验时期是2021年4月这一整个月。试验细节：
驳回的目的：CTR、PV、PCOC(预估CTR/真实观测CTR，权衡了CTR预估能否有偏，越凑近1越准，大于1高估，小于1低估)、AFR(广告follow-up率)。
下表是对新item做探求后的目的，ensemble-UCB相比于base模型负向；汤普森采样是正向的；其中AGE-TS最为清楚。包含PCOC也更凑近1。
作者还画出了AGE-TS在线预估CTR和曝光数的相关。可以看出收敛性优化了十分多。曝光很小的时刻，CTR就基本收敛到了均值。这能够说明AGE-TS一方面能够使得CTR预估的更准，另一方面关于长尾、冷启的item也能够预测的更准。
这篇文章全体上还是十分无心思的，在精排模型里间接参与这种探求模块做EE，相较于以往在精排后、重排层中做EE战略有很大的不同。既能够保障CTR预估精准，还能够清楚处置长尾、冷启动item的介绍，同时探求机制能够缓解系统的feedbackloop疑问。未来实践上可以思考在召回、粗排等链路也参与这种探求机制。
[1] 阿里妈妈技术团队5篇论文中选KDD2022:
[2]SongY,WangL,DangH,etal. UnderestimationRefinement:AGeneralEnhancementStrategyforExplorationinRecommendationSystems [C]//Proceedingsofthe44thInternationalACMSIGIRConferenceonResearchandDevelopmentinInformationRetrieval.2021:1818-1822.
[3]YuhaiSong,LuWang,HaomingDang,WeiweiZhou,JingGuan,XiweiZhao,ChangpingPeng,YongjunBao,andJingpingShao.2021. UnderestimationRefinement:AGeneralEnhancementStrategyforExplorationinRecommendationSystems .InProceedingsofthe44thInternationalACMSIGIRConferenceonResearchandDevelopmentinInformationRetrieval.1818–1822.
[4]YarinGalandZoubinGhahramani.2016. Dropoutasabayesianapproximation:Representingmodeluncertaintyindeeplearning .Ininternationalconferenceonmachinelearning.PMLR,1050–1059.
[5]AndrasRozsa,ManuelGünther,andTerranceEBoult.2016. Areaccuracyandrobustnesscorrelated .In201615thIEEEinternationalconferenceonmachinelearningandapplications(ICMLA).IEEE,227–232.
[6]LihongLi,WeiChu,JohnLangford,andXuanhuiWang.2011. Unbiasedofflineevaluationofcontextual-bandit-basednewsarticlerecommendationalgorithms .InProceedingsofthefourthACMinternationalconferenceonWebsearchand>[7]KevinPMurphy.2012. Machinelearning:aprobabilisticperspective .MITpress.
[8]ChaoDu,ZhifengGao,ShuoYuan,LiningGao,ZiyanLi,YifanZeng,XiaoqiangZhu,JianXu,KunGai,andKuang-ChihLee.2021. ExplorationinOnlineAdvertisingSystemswithDeepUncertainty-AwareLearning .InProceedingsofthe27thACMSIGKDDConferenceonKnowledgeDiscovery&>编辑于2022-06-2109:27
标签： 广告、 介绍系统、 ctr、本文地址： https://yihaiquanyi.com/article/14fc07d489cf0741fdbd.html
上一篇：从来就没有什么救世主也不靠神仙图片从来就...
网站首页
提交收录
收录查询
文章资讯
热门排行
软文发布
自助广告
