2021年「顶会论文」特征交叉相关CTR模型汇总

原创缄默笔记缄默笔记

点击上方“蓝字”关注我们吧！

主要介绍2021年顶会论文中，特征交叉相关的CTR模型，主要介绍7篇论文模型。

WWW'21「雅虎」FmFW模型

论文：𝐹𝑀2: Field-matrixed Factorization Machines for Recommender Systems

Link：https://arxiv.org/pdf/2102.12994.pdf

中文参考：FmFM：FM类浅层CTR模型统一框架

1.1 导读

在FwFM基础上，提出FmFM模型，主要贡献：

（1）对FwFM升级优化，提升FmFM模型，并把FM、FwFM统一到FmFM框架

（2）对模型优化提升计算效率：

支持不同特征采用不同的embedding向量维度，通过PCA分析对embedding向量维度降维，每个特征选择适合自身的维度，减少参数量
对中间向量缓存，减少预估时计算量，提高预估效率

（3）把embedding向量，引入到浅层网络线性项中，丰富embedding向量可学习信息

1.2 模型

特征二阶交叉计算过程：

（1）Embedding Lookup：获取特征向量

（2）Transformation：特征向量

v_i

与不同特征交叉时，采用不同的转化矩阵，与转化矩阵相乘得到中间向量，

v_{i,F(j)}

、

v_{i,F(k)}

（3）Dot Product：中间向量与相交叉特征的向量点积

WWW'21「谷歌」DCN V2模型

论文：DCN V2: Improved Deep & Cross Network and Practical Lessons for Web-scale Learning to Rank Systems

Link：https://arxiv.org/pdf/2008.13535.pdf

中文参考：DCN-M：Google提出改进版DCN

2.1 导读

在大规模（几十亿样本）场景下，DCN中cross网络的表达能力有限，无法学到更加有用的特征交叉。尽管学术界做出了大量进展，但工业界很多深度模型还是依赖于传统的DNN来低效地学习特征交叉。

基于DCN的优缺点以及现有的特征交叉方法，作者提出了改进版的DCN V2(DCN-M)来使模型更容易在大规模工业场景下落地，主要贡献：

提出了一种新的DCN V2模型来有效地学习显式和隐式特征交叉，模型高效、简单的同时，表达能力更强。
基于DCN V2中学习出的低秩矩阵，利用低秩方法来在子空间中进行近似特征交叉，在模型效果和时延上达到了更好的权衡。
受MOE结构启发，将矩阵分解至多个子空间，随后通过门控机制来对这些子空间进行融合。

2.2 模型

DCN中cross网络的参数是向量，DCN V2中换成了矩阵，表达能力更强。

利用低秩方法来在子空间中进行近似特征交叉，在模型效果和性能上达到了更好的权衡，同时受MOE结构启发，将矩阵分解至多个子空间，随后通过门控机制来对这些子空间进行融合。

SIGIR'21「Boss直聘」SAM模型

论文：Looking at CTR Prediction Again: Is Attention All You Need?

Link：https://arxiv.org/pdf/2105.05563.pdf

中文参考：SAM：重新思考CTR模型中Attention的作用

3.1 导读

目前已提出很多基于深度学习的CTR模型，大多数工作聚焦于模型是否达到state-of-the-art效果，忽视了整个框架是否合理，因此本文使用离散模型选择(DCM, discrete choice model)，重新审视CTR预估问题，基于self-attention机制提出一种通用框架，并且发现大多数现有模型与本文通用框架是一致的。

3.2 模型

通用框架主要由以下几部分构成：

（1）Embedding layer(EL)：获取embedding向量

（2）Feature interaction(FI)：特征交叉组合，如FM、self-attention等

（3）Aggregation layer(AL)：直接拼接或者加权求和，对特征进行聚合

（4）Space transformation(ST)：通过采用MLPs进行非线性变换

CIKM'21「爱奇艺」FINT模型

论文：FINT: Field-aware INTeraction Neural Network For CTR Prediction

Link：https://arxiv.org/pdf/2107.01999.pdf

中文参考：FINT：基于特征域交叉的CTR模型

4.1 导读

特征交叉组合在模型中非常重要，充分利用低阶和高阶特征交叉，可以进一步提升模型效果。目前存在两个问题：

高阶特征交叉未充分挖掘
现有的高阶特征交叉方法（Wide&Deep、DeepFM、XDeepFM等），在交叉过程中，忽视了低阶域层次（field-level）的语义信息

因此论文提出FINT模型(Field-aware INTeraction)，在进行高阶特征交叉的同时，保留低阶域信息。

4.2 模型

V^{l-1}

和

V^0

层输出作为

V^l

层输入，计算分为三步：

（1）Hadamard积：

V^{l-1}

和

(V^0)^T

矩阵进行Hadamard乘积，得到

M*M*D

维矩阵(

M

为fields个数，

D

为embedding维度)，如上图中间灰色矩阵，第一行由

v^{l-1}_1

与

v^0_0,...v^0_{M-1}

分别计算Hadamard积得到，即

[v_1^{l-1}\odot v_0^0,v_1^{l-1}\odot v_1^0,...,v_1^{l-1}\odot v_{M-1}^0]

，因此特征交叉是在向量层次进行。

（2）通道加权求和：对（1）中的

M*M*D

维矩阵，每行

M

个向量进行加权求和，得到

M*D

维向量，如

v^l_1

由

[v_1^{l-1}\odot v_0^0,v_1^{l-1}\odot v_1^0,...,v_1^{l-1}\odot v_{M-1}^0]

中

M

个向量加权求和得到。

（3）残差连接：同时引入残差网络，

V^{l-1}

与（2）中结果进行残差连接。

PAKDD'21「腾讯」XCrossNet模型

论文：XCrossNet: Feature Structure-Oriented Learning for Click-Through Rate Prediction

Link：https://arxiv.org/pdf/2104.10907.pdf

中文参考：XCrossNet：面向特征结构学习的CTR模型

5.1 导读

推荐场景中特征主要分为两大类：稠密特征（连续特征）和稀疏特征（类别特征），常见的连续特征处理方式有三种：

不参与特征交叉，只参与模型线性部分
直接与类别特征concat一起，这种方式可能导致重要特征维度不平衡问题（连续特征维度一般远小于类别特征维度）
通过分桶方式把连续特征离散化，转化为类别特征，这种方式会引入超参数和损失特征信息（分桶后，同一个桶内连续特征不再有区分度）

大多数模型侧重类别特征交叉计算，忽视了连续特征交叉表达，很少针对不同特征结构单独学习特征表达。

针对上述问题，论文提出XCrossNet模型，用更明确的方式分别学习连续特征和类别特征的交叉组合。

5.2 模型

模型主要由三部分构成：

（1）Feature Crossing层：连续特征(Dense Features)和类别特征(Sparse Features)各自进行交叉计算，得到高阶交叉组合特征；

（2）Feature Concatenation层：两类特征各自交叉后，拼接在一起，两类特征间再进行交叉组合；

（3）Feature Selection层：通过DNN学习非线性，得到预估结果。

CIKM'21「阿里」DESTINE模型

论文：Disentangled Self-Attentive Neural Networks for Click-Through Rate Prediction

Link：https://arxiv.org/pdf/2101.03654.pdf

中文参考：DESTINE：基于解耦自注意网络的CTR模型

6.1 导读

鉴于CTR预估数据具有稀疏和高维的特点，对高阶特征交叉建模是进行有效预估的关键，通过自注意神经网络(self-attention)对特征向量进行点积计算，是一种有效方式，但点积是在两个特征之间进行，忽视了单个特征域(field)的影响。

针对上述问题，论文提出 DESTINE结构，将一元(unary)特征重要性计算，从二阶特征交叉(pairwise interaction)解耦出来：一元项学习单个特征相对其他特征的重要度，二阶交叉项单纯地学习每个特征对的影响。

6.2 模型

整体网络构成与AutoInt基本一致，区别是把自注意模型升级为解耦自注意模型，网络主要构成：

采用解耦自注意模型计算特征间权重
采用multihead attention，并引入残差结构
叠加多层，最后一层特征作为输入，由一层FC得到预估分

CIKM'21「华为」EDCN模型

论文：Enhancing Explicit and Implicit Feature Interactions via Information Sharing for Parallel Deep CTR Models

Link:https://dlp-kdd.github.io/assets/pdf/DLP-KDD_2021_paper_12.pdf

中文参考：EDCN：通过信息共享增强并行CTR模型显式和隐式特征交叉

7.1 导读

特征交叉有显式和隐式两种方式，联合学习显式和隐式特征交叉能显著提升模型效果，根据交叉组合方式，深度CTR模型分为两类：

堆叠结构：如PIN、DIN、DIEN
并行结构：如DeepFM、DCN、XDeepFM

存在以下两个问题：

（1）隐层共享不足：显式和隐式交叉分别独立进行，只在最后一层进行融合，中间隐层没有进行信息共享，会弱化两者之间的交叉信号，容易导致反向传播时发生梯度倾斜；

（2）输入层过度共享：两种交叉方式采用相同的embedding作为输入，未作区分，不同的特征适合不同的交叉方式，共享输入对于并行结构不一定是合理的，可能导致模型结果为次优。

为解决上面问题，论文提升EDCN模型：引入了两个核心模块：

Bridge模块：通过协同工作来更好地捕获子网络分层间的交互信号
Regulation模块：为不同并行子网络的隐层学习不同的特征分布

这两个轻量级的模块是模型无关的，可以很好地适配到各类主流并行深度CTR模型。

7.2 模型

模型在DCN基础上线，引入Bridge和Regulation模块：

（1）Bridge模块：Late Fusion只在最后一层进行融合，中间隐层没有进行信息共享，会弱化显式和隐式之间的交叉信号，容易导致反向传播时发生梯度倾斜。Bridge模块采用Dense Fusion方式，在每一层都进行信息共享，通过协同工作来更好地捕获子网络分层间的交互信号。

（2）Regulation模块：不同特征适合不同的交叉函数，Regulation模块通过field-wise门控网络，使并行结构各部分特征分布不同。

END

扫码关注更多精彩

继续滑动看下一个