转载自：炼丹笔记

如何用有限的数据做出最佳的效果？除了一个优秀的模型以外，最有效的方法就是做数据增强了。自然语言处理(NLP)不同于图像，可以做裁剪，反转，缩放等操作来增强，而是有文本特别的处理方式。这篇论文《CODA: CONTRAST-ENHANCED AND DIVERSITYPROMOTING DATA AUGMENTATION FOR NATURAL LANGUAGE UNDERSTANDING》提出的CoDA方案号称能在Roberta-large上平均提升2.2%的效果，那我们就来看看这篇到底提出了哪些方法吧。

数据增强

这篇论文主要探讨如何在文本分类做数据增强，当然这些数据增强的方法一样可以用在其他NLP任务中。

一句话概括数据增强，就是把原有训练集合:

通过某种变换，转变成新的训练集合:

我们用这两个集合的数据，去学习参数:

参考以往论文给出的数据增强的方法，可以概括为下图：

back-translate(回译)很容易理解，如上图，英语翻译成德语又翻译回英语，作为训练样本。

Adversarial Training(对抗训练):对抗训练方法被用于文本数据提升模型的鲁棒性。对抗训练不需要任何额外的领域知识，只需要模型本身产出样本，这些样本都是模型最容易预测错的样本。下面是两个最常用的对抗训练的loss。

其实就是要找到模型认为相似的样本加入到模型中训练，但是在实际使用时，我们很难获得准确的对抗样本，因此可以用模型梯度构建相似的对抗样本，如下公式所示：

提升多样性

上述数据增强方法思路其实都很一致，找到已有样本的相似样本，训练目标也较为一致。这时候思考一个问题，不同的数据增强方法是等同的，还是互补的呢？是否可以混合所有数据增强方法提升模型泛化能力呢？CV上已经证明是有效的，应用到文本就难多了，对文本轻微的可能会带来语意上的巨大差异。

本文提出了多种混合数据增强的方法，如下图所示：

 这3种其实没啥好说的，字面意思。(a)就是在一个mini-batch中，采用一个随机的数据增强方法把x变为x'，(c)就是把x用一系列的数据增强方法变成x'。(b)是混合插值，是对两个样本的embedding ei和ej做操作，其中a是符合beta分布。

值得注意的是sequential stacking的方式，牵涉到各个增强方法的顺序，并不是所有顺序都是合理的，比如我们不可能在生成对抗训练样本后，去做回译，正确的融合方式如下：

这种融合方式，可以简单的用下面的公式表示:

先用xi做回译得到xi'，然后找到模型最难分辨的对抗样本，最后计算原样本和对抗样本的loss。我们可以看到loss有3项，第一项就是正常的交叉熵，第二项是对抗loss，第三项是一致性的loss，即样本和对抗样本理应相似度较高，这里RCS定义如下:

对抗正则化

我们看上述loss的3项，反应了我们对抗样本xi要和xi'预估结果要一致，然而却没反应xi'要和xj不一致。为了充分利用数据增强后的数据，论文又提出了对抗学习目标。考虑到xi'是由xi生成的，因此模型应该学到每个数据增强样本的“爸爸”是谁。如下图所示：

memory是用来存储历史embeding的，作为大量的负样本。为了避免encoder更新过快(会导致embeding不一致)，因此提出momentum key encoder，该 encoder不是通过梯度更新参数的，而是通过下式：

当有一个样本xi，增强样本xi'，我们会得到3个embedding：

新的对抗学习目标如下式:

其中t是温度，M就是memory bank，该式表达的意思也很简单，就是样本xi和增强样本xi'和momentum key encoder产出的ki的相似度，要高于memory bank的负样本。和之前的loss一整合，就成了我们最终的学习目标：

实验

多种增强方式混搭的效果比较好，采用回译+对抗训练stack方式取得了最佳效果。关于调参的细节可以看原文。我们着重看下采用数据增强带来的模型提效增益，从下图可以看到，用CoDA的效果，还是很显著的：

参考文献

下载1：四件套
在机器学习算法与自然语言处理公众号后台回复“四件套”，
即可获取学习TensorFlow，Pytorch，机器学习，深度学习四件套！

下载2：仓库地址共享
在机器学习算法与自然语言处理公众号后台回复“代码”，
即可获取195篇NAACL+295篇ACL2019有代码开源的论文。开源地址如下：https://github.com/yizhen20133868/NLP-Conferences-Code

重磅！机器学习算法与自然语言处理交流群已正式成立！
群内有大量资源，欢迎大家进群学习！

额外赠送福利资源！深度学习与神经网络，pytorch官方中文教程，利用Python进行数据分析，机器学习学习笔记，pandas官方文档中文版，effective java（中文版）等20项福利资源
获取方式：进入群后点开群公告即可领取下载链接
注意：请大家添加时修改备注为 [学校/公司 + 姓名 + 方向]
例如 —— 哈工大+张三+对话系统。
号主，微商请自觉绕道。谢谢！

推荐阅读：
Tensorflow 的 NCE-Loss 的实现和 word2vec
多模态深度学习综述：网络结构设计和模态融合方法汇总
awesome-adversarial-machine-learning资源列表