摘要：本文介绍了当前非常流行的提示学习（Prompt Learning）方法，从理论到实践进行了详细介绍。阐述了背景，介绍了NLP领域的四个主要范式，以及预训练+微调和提示学习这两种方法。与预训练+微调方法相比，提示学习是通过让下游任务适配预训练模型，将所有NLP任务统一转化为语言模型问题，从而提高预训练模型的利用率。重点介绍了提示学习的工作原理，包括提示的作用、文本分类流程、提示的形状以及如何设计提示。最后，通过使用百度paddleNLP库进行实践，对比了预训练+微调和提示学习在小样本场景下的多分类任务中的效果，结果表明使用提示学习可以明显提升效果。本文对于希望将提示学习应用于实际业务的读者将会有所帮助。

下面将按照以下思维导图进行学习分享：

01背景介绍

最近，NLP领域掀起了提示学习的热潮，本文讨论了如何将其应用于广告场景。首先介绍了NLP领域的四个主要范式，以及以BERT为代表的预训练+微调范式的优势和应用范围的广泛性。随着预训练模型的不断增大，微调所需的硬件成本和要求也越来越高。为了解决这一问题，提示学习成为了一个值得关注的方向。提示学习的目标是使用完全无监督的预训练模型来解决下游任务，省去微调的步骤，让下游任务适配预训练模型。通过对比预训练+微调和提示学习的差异，可以看出提示学习可以更充分地利用预训练模型，大大提高其使用效率。

02提示学习详解

2.1提示的主要作用

相较于预训练+微调方法，提示学习最大的优势在于充分利用了预训练模型的能力。通过添加提示信息，将下游任务转化为预训练阶段的掩码预测任务。

2.2提示文本分类流程

接下来，通过介绍NLP中最常见的文本分类任务，对比了预训练+微调方法和提示学习方法的流程。对于预训练+微调方法，将输入文本添加开始标志[CLS]和结束标志[SEP]，经过预训练模型编码后得到编码结果，将[CLS]标志作为句向量用于文本分类流程。而对于提示学习方法，使用了不同的提示来适配不同的下游任务。通过图示对比，可以更加直观地理解这两种方法之间的差异。

标签： 广告、 Prompt、 NLP、 learning、

本文地址： https://yihaiquanyi.com/article/d2e16503bce2a317a047.html

上一篇：内涵动物头像内涵动物以前的汽车广告有多野...
下一篇：游戏广告为何故意失败游戏广告为何如此沙雕...