EMNLP：提示工程是新的特征工程
亚马逊网络服务AI实验室首席应用科学家Miguel Ballesteros表示，为了使大型语言模型发挥最大效用，它们需要生成连贯一致的输出，并能够识别以不同方式表达的提示。
作为今年自然语言处理实证方法会议（EMNLP）语义学领域的高级主席，Ballesteros指出，随着大型语言模型在该领域的重要性日益增长，"提示工程"已成为主要研究课题。
"过去我们使用特征工程，你有一个统计模型，添加不同类型的表示或特征，然后需要调整模型及其特征，"Ballesteros说。"如今，有了大型语言模型，新出现的是各种形式的提示概念，作为引导模型的方式。"
提示的多重含义
像GPT-3这样的大型语言模型被训练为基于上下文预测单词序列。足够大的模型在足够多的数据上训练后，最终会编码整个语言的单词序列概率。提示是模型用来生成文本的基础输入。
"有时提示本质上是一个词序列，就像提示你的计算机终端——一个命令，"Ballesteros解释道。"但'提示'也用来指软提示，一个向量；这些也被称为任务特定嵌入或任务嵌入。任务嵌入帮助模型执行模式切换。例如，指示要生成的文本应该使用一种语言或另一种语言的向量被称为语言向量。"
直接访问模型知识
长期以来，大型语言模型一直被用作自然语言处理（NLP）模型的基础；在典型场景中，预训练的语言模型会在为特定任务标注的数据上进行微调。但提示是直接访问大型语言模型中编码知识的一种方式。
问题是，虽然信息可能在里面，但提取它可能是一件碰运气的事：当被提示断言一个事实时，大型语言模型可能会提供可靠的信息，也可能会胡说八道。然而，Ballesteros认为，这些只是一项年轻技术不可避免的成长痛苦。
提示鲁棒性与任务组合
Ballesteros指出："'提示工程'这个术语的存在意味着当前可用的模型只有在给出最佳命令时才能工作。有论文在研究通用提示的概念——关于提示鲁棒性的论文，以及如何衡量提示转述鲁棒性。"
提示工程还为大型语言模型提供了一种进行少样本泛化的方法，在这种方法中，在一组通用任务上训练的机器学习模型只需几个例子就能学习新的或相关的任务。
"这些模型还可以执行任务组合，"Ballesteros说。"通过输入中提供的词语，它们可以进行风格转换和摘要，甚至可以用多种语言完成。"
新兴研究方向
Ballesteros在EMNLP上还注意到其他几个研究趋势。其中之一是推理。
"最近变得非常活跃，"他说。"有有趣的论文展示了如何训练模型，使它们能够在响应提示之前生成思维链。思维链生成有助于这些模型提供更好的答案，所以在某种程度上，就好像模型在自言自语。"
最后，Ballesteros表示，尽管单词序列预测在自然语言处理中取得了成功，但添加其他类型的结构信息可能会带来更好的模型。"有很多好的工作在研究如何让我们的模型意识到语言结构甚至文档结构，而不仅仅是依赖普通的单词序列。"
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）
公众号二维码
