番禺网站制作价格,网站前台和后台设计,网站建设实施方案,成都网站优化外包大型语言模型(llm)已经变得越来越复杂#xff0c;能够根据各种提示和问题生成人类质量的文本。但是他们的推理能力让仍然是个问题#xff0c;与人类不同LLM经常在推理中涉及的隐含步骤中挣扎#xff0c;这回导致输出可能在事实上不正确或缺乏逻辑。 考虑以下场景:正在阅读一…大型语言模型(llm)已经变得越来越复杂能够根据各种提示和问题生成人类质量的文本。但是他们的推理能力让仍然是个问题与人类不同LLM经常在推理中涉及的隐含步骤中挣扎这回导致输出可能在事实上不正确或缺乏逻辑。 考虑以下场景:正在阅读一个复杂的数学证明。虽然最终的答案可能很清楚但关键在于理解初始条件和结论之间未说明的步骤。在交谈中也一样我们依靠中间的假设和背景知识来理解所说的话。这种内隐的推理的能力是Quiet-STaR为LLM提供的能力。
自学推理器(STaR)
先前的研究已经发明了STaR一种LLM通过从问答示例中推断基本原理来学习推理的技术。但是STaR仅限于特定的任务并且需要访问预先存在的答案-基本原理对。而Quiet-STaR建立在STaR的基础上使LLM能够为他们生成的任何文本生成基本原理使推理过程更加通用和适用。
挑战与解决方案
实现Quiet-STaR有几个挑战。为每个单词生成基本原理在计算上是非常昂贵的。并且LLM本身就缺乏产生或利用这些内在思想的能力。最后Quiet-STaR不仅需要预测下一个单词还需要考虑文本中更长期的依赖关系。
Quiet-STaR背后的研究人员通过一系列创新技术来解决这些挑战:
令牌并行抽样:采用了一种独特的抽样算法其中LLM在文本旁边生成基本原理一次一个令牌(单词)。 可学习的思想令牌:在生成的文本中引入了特殊的符号令牌来表示基本原理的开始和结束。随着时间的推移LLM学会有效地使用这些令牌。
加强教师指导:使用了一种改进的教师指导技术来指导LLM确保正确的输出文本和相应的基本原理。 Quiet-STaR的流程如下 Quiet-STaR的好处
1、Quiet-STaR有助于LLM在句子中预测具有挑战性的单词。这些理由提供了额外的上下文使LLM能够做出更加明智的预测。
2、使用Quiet-STaR训练的LLM在直接回答困难问题方面表现出显著改进。理由引发的推理过程使LLM更有效地处理复杂问题。
3、Quiet-STaR导致推理基准GSM8K和CommonsenseQA上的性能提升而无需在这些特定任务上进行任何微调。这表明LLM将其推理能力推广到未见问题提升了零样本性能 4、Quiet-STaR明显降低了困惑度这是一个指示预测序列中下一个单词难度的度量。这表明理由使得LLM的整体文本生成过程更加顺畅和高效。
总结
Quiet-STaR代表了LLM发展的重大进步。通过使它们能够生成理由并经过与文本生成相关的步骤进行推理Quiet-STaR为更可靠、准确并且能够处理复杂任务的LLM铺平了道路。
目前的研究侧重于文本理由。未来的工作可以探索将其他形式的理由纳入其中例如视觉或符号表示。将理由生成与可解释AI技术结合可以使LLM不仅能够生成理由还能够向用户解释其推理过程增进信任和透明度。Quiet-STaR可以通过将领域特定的知识源纳入到理由生成过程中来进一步针对特定任务进行定制。
论文地址Quiet-STaR: Language Models Can Teach Themselves to Think Before Speaking
https://avoid.overfit.cn/post/1ea458c86cf14b45ac219e7d7e82cdc4
