国外网站推广平台有哪些?,做网站的成本在哪,义乌网站网站建设,屏蔽阿里云网站ReAct#xff1a;Synergizing Reasoning and Acting in Language Models
背景
最近的研究结果暗示了在自主系统中结合语言推理与交互决策的可能性。
一方面#xff0c;经过适当Prompt的大型语言模型#xff08;LLMs#xff09;已经展示了在算术、常识和符号推理任务中通…ReActSynergizing Reasoning and Acting in Language Models
背景
最近的研究结果暗示了在自主系统中结合语言推理与交互决策的可能性。
一方面经过适当Prompt的大型语言模型LLMs已经展示了在算术、常识和符号推理任务中通过多步推理推导问题答案的新兴能力。然而这种“思维链(CoT)”推理是一个静态的黑箱因为模型依赖其内部表示生成思维并未与外部世界建立联系这限制了其进行反应性推理或更新知识的能力。这可能导致诸如事实幻觉和推理过程中的错误传播等问题另一方面近期的研究探索了利用预训练语言模型在交互环境中进行规划和行动的可能性 。然而这些方法并未利用语言模型进行高层次目标的抽象推理也未维护一个工作记忆以支持行动。 上图表示4种提示方法的比较。(1a表示普通方法(1b)表示CoT即只有Reason。(1c)表示仅行动(1d)表示ReACT即ReasonAct
上图表示基于AlfWorld解决方案的Act和ReAct方法比较。(2a)表示只有行动(2b)表示ReAct
研究目的、动机
如何以协同的方式结合推理与行动以及这种结合是否能带来相较于单独推理或行动的系统性优势。
成果
作者提出了ReAct这是一种将推理和行动与语言模型相结合的一般范式用于解决不同的语言推理和决策务。 提示LLMs以交错方式生成与任务相关的语言推理跟踪和动作这允许模型执行动态推理以创建、维护和调整高级行动计划Reason to Act同时还与外部环境例如维基百科交互以将其他信息纳入推理Act to Reason。在问答、事实验证、基于文本的游戏和网页导航进行评测证明了提出方法的有效性与精心设计的CoT相竞争。总体上最好的方法是ReAct和CoT的组合允许在推理过程中同时使用内部知识和外部获得的信息。
收获
ReAct思想简述 思考涉及对下一个行动进行推理。在这一步需要评估当前情况并考虑可能的行动方案。 行动基于思考的结果决定采取什么行动。 观察执行行动后需要观察并收集反馈。对行动结果进行评估它可能影响或改变下一轮思考的方向。 While(目标未完成)ThoughtActionObservation对于ReAct来说采取行动检索准确和最新的知识至关重要ReActCoT结合效果会更好一些存在的问题。尽管ReAct可以提高模型的可信度但这种结构约束也降低了其制定推理步骤的灵活性导致推理错误率高于 CoT。 且ReAct具有一种常见错误模式会重复生成之前的想法和行动作者将其归类为 “推理错误” 的一部分因为模型未能推理出正确的下一步行动并跳出循环。此外作者对这四种方法在Prompt和微调基于3000样本点对模型做了微调上进行了测试表明ReAct更适合微调后的场景。可能是前者本质上是教模型记住可能是幻觉的知识事实而后者教模型如何推理和行动以访问维基百科的信息这是一种更通用的知识推理技能。
举例四种方式的Prompt案例
normal Question: 哪位演员出演了《肖申克的救赎》并且还出演了另一部由弗兰克·德拉邦特执导的电影Answer 摩根·弗里曼Question:《肖申克的救赎》的导演是谁Answer弗兰克·德拉邦特Question:摩根·弗里曼在《绿色奇迹》中扮演了什么角色Answer他饰演了角色“艾利斯·波伊德·瑞德”。Question:《绿色奇迹》是哪一年上映的Answer 1999年Act Question: 哪位演员出演了《肖申克的救赎》并且还出演了另一部由弗兰克·德拉邦特执导的电影Action 1查询关于《肖申克的救赎》的文档。Observation 1: 《肖申克的救赎》是一部1994年的电影由弗兰克·德拉邦特执导主演包括蒂姆·罗宾斯和摩根·弗里曼。Action 2查询弗兰克·德拉邦特的其他电影。Observation 2: 弗兰克·德拉邦特还执导了《绿色奇迹》这部电影于1999年上映主演包括汤姆·汉克斯和摩根·弗里曼。Action 3确认摩根·弗里曼是否同时出演了这两部电影。Observation 3:是的摩根·弗里曼在这两部电影中都有出演。Final Answer摩根·弗里曼CoT Question哪位演员出演了《肖申克的救赎》并且还出演了另一部由弗兰克·德拉邦特执导的电影Thought首先我需要找到《肖申克的救赎》的主演名单并确认导演是弗兰克·德拉邦特。Answer 主演包括蒂姆·罗宾斯和摩根·弗里曼导演是弗兰克·德拉邦特。Question弗兰克·德拉邦特还执导了哪些电影Thought我需要查找弗兰克·德拉邦特的其他作品并检查是否有相同的演员出演。Answer弗兰克·德拉邦特还执导了《绿色奇迹》主演包括汤姆·汉克斯和摩根·弗里曼。Question是否有演员同时出演了《肖申克的救赎》和《绿色奇迹》Thought根据以上信息摩根·弗里曼在这两部电影中都有出演。Answer 摩根·弗里曼ReAct Question哪位演员出演了《肖申克的救赎》并且还出演了另一部由弗兰克·德拉邦特执导的电影Thought 1我需要先找到《肖申克的救赎》的主演名单和导演信息。Action 1查询关于《肖申克的救赎》的文档。Observation 1《肖申克的救赎》是一部1994年的电影由弗兰克·德拉邦特执导主演包括蒂姆·罗宾斯和摩根·弗里曼。Thought 2接下来我需要查找弗兰克·德拉邦特的其他电影并确认是否有相同的演员出演。Action 2查询弗兰克·德拉邦特的其他电影。Observation 2弗兰克·德拉邦特还执导了《绿色奇迹》这部电影于1999年上映主演包括汤姆·汉克斯和摩根·弗里曼。Thought 3 : 现在我可以确认摩根·弗里曼同时出演了《肖申克的救赎》和《绿色奇迹》。Final Answer : 摩根·弗里曼
