怎么做轴承网站,网站评论回复如何做,嘉兴网站托管,工业设计产品效果图大语言模型#xff08;LLMs#xff09;在近年来取得了快速发展。本文总结了2024年6月上半月发布的一些最重要的LLM论文#xff0c;可以让你及时了解最新进展。
LLM进展与基准测试
1、WildBench: Benchmarking LLMs with Challenging Tasks from Real Users in the Wild Wi…大语言模型LLMs在近年来取得了快速发展。本文总结了2024年6月上半月发布的一些最重要的LLM论文可以让你及时了解最新进展。
LLM进展与基准测试
1、WildBench: Benchmarking LLMs with Challenging Tasks from Real Users in the Wild WildBench是一个自动评估框架使用具有挑战性的、现实世界中的用户查询来基准测试大语言模型LLMs。WildBench包含1,024个任务和精心挑选超过一百万个人机对话日志。
为了使用WildBench进行自动评估论文开发了两个指标WB-Reward和WB-Score这些指标可以使用高级LLMs如GPT-4-turbo计算。
https://arxiv.org/abs/2406.04770
2、NATURAL PLAN: Benchmarking LLMs on Natural Language Planning NATURAL PLAN是一个在自然语言中进行现实规划的基准测试包含三个关键任务旅行规划、会议规划和日历安排。
这个评估重点是在完全了解任务信息的情况下对LLMs的规划能力进行评估通过提供来自Google Flights、Google Maps和Google Calendar等工具的输出作为模型的上下文。这消除了在评估LLMs在规划方面的需要使用工具环境的需求。
随着问题复杂度的增加模型性能急剧下降所有模型在涉及10个城市的情况下的表现均低于5%这凸显了在自然语言规划中存在的显著差距。
论文还对NATURAL PLAN进行了广泛的消融研究进一步揭示了自我纠正、少量示例泛化和长上下文规划等方法在改善LLM规划方面的无效果。
https://arxiv.org/abs/2406.04520
3、Tx-LLM: A Large Language Model for Therapeutics 开发治疗方法是一个漫长且昂贵的过程需要满足许多不同的标准而能够加速此过程的AI模型非常宝贵。
当前大多数AI方法仅解决特定领域内明确定义的任务范围。而Tx-LLMPaLM-2微调编码了关于多种治疗方式的知识。
Tx-LLM使用709个数据集进行训练这些数据集针对药物发现流程的各个阶段的66个任务。使用一组权重Tx-LLM可以同时处理各种化学或生物实体小分子、蛋白质、核酸、细胞系、疾病与自由文本的交错预测广泛的相关属性与最新的SOTA性能竞争其中43个任务达到了SOTA性能22个超过了SOTA。
https://arxiv.org/abs/2406.06316
4、Towards a Personal Health Large Language Model 在健康领域大多数大语言模型LLM研究侧重于临床任务。很少将移动和可穿戴设备集成到此类任务中这些设备提供了丰富的纵向个人健康监测数据。
论文介绍了个人健康大语言模型PH-LLM它是从Gemini微调而来用于理解和推理数值时间序列个人健康数据。创建并整理了三个数据集用于测试
从睡眠模式、身体活动和生理反应中生成个性化见解和建议。领域专家知识预测睡眠结果。
尽管对于安全关键的个人健康领域还需要进一步的开发和评估但这些结果展示了Gemini模型的广泛知识和能力以及在个人健康应用中对生理数据进行情境化的好处正如PH-LLM所做的那样。
https://arxiv.org/abs/2406.06474
5、Accessing GPT-4 level Mathematical Olympiad Solutions via Monte Carlo Tree Self-refine with LLaMa-3 8B MCTSr算法是将大语言模型LLMs与蒙特卡洛树搜索MCTS创新整合的方法旨在提高复杂数学推理任务的性能。
面对LLMs在策略和数学推理中的准确性和可靠性挑战MCTSr利用系统探索和启发式自我完善机制来改进LLMs内的决策框架。
该算法通过迭代的选择、自我完善、自我评估和反向传播过程构建蒙特卡洛搜索树使用改进的上限置信区间UCB公式来优化探索和利用的平衡。
广泛的实验表明MCTSr在解决奥林匹克级数学问题上的有效性显著提高了多个数据集上的成功率包括GSM8K、GSM Hard、MATH和奥林匹克级基准如 Math Odyssey、AIME和OlympiadBench。
https://arxiv.org/abs/2406.07394
6、MedFuzz: Exploring the Robustness of Large Language Models in Medical Question Answering 大语言模型LLM在医学问答基准测试中取得了令人印象深刻的表现。但是高基准测试准确率并不意味着能够推广到真实世界的临床环境中。
医学问答基准测试依赖于与量化LLM性能一致的假设但这些假设在临床的开放环境中可能不成立。论文寻求量化LLM在医学问答基准测试性能在基准假设被违反时的推广能力。提出了一种我们称为MedFuzz用于医学模糊测试的对抗性方法。
论文介绍了一种排列测试技术可以确保成功的攻击具有统计意义。并展示如何使用在“MedFuzzed”基准上的表现以及单个成功攻击来使用这些方法。这些方法在提供洞察LLM在更现实设置中的稳健操作能力方面显示出希望。
https://arxiv.org/abs/2406.06573
7、mOSCAR: A Large-scale Multilingual and Multimodal Document-level Corpus 多模态大语言模型mLLMs在大量的文本-图像数据上进行训练。尽管大多数mLLMs是在仅有标题的数据上训练的Alayrac等人展示了在它们的训练中额外包含文本和图像的交错序列可以促使上下文学习能力的出现。
但是他们使用的数据集M3W是不公开的并且仅限英语。当前的多语种和多模态数据集要么仅由标题组成要么规模中等或完全是私有数据。这限制了对世界上其他7000种语言的mLLM研究。因此论文推出了mOSCAR这是第一个从网络爬取的大规模多语种和多模态文档语料库。
它涵盖了163种语言、3.15亿文档、2140亿标记和12亿图像。作者还仔细进行了一系列的过滤和评估步骤以确保mOSCAR足够安全、多样化且质量良好。
最后作者还训练了两种类型的多语种模型以证明mOSCAR的好处1在mOSCAR的一个子集和标题数据上训练的模型以及2仅在标题数据上训练的模型。在mOSCAR上额外训练的模型在各种多语种图文任务和基准测试中表现出强大的少数示例学习性能。
https://arxiv.org/abs/2406.08707
8、Are We Done with MMLU? 论文识别并分析了流行的大规模多任务语言理解MMLU基准中的错误。尽管MMLU广泛使用但分析显示许多真实错误掩盖了LLMs的真正能力。
例如发现在分析的病毒学子集中57%的问题存在错误。为了解决这个问题引入了一个全面的框架来使用新的错误分类法识别数据集错误。然后创建了MMLU-Redux这是一个包含30个MMLU科目中3000个手动重新标注问题的子集。
使用MMLU-Redux展示了与最初报告的模型性能指标之间的显著差异。结果强烈支持修订MMLU错误问题以增强其未来作为基准的实用性和可靠性。
https://arxiv.org/abs/2406.04127
9、CS-Bench: A Comprehensive Benchmark for Large Language Models Towards Computer Science Mastery 计算机科学CS是人类智能的复杂体现推动了人工智能和现代社会的发展。当前的大语言模型LLMs社区过分关注分析特定基础技能的基准例如数学和代码生成忽略了对计算机科学领域的全面评估。
论文引入了CS-Bench这是第一个双语中英文基准专门用于评估LLMs在计算机科学中的表现。CS-Bench包含约5K精心策划的测试样本涵盖计算机科学的4个关键领域中的26个子领域包括各种任务形式和知识与推理的分区。
https://arxiv.org/abs/2406.08587
10、Samba: Simple Hybrid State Space Models for Efficient Unlimited Context Language Modeling 高效模拟具有无限上下文长度的序列一直是一个长期存在的问题。过去的工作要么存在二次计算复杂性问题要么在长度泛化能力上有限。
Samba是一种简单的混合架构通过分层结合Mamba一种选择性状态空间模型SSM和滑动窗口注意力SWA在保持精确记忆回忆能力的同时选择性地压缩给定序列到递归隐藏状态。
论文将Samba扩展到38亿参数使用32亿训练标记并展示了Samba在一系列基准测试上显著优于基于纯注意力或SSM的最新模型。
在4K长度序列上训练时Samba可以有效地外推到256K上下文长度并在高达1M上下文长度的标记预测上表现出改善。
作为一个线性时间序列模型Samba在处理128K长度用户提示时的吞吐量比采用分组查询注意力的transformer高出3.73倍并在生成64K标记的无限流式传输中加速3.64倍。
https://arxiv.org/abs/2406.07522
11、 Why Has Predicting Downstream Capabilities of Frontier AI Models with Scale Remained Elusive? 从规模化先进AI系统中获得可预测行为是一个极具吸引力的特性。尽管关于预训练性能随规模变化的文献已广为人知但关于特定下游能力随规模变化的文献却显得模糊不清。
论文退一步问为什么随规模变化预测特定下游能力仍然难以实现虽然肯定有许多因素负责但识别出了一个新因素使得在广泛使用的多项选择问答基准上建模规模行为变得具有挑战性。
揭示了导致这种退化的机制下游指标要求将正确选择与少数特定错误选择进行比较这意味着准确预测下游能力需要预测随规模增加正确选择上的概率质量如何集中以及错误选择上的概率质量如何波动。
通过实证研究探讨了在增加计算时正确选择上的概率质量与错误选择上的概率质量如何共变暗示错误选择的规模化定律可能是可实现的。
https://arxiv.org/abs/2406.04391
12、Beyond LLaVA-HD: Diving into High-Resolution Large Multimodal Models 高分辨率是大规模多模态模型LMMs的基础这些模型已被证明对视觉感知和推理至关重要。
现有工作通常采用直接的分辨率升级方法其中图像由全局和局部分支组成后者是被切分的图像块但重新调整为与前者相同的分辨率。这意味着更高的分辨率需要更多的局部补丁导致巨大的计算费用同时局部图像标记的优势可能会减弱全局上下文。
论文深入探讨这些问题并提出一个新的框架以及一个精细的优化策略。具体来说我们通过混合适配器从全局视图中提取上下文信息基于观察到不同适配器在不同任务中表现出色。
https://arxiv.org/abs/2406.08487
LLM训练、评估与推理
1、GenAI Arena: An Open Evaluation Platform for Generative Models 本文提出了一个开放平台GenAI-Arena用于评估不同的图像和视频生成模型用户可以积极参与评估这些模型。通过利用集体用户反馈和投票。
它涵盖了三个领域文本到图像生成、文本到视频生成和图像编辑。总共涵盖了27个开源生成模型。GenAI-Arena已经运行了四个月累计获得了6000多票。
为了进一步促进基于模型的评估指标研究还发布了三个任务数据准备脚本GenAI-Bench。结果显示现有的多模态模型在评估生成的视觉内容方面仍然落后即使是表现最好的模型GPT-4o在质量子分数上的皮尔森相关性也只有0.22并且在其他方面表现得像随机猜测一样。
https://arxiv.org/abs/2406.04485
2、CRAG — Comprehensive RAG Benchmark
检索增强生成RAG作为解决大型语言模型LLM缺乏知识问题的有希望的解决方案而兴起。现有的RAG数据集并未充分代表现实世界问答QA任务的多样性和动态性。为了弥补这一差距论文引入了全面的RAG基准CRAG这是一个由4,409个问答对组成的事实性问答基准模拟Web和知识图谱KG搜索的模拟API。
CRAG旨在涵盖五个领域和八个问题类别的多样化问题阵列反映了从热门到长尾的实体流行度和从年度到秒级的时间动态。
https://arxiv.org/abs/2406.04744
3、McEval: Massively Multilingual Code Evaluation 代码大语言模型LLMs在代码理解、完成和生成任务中表现出了显著的进步。目前大多数现有基准主要关注Python仍然限制在有限的语言数量上其中其他语言的样本是从Python样本翻译而来这降低了数据多样性。
为了进一步促进代码LLMs的研究论文提出了一个涵盖40种编程语言的大规模多语言代码基准McEval包含16K测试样本极大地推动了代码LLMs在多语言场景中的极限。
该基准包含具有挑战性的代码完成、理解和生成评估任务并配有精心策划的大规模多语言指令语料库McEval-Instruct。此外还介绍了一种有效的多语言编程语言生成器mCoder该生成器在McEval-Instruct上进行了训练。
https://arxiv.org/abs/2406.07436
4、Skywork-MoE: A Deep Dive into Training Techniques for Mixture-of-Experts Language Models 在这份技术报告中介绍了在开发Skywork-MoE这一高性能混合专家MoE大语言模型LLM时实施的训练方法该模型拥有1460亿参数和16个专家。
模型是从现有的Skywork-13B模型的检查点初始化的。并且使用了两种创新技术门控对数归一化提高了门控出口多样化以及自适应辅助损失系数允许对辅助损失系数进行层特定的调整。我们的实验结果验证了这些方法的有效性。
https://arxiv.org/pdf/2406.06563
5、Large Language Model Confidence Estimation via Black-Box Access 在模型响应的不确定性或置信度的估计中可以显著地评估不仅仅是对响应的信任而且对整个模型的信任。论文探讨了通过仅黑箱或查询访问它们来估计大语言模型LLMs响应的置信度的问题。
提出了一个简单且可扩展的框架在其中设计了新颖的特征并训练一个可解释的模型例如逻辑回归来估计这些特征的置信度。实验表明简单框架在估计flan-ul2、llama-13b和mistral-7b的置信度方面一致优于现有的黑箱置信度估计方法在基准数据集如TriviaQA、SQuAD、CoQA和Natural Questions上的性能提高了超过10%在AUROC上。
https://arxiv.org/abs/2406.04370
6、PowerInfer-2: Fast Large Language Model Inference on a Smartphone PowerInfer-2是一个为智能手机上的大型语言模型LLMs推理设计的高速框架特别适用于超出设备内存容量的模型。PowerInfer-2的核心是利用智能手机中的异构计算、内存和I/O资源通过将传统矩阵计算分解为细粒度神经元簇计算。PowerInfer-2特色是一个多形态神经元引擎它根据LLM推理的不同阶段调整计算策略。
PowerInfer-2的实施和评估表明它能够支持各种LLM模型在两种智能手机上运行与最先进的框架相比速度提高了最高达29.2倍。
PowerInfer-2是第一个在智能手机上以每秒11.68个标记的生成率服务TurboSparse-Mixtral-47B模型的系统。对于完全适合内存的模型PowerInfer-2可以在保持推理速度相当的情况下减少约40%的内存使用。
https://arxiv.org/abs/2406.06282
7、Boosting Large-scale Parallel Training Efficiency with C4: A Communication-Driven Approach 大型语言模型LLMs的出现使得采用并行训练技术成为必需并且需要部署数千个GPU来训练单一模型。
当前并行训练的效率通常是次优的主要是由于以下两个主要问题。
1、硬件故障不可避免导致训练任务中断。无法迅速识别故障组件会导致大量GPU资源的浪费。
2、由于GPU必须等待参数同步完成才能进行下一轮计算网络拥堵可以大大增加GPU的等待时间。
为了解决这些挑战论文介绍了一种通信驱动的解决方案即C4。在并行训练中集体通信表现出周期性和同质性特征因此任何异常肯定是由于某种形式的硬件故障。通过利用这一特点C4可以迅速识别故障组件迅速隔离异常并重新启动任务从而避免由于异常检测延迟引起的资源浪费。
此外集体通信的可预测通信模型涉及少数大流量使得C4可以有效执行流量规划大幅减少网络拥堵。
C4已在作者的生产系统中广泛实施大约减少了30%的由错误引起的开销并在某些具有适度通信成本的应用中提高了大约15%的运行性能。
LLM量化与对齐
1、Magpie: Alignment Data Synthesis from Scratch by Prompting Aligned LLMs with Nothing 高质量的指令数据对于对齐大型语言模型LLMs至关重要。尽管一些模型如Llama-3-Instruct拥有开放的权重但它们的对齐数据仍然是私有的。
我们能否通过直接从对齐的LLM中提取来大规模生成高质量的指令数据呢论文介绍了一种用于生成大规模对齐数据的自我合成方法称为Magpie。
为了将Magpie数据与其他公共指令数据集进行比较使用每个数据集对Llama-3-8B-Base进行微调并评估了微调模型的性能。
结果表明在某些任务中使用Magpie微调的模型的表现与官方的Llama-3-8B-Instruct相当尽管后者通过监督式微调SFT增强了1000万数据并通过后续反馈学习进一步提升。
https://arxiv.org/abs/2406.08464
2、ShiftAddLLM: Accelerating Pretrained LLMs via Post-Training Multiplication-Less Reparameterization 大型语言模型LLMs在语言任务上展示了令人印象深刻的性能但在资源受限设备上部署时面临着巨大的参数和依赖密集乘法的挑战导致高内存需求和延迟瓶颈。
移位和加法重参数化通过用硬件友好的原语替换昂贵的乘法在注意力和多层感知机MLP层中提供了一个有希望的解决方案。但是当前的重参数化技术需要从头开始训练或完全参数微调以恢复精度这对LLMs来说是资源密集的。
为了解决这个问题论文提出通过训练后移位和加法重参数化来加速预训练的LLMs创建了高效的无乘法模型称为ShiftAddLLM。
在五个LLM和八个任务上的实验一致验证了ShiftAddLLM的有效性与最具竞争力的量化LLMs相比在3位和2位下分别实现了平均困惑度提高5.6和22.7点并且相比原始LLMs节省了超过80%的内存和能量。
https://arxiv.org/abs/2406.05981
3、Discovering Preference Optimization Algorithms with and for Large Language Models 离线偏好优化是提高和控制大语言模型LLMs输出质量的关键方法。通常偏好优化被视为一个离线监督学习任务使用凸损失函数。虽然这些方法基于理论见解但它们固有地受到人类创造力的限制因此损失函数的大搜索空间仍然未被充分探索。
论文通过执行LLM驱动的目标发现自动发现新的最先进的偏好优化算法而无需专家人类干预。
通过迭代提示一个LLM提出并实施基于先前评估的性能指标的新偏好优化损失函数。这一过程导致了以前未知且表现出色的偏好优化算法的发现。这些算法中表现最佳的被称为DiscoPOP发现的偏好优化这是一种新算法它自适应地融合了逻辑和指数损失。实验表明DiscoPOP的表现是最先进的且成功转移到保留的任务上。
https://arxiv.org/abs/2406.08414
4、Turbo Sparse: Achieving LLM SOTA Performance with Minimal Activated Parameters 利用激活稀疏性是显著加速大型语言模型LLMs推理过程而不影响性能的有前景的方法。
但是激活稀疏性由激活函数决定常用的如SwiGLU和GeGLU显示出有限的稀疏性。简单替换这些函数为ReLU也达不到足够的稀疏性。并且不充分的训练数据可能进一步增加性能下降的风险。
为了解决这些挑战论文提出了一种新的dReLU函数旨在改善LLM的激活稀疏性同时使用高质量训练数据混合比例以促进有效的稀疏化。利用Mixture-of-Experts (MoE) 模型的前馈网络FFN专家中的稀疏激活模式进一步提高效率。
通过将这个稀疏化方法应用于Mistral和Mixtral模型每次推理迭代仅激活25亿和43亿参数同时实现更强大的模型性能。评估结果表明这种稀疏性实现了2-5倍的解码加速。
https://arxiv.org/abs/2406.05955
LLM提示工程与微调
1、The Prompt Report: A Systematic Survey of Prompting Techniques 随着生成人工智能GenAI系统在工业和研究设置中的日益部署开发人员和最终用户可以通过使用提示或提示工程与这些系统互动。
尽管提示是一个广泛研究且使用频繁的概念但由于在该领域的新颖性存在关于提示构成的冲突术语和糟糕的本体论理解。本文通过建立提示技术的分类分析其使用建立了关于提示的结构化理解。
论文呈现了33个词汇术语的全面词汇表58种仅文本提示技术的分类以及40种其他模态的技术。进一步对自然语言前缀提示的整个文献进行了元分析。
https://arxiv.org/abs/2406.06608
2、Large Language Model Unlearning via Embedding-Corrupted Prompts 大型语言模型LLMs已发展到涵盖广泛的领域知识。但是控制大语言模型不应知道的信息同样重要这样可以确保对齐和安全使用。
精确且高效地从LLM中遗忘知识仍然具有挑战性因为保留与遗忘之间的界限模糊以及针对具有数千亿参数的最先进模型进行优化的大计算需求。
论文介绍了嵌入式损坏提示ECO Prompts这是一个轻量级的大语言模型遗忘框架用于解决知识纠缠和遗忘效率的挑战。不依赖于LLM本身进行遗忘而是在推理过程中通过使用提示分类器来识别和保护需要遗忘的提示强制执行遗忘状态。
通过广泛的遗忘实验证明了这个方法在实现有希望的遗忘效果的同时在一般领域和与遗忘领域紧密相关的领域几乎没有副作用并且这个方法可扩展到从0.5B到236B参数的100个LLM增加参数数量不会导致额外成本。
https://arxiv.org/abs/2406.07933
LLM推理
1、 Improve Mathematical Reasoning in Language Models by Automated Process Supervision 复杂的多步骤推理任务如解决数学问题或生成代码对于即使是最先进的大型语言模型LLMs来说仍然是一个重大挑战。在推理时验证LLM输出的标准技术是使用结果奖励模型ORM目标是提高LLMs的推理性能。
但是对于具有长期或多跳推理链的推理任务这仍然不足因为其中间结果既不得到适当的奖励也不受惩罚。过程监督解决了这一限制通过在推理过程中分配中间奖励。
论文提出了一种名为OmegaPRM的新型分而治之式蒙特卡洛树搜索MCTS算法用于高效收集高质量的过程监督数据。该算法通过二分搜索迅速识别思考链CoT中的第一个错误并平衡正负例从而确保效率和质量。
整个过程无需任何人工干预使这个方法在成本上都比现有方法更具成本效益。
https://arxiv.org/abs/2406.06592
2、Test of Time: A Benchmark for Evaluating LLMs on Temporal Reasoning 大型语言模型LLMs展示了显著的推理能力但在涉及复杂时间逻辑的时间推理任务中仍容易出错。现有研究探讨了LLMs在时间推理上的表现使用了多样化的数据集和基准。
但这些研究通常依赖于LLMs在预训练过程中可能遇到的真实数据或采用匿名化技术这可能无意中引入事实不一致性。在这项工作中我们通过引入专门设计的合成数据集来解决这些限制这些数据集旨在评估LLMs在各种场景中的时间推理能力。
这些数据集中问题类型的多样性使我们能够系统地研究问题结构、大小、问题类型、事实顺序等因素对LLMs性能的影响。我们的发现为当前LLMs在时间推理任务中的强项和弱点提供了宝贵见解。
https://arxiv.org/abs/2406.09170
3、Visual Sketchpad: Sketching as a Visual Chain of Thought for Multimodal Language Models 人类在解决问题时会绘图比如解决几何问题时我们会画辅助线在地图上推理时我们标记和圈出使用草图来放大想法并减轻有限的工作内存容量。
然而在当前的多模态语言模型LMs中缺少这些行为。当前的思维链和工具使用范式仅使用文本作为中间推理步骤。论文则引入了Sketchpad框架使多模态LMs拥有一个视觉的笔记本和在笔记本上绘图的工具。
Sketchpad使LMs能够用线条、盒子、标记等进行绘图这更接近人类的素描方式并更好地促进推理还可以在绘图过程中使用专家视觉模型例如使用对象检测模型绘制边界框、使用分割模型绘制遮罩以进一步增强视觉感知和推理。
在广泛的数学任务包括几何、函数、图表和象棋和复杂的视觉推理任务上进行了实验。Sketchpad在所有任务中显著提升了性能与强大的基础模型相比在数学任务上平均获得了12.7%的增益在视觉任务上获得了8.6%的增益。GPT-4o结合Sketchpad在所有任务上设定了新的最高标准包括V*Bench80.3%、BLINK空间推理83.9%和视觉对应80.8%。
https://arxiv.org/abs/2406.09403
注意力模型
1、TextGrad: Automatic “Differentiation” via Text 在神经网络的早期反向传播和自动微分通过使优化变得简单化而转变了该领域。受此启发论文引入了TextGrad通过文本执行自动“微分”。TextGrad通过LLMs提供的丰富、通用的自然语言建议来改进复合AI系统中的各个组件。
框架中LLMs提供优化变量的自然语言建议这些变量范围从代码片段到分子结构。TextGrad遵循PyTorch的语法和抽象使用灵活且易于使用。
它可以即插即用地用于多种任务用户只需提供目标函数无需调整框架的组件或提示。并且可以跨多种应用取得成功从问答和分子优化到放射治疗计划设计。
TextGrad在不修改框架的情况下提高了GPT-4o在Google-Proof问答中的零样本准确率从51%提高到55%在优化LeetCode-Hard编码问题解决方案中实现了20%的相对性能增益。TextGrad为加速下一代AI系统的发展奠定了基础。
https://arxiv.org/abs/2406.07496
https://avoid.overfit.cn/post/ee1689e382f54777b72dbb4a4610a64a
作者Youssef Hosni
