南宁月嫂网站建设,wordpress相册支持批量外链,合肥网页制作,wordpress 4.8.1文章目录 一、LLM概念1.1 什么是LLMs1.2 LLMs类别1.3 如何构建LLM 二、提示工程简介2.1 基础提示2.2 使用提示词的必要性 三、 提示3.1 如何写好提示词3.1.1 使用分隔符3.1.2 结构化输出3.1.3 风格信息3.1.4 给定条件3.1.5 给出示例3.1.6 步骤分解3.1.7 不断迭代 3.2 提示工程3… 文章目录 一、LLM概念1.1 什么是LLMs1.2 LLMs类别1.3 如何构建LLM 二、提示工程简介2.1 基础提示2.2 使用提示词的必要性 三、 提示3.1 如何写好提示词3.1.1 使用分隔符3.1.2 结构化输出3.1.3 风格信息3.1.4 给定条件3.1.5 给出示例3.1.6 步骤分解3.1.7 不断迭代 3.2 提示工程3.2.1 使用角色3.2.2 使用示例3.2.3 思维链3.2.4 zero shot chain 3.3 提示的组成部分 四、 实际应用案例4.1 编程助手4.2 写邮件4.3 学习伙伴 五、大模型的局限性六、 大模型参数设置 想让你的AI变成聊天高手掌握提示工程让你的AI不仅仅是个回答机器而是你智能的生活小助手
首先你得知道什么是LLMs大型语言模型它们是怎么构建的以及为什么我们需要提示工程。然后你会学到如何用分隔符来区分数据和提示怎样要求结构化输出比如JSON, XML, HTML等以及如何通过包含风格信息来调整输出的语调。
不仅如此你还会学到如何写出好的提示比如角色提示、少量示例提示、思考链提示甚至是零示例思考链和由少到多的提示。这些技巧就像是给AI的思维加上了翅膀让它们飞得更高、更远。
最后不要忘了调整那些神秘的LLM设置比如温度和Top P还有其他超参数。这就像是调整你的AI食谱让它做出最美味的数据大餐。
一、LLM概念
LLM全称是“Large Language Model”大语言模型。它通过大量的文本数据训练理解输入处理语言相关任务如回答问题、进行对话、总结文本、翻译语言等。
1.1 什么是LLMs
LLM是为了理解和生成人类语言而设计的人工智能模型。这些模型通常基于深度学习框架如Transformer训练。
LLM可以处理多种NLP任务。如机器翻译、情感分析、摘要等。可以根据给定的输入生成连贯文本在聊天机器人、问答系统、内容生成领域应用广泛。
例如OpenAI的GPT就是一个LLM可以通过最小的微调执行各种语言任务。
1.2 LLMs类别
LLMs可以分为两类基础LLMBase LLM指令调整LLMInstruciton tuned LLM。
基础LLM
基础LLM是根据当前文本预测下一词它不是用来回答问题、对话、解决问题的。
例如你输入 在这篇关于LLMs的文中我们将讨论 LLM可能会完成这个句子 在这篇关于LLMs的文中我们将讨论LLMs是什么它们是如何工作的以及如何在应用程序中使用他们… 基础LLM可以提供相关文本但不会回答问题。
指令调整LLM
与基础LLM相反指令调整LLM不会尝试补全文本而是根据训练数据尝试完成指令内容例如回答问题。
例如输入 LLM是什么 它将根据训练数据给出答案。
指令调整LLM建立在基础LLM之上。 指令调整LLM 基础LLM 微调 RLHF(人类反馈强化学习) 构建指令调整LLM首先需要基础LLM然后使用数据微调数据集中包含了指令以及指令对应的反馈结果。然后使用RLHFReinforcement Learning with Human Feedback技术微调这一技术可以从人类反馈中不断学习随着时间推移不断优化其性能。
1.3 如何构建LLM
训练LLM包含三个步骤数据收集、训练、评估。
数据收集
数据来源可以是网站、博客、书籍、新闻、百科等。
训练
训练需要很长时间以及很大的算力。
评估
看输出的模型在回答、摘要、翻译等任务上的表现。
二、提示工程简介
提示工程是为模型提供“提示”或指令以执行你希望其执行的任务的过程。
例如将一段文本翻译成法语可以这样写提示词
Translate the text delimited by triple quotes from English to french: Hello, how are you?将三引号内的文本从英文翻译成法语。
也可以以简洁的方式这样写
Translate the following to French:Hello, how are you?将下面的内容翻译成法语
模型将生成对应的输出
Bonjour, comment allez-vous?但最好是明确使用分隔符将提示内容与说明分开。
2.1 基础提示
指示模型执行任务所需的只是提示。提示是你提供给模型以执行任务的一段文本。例如
这里是文章内容..........
.......................为我总结上面的文章内容。或者只是一条生成新文本的指令
为我写一段关于提示工程的简介。但是只使用纯文本作为指令并不能充分利用LLM的能力。为了充分挖掘LLM的能力就涉及到了提示工程。
2.2 使用提示词的必要性
提示的需求源于其在引导AI模型行为、提高文本质量和相关性、引出特定输出、对齐AI和人类意图以及减少生成内容中的不准确性和模糊性方面的作用。通过理解和掌握提示的艺术用户可以释放AI语言模型的真正潜力。
三、 提示
前面说明了什么时提示以及提示的重要性。本节介绍常见的提示技巧。
3.1 如何写好提示词
3.1.1 使用分隔符
使用分隔符来标记提示和数据之间的边界。 选择适当的分隔符 可以使用三重大括号{{{ }}}或特殊标记如 |data| 作为分隔符。 正确放置分隔符 将分隔符放置在数据部分的开头和结尾同时确保与提示清晰分开。提示部分应位于分隔符之前为模型提供必要的说明或上下文。 始终使用一致的分隔符
示例
总结三花括号内的文本。{{{这里是你的文本}}}3.1.2 结构化输出
有时我们需要结构化输出结果如JSON、XML、HTML等这对于处理数据、网页抓取、内容生成很有帮助。
该如何请求结构化输出呢 指定输出格式 定义结构和字段 概述所需输出的结构并指定所需字段。这有助于指导模型生成符合所需结构的响应。可以提供示例或模板来说明预期的格式。 提供输入上下文
示例
帮助我从review标签中包含的文本中生成一个JSON对象其中包含键 product (产品名称) isPositive (布尔值) summary (评论的一句话摘要)。review令人遗憾的是“XYZ ProTech 2000”产品甚至没有达到最基本的期望。从它平淡无奇的构建质量和令人困惑的用户界面到它糟糕的性能和令人失望的客户支持这个产品让我非常不满意。如果您正在考虑购买“XYZ ProTech 2000”我强烈建议您探索提供卓越质量和可靠性的替代选项。
/review输出结果
{product: XYZ ProTech 2000,isPositive: false,summary: Failed to meet expectations due to lackluster build quality, confusing user interface, abysmal performance, and disappointing customer support.
}3.1.3 风格信息
通过提供有关所需语气的明确说明可以影响语言模型的写作风格并确保其符合您的特定要求。
在提示中清楚地传达所需的语气、风格或情绪。无论是正式的、休闲的、幽默的、专业的还是任何其他特定的风格明确提及它都有助于指导模特的写作。另外请考虑合并反映所需风格的关键字或短语。例如如果您想要正式的语气请添加**“以专业方式”或“使用正式语言”**等短语。这为模型提供了有关您期望的语气的附加上下文。
示例
写一封正式的电子邮件来拒绝工作邀请。3.1.4 给定条件
给出条件然后要求模型遵循这些条件有助于引导模型对特定行为或结果做出反应。
示例
您将获得由三引号分隔的文本。
如果它包含一个指令序列则\
将这些说明改写为以下格式:步骤1 -…
步骤2 -…
…
步骤N -…如果文本不包含指令序列则\
然后只需写上“没有提供步骤。在这里插入你的食谱文本3.1.5 给出示例
向模型提供示例然后要求它继续该行为。
示例:
仔细阅读示例并将其作为回答的基础。输入香蕉
输出水果输入苹果
输出水果输入胡萝卜
输出蔬菜根据提供的示例为以下输入生成适当的回答萝卜
橙子
梨
土豆
黄瓜
芹菜
西兰花
花椰菜输出
萝卜蔬菜
橙子水果
梨水果
土豆蔬菜
黄瓜蔬菜
芹菜蔬菜
西兰花蔬菜
花椰菜蔬菜3.1.6 步骤分解
有时直接向模型询问某些内容可能不会产生最佳输出。这时可以分解这些步骤。 下面展示一个示例提取故事中出现的名词和数量。有两种方式一种是直接问还有一种是步骤分解。
示例
# 直接法给我一个JSON对象带有以下键:nouns_count出现在故事中的名词数量和nouns_french法语名词数组。故事以隔开。In a charming village, siblings Jack and Jill set out on a quest to fetch water from a hilltop well. As they climbed, singing joyfully, misfortune struck—Jack tripped on a stone and tumbled down the hill, with Jill following suit. Though slightly battered, the pair returned home to comforting embraces. Despite the mishap, their adventurous spirits remained undimmed, and they continued exploring with delight.输出
{nouns_count: 10,nouns_french: [village,siblings,Jack,Jill,quest,water,hilltop,well,stone,hill]
}可以看到输出不是法语。
#步骤分解法对以分隔的故事执行以下步骤。步骤1 翻译成法语
步骤2 列出译文中的每个名词。
步骤3 输出JSON对象包含nouns_count法语故事中的名词数量和nouns_french即翻译中出现的名词数组。只输出JSON我对其余步骤不感兴趣。In a charming village, siblings Jack and Jill set out on a quest to fetch water from a hilltop well. As they climbed, singing joyfully, misfortune struck—Jack tripped on a stone and tumbled down the hill, with Jill following suit. Though slightly battered, the pair returned home to comforting embraces. Despite the mishap, their adventurous spirits remained undimmed, and they continued exploring with delight.
输出
{nouns_count: 10,nouns_french: [village,frères,Jack,Jill,quête,eau,sommet de la colline,bien,pierre,colline]
}3.1.7 不断迭代
不要将写提示词视为一个一劳永逸的过程。应该不断的迭代直到达到准确、一致结果。
3.2 提示工程
3.2.1 使用角色
角色提示是提示工程中使用的一种技术旨在鼓励人工智能通过假设特定的角色、角色或观点来处理问题。根据给定的角色这种策略可以带来更加专注、创造性或同理心的反应。
确定处理任务的角色提供上下文描述场景介绍角色。提出问题或任务。
示例
作为一名气候科学家您将如何解决森林砍伐问题以尽量减少其对环境的影响3.2.2 使用示例
新的相关输入之前可以先用少量的示例演示输入、输出。
示例数量2-10 个示例但可能会有所不同具体取决于任务的清晰度和复杂性。上下文和相关性示例应与所需任务相关并为塑造模型的输出提供充分的基础。平衡力求在示例太少规格不足和示例过多重复和规格过高之间取得平衡。
3.2.3 思维链
这种方法将复杂的主题或问题分解为更小的、可管理的部分。假设我们希望模型分析在家工作的优点和缺点。我们可以通过一系列相互关联的提示来探讨这个主题。
“列出人们可能更喜欢在家工作的三个原因。”
“对于您提到的每个原因请解释对个人和/或组织的好处和积极影响。”
“现在考虑一下在家工作的挑战。确定三个潜在的缺点或负面影响。”
“对于每一个挑战讨论个人和组织如何减轻或解决这些挑战。”3.2.4 zero shot chain
首先定义一个明确的初始问题或问题将其作为链的起点。设计一个提示不仅要求模型提供最初问题的答案还要求模型逐步解释其推理。鼓励模型在其响应中明确考虑中间步骤、可能的替代方案或想法之间的联系。
示例
请解释一下太阳能电池板的工作过程从阳光照射到电池板表面开始到产生电能结束。将你的回答组织成一个循序渐进的思维链注意清楚每一步是如何通向下一步的。3.3 提示的组成部分
上下文说明/指令示例
四、 实际应用案例
LLM可以应用在
自然语言处理信息检索问答文本生成文本摘要学习工具聊天机器人
4.1 编程助手
代码生成
扮演一个初级python程序员。请编写代码从3个数组生成madlib每个数组6个项:介词动词和名词其中名词也用作直接对象。写完之后执行代码。注释和重新格式化代码
请在Python代码中添加行注释并重新格式化以提高可读性:import math
amplitude 30
frequency 2
num_points 50
for i in range(num_points):y int(round(amplitude * math.sin(2 * math.pi * frequency * i / num_points)))print( * (amplitude y) *)
调试
请调试下面的python代码: pizza_cost 100
partygoers 10
while partygoers 0:cost_per_person pizza_cost / partygoersprint(the cost per person is $, {:.2f}.format(cost_per_person))partygoers - 2优化代码
扮演非常资深的python开发人员。请优化这个脚本for num in range(1, 101):if num 1:for i in range(2, num):if (num % i) 0:breakelse:print(num)编程语言之间的翻译
扮演一个既懂COBOL又懂Python的有经验的开发人员。请将这个COBOL程序转换为Python:IDENTIFICATION DIVISION.
PROGRAM-ID. CALCULATE-SS-TAX.DATA DIVISION.
WORKING-STORAGE SECTION.
01 SALARY PIC 9(7)V99.
01 SS-TAX PIC 9(7)V99.PROCEDURE DIVISION.
DISPLAY Enter employees salary: .
ACCEPT SALARY.COMPUTE SS-TAX SALARY * 0.062.DISPLAY Social Security tax is: $, SS-TAX.
STOP RUN.4.2 写邮件
写一封电子邮件通知客户他们的询价已经收到并将很快得到答复。在电子邮件中包括订单号和客户姓名。4.3 学习伙伴 术语解释 可以让LLM解释论文阅读中的术语。 自测 如让LLM生成5个计算题。
其他的还有推理、聊天机器人等。这里不再举例说明。
五、大模型的局限性
无法完全理解提示的意图生成通用响应。为了缓解这种情况需要使提示更加明确或要求模型在提供最终答案之前逐步思考。对提示措辞的敏感性这可能会导致完全不同或不一致的回答。确保提示措辞恰当且清晰以最大程度地减少混乱。模型生成看似合理但不正确的答案。解决这个问题的一种方法是为模型添加一个步骤来验证其响应的准确性或者提示模型提供给定信息的证据或来源。冗长或过于技术性的回复。为了避免这种情况请通过使提示更具体、要求更简单的响应或请求特定格式来明确指导模型。当面临模棱两可的提示时LLMs可能会尝试回答而不要求澄清。为了鼓励模型寻求澄清可以在提示前面加上“如果问题不清楚请要求澄清”。模型无法执行多部分任务。为了避免这种情况请考虑将任务分解为更小、更易于管理的子任务或者确保在提示中清楚地标识任务的每个部分。LLMs大多数情况无法正确引用来源因为他们无法访问网络。使用搜索增强LLMs数学能力不及格用户输入不规范。构建内容过滤器和精心设计的提示模板等安全机制以防止模型生成有害或不需要的输出。
六、 大模型参数设置
LLM参数设置在提示工程中起着至关重要的作用因为它们直接影响语言模型的行为和输出。在本节中我们将讨论设计提示时需要考虑的一些重要的 LLM 设置。
temperature
温度是一个超参数控制语言模型生成的输出的随机性。较高的温度会产生更加多样化和创造性的反应而较低的温度会产生更加集中和确定性的反应。
Max Tokens
最大标记决定模型生成的输出的长度。通过控制响应中标记的数量可以影响语言模型的详细程度。
Top-K
Top-K 采样是一种限制语言模型可以考虑的预测单词数量的方法。通过指定较小的K值可以限制输出的重点防止模型生成不相关的信息。一般top-k和temperature设置一个就行了。 【参考】
https://roadmap.sh/prompt-engineeringChat-GPT4
