目录
- 总结
- 场景1:输入输出微调(含标注的“输入-输出”对)
- 场景2:Function Calling微调(含标注的“函数调用规则”)
- 场景3:实体提取微调(含标注的“实体及关联规则”)
- 参考资料
总结
微调需要准备正确和错误的数据集
数据集分:(目前我了解到的)
1 提问和回答
2 function calling
3 实体提取
针对这三个场景,输入给大模型的提示词(或训练数据)确实需要包含已标注的信息——这些标注信息是模型学习的“标准答案”,用于指导模型理解“什么样的输出是正确的”。以下是包含明确标注信息的数据集demo:
场景1:输入输出微调(含标注的“输入-输出”对)
{"input": "用户问:我想在上海找一家人均500元左右、适合商务宴请的餐厅,最好有包厢","标注信息": {"用户需求关键点": ["地点:上海", "人均预算:500元左右", "场景:商务宴请", "特殊需求:有包厢"],"输出要求": ["推荐3家符合条件的餐厅", "包含名称、地址、特色菜", "说明适合商务宴请的理由"]},"target_output": "推荐以下3家适合商务宴请的餐厅:1. 上海和平饭店龙凤厅(地址:黄浦区南京东路20号,特色菜:清蒸鲥鱼、红烧肉,有景观包厢,环境高端,适合商务接待);2. 南翔馒头店(豫园店)(地址:黄浦区豫园路11号,特色菜:蟹黄汤包、松鼠桂鱼,包厢私密性好,人均480元左右);3. 兰亭餐厅(嵩山路店)(地址:黄浦区嵩山路107号,特色菜:油爆虾、响油鳝糊,包厢可容纳10人,性价比高)。"
}
标注说明:明确标注了用户需求的拆解和输出要求,模型通过学习这种“输入+标注要求→目标输出”的对应关系,掌握商务宴请推荐的逻辑。
场景2:Function Calling微调(含标注的“函数调用规则”)
{"input": "帮我算一下从北京到上海的高铁票价,以及明天上海的最高气温","标注信息": {"是否需要调用函数": "是","需调用的函数": ["get_train_ticket", "get_weather"],"函数参数约束": {"get_train_ticket": {"from": "必须是城市名", "to": "必须是城市名"},"get_weather": {"city": "必须是城市名", "date": "需明确为“明天”或具体日期"}}},"function_definitions": [{"name": "get_train_ticket", "parameters": {"from": "string", "to": "string"}},{"name": "get_weather", "parameters": {"city": "string", "date": "string"}}],"target_function_call": [{"name": "get_train_ticket", "parameters": {"from": "北京", "to": "上海"}},{"name": "get_weather", "parameters": {"city": "上海", "date": "明天"}}]
}
标注说明:通过“是否调用函数”“参数约束”等标注信息,明确告诉模型“应该调用哪些函数”“参数必须符合什么规则”,避免调用错误。
场景3:实体提取微调(含标注的“实体及关联规则”)
{"input": "合同文本:\n第2条:甲方为深圳A科技有限公司(统一社会信用代码:9144xxxxxx),联系人王五(电话:138xxxx5678);乙方为广州B电子厂(统一社会信用代码:9144yyyyyy),联系人赵六(电话:139xxxx9012)。\n第4条:乙方需在2025年3月31日前向甲方供应2000套“智能传感器模组”(型号:S-2025),单价800元/套,总金额160万元。\n第6条:甲方应在收到货物后15日内,将款项支付至乙方账户(开户行:招商银行广州天河支行,账号:6214xxxx3456)。","标注信息": {"实体类型定义": {"甲方": "合同中的采购方或接收方","乙方": "合同中的供应方或交付方","标的": "合同中交易的物品,需包含名称和型号","总金额": "交易总价款,需关联对应的标的","付款账户": "接收款项的账户,需关联对应的收款方"},"关联规则": "总金额必须关联对应的标的;付款账户必须关联对应的乙方"},"target_entities": [{"type": "甲方", "value": "深圳A科技有限公司", "信用代码": "9144xxxxxx", "联系人": "王五", "电话": "138xxxx5678"},{"type": "乙方", "value": "广州B电子厂", "信用代码": "9144yyyyyy", "联系人": "赵六", "电话": "139xxxx9012"},{"type": "标的", "value": "智能传感器模组", "型号": "S-2025", "数量": "2000套"},{"type": "总金额", "value": "160万元", "单价": "800元/套", "关联标的": "智能传感器模组(S-2025)"},{"type": "付款账户", "value": "6214xxxx3456", "开户行": "招商银行广州天河支行", "关联乙方": "广州B电子厂"}]
}
标注说明:通过“实体类型定义”“关联规则”等标注信息,明确告诉模型“什么是甲方/乙方”“总金额必须和标的关联”等规则,确保模型能准确提取跨段落的实体关系。
这些demo中的“标注信息”是模型学习的关键依据——相当于给模型“划重点”,明确任务的边界、规则和正确答案的标准,从而让微调后的模型更符合业务需求。