当前位置: 首页 > news >正文

presence_penalty, frequency_penalty以及repetition_penalty

在某公司的大模型平台上出现了几个翻译实在令人难绷的词汇,分别叫“存在惩罚”,“频率惩罚”。虽然我知道大模型生成有个“重复惩罚”,但是另外两种我还确实不了解,而某公司的平台写的帮助文档更是一坨,属于是懂的看了也不懂了。在简中互联网上搜了一下,也不知所云,大部分都是重复两句话:这三个参数都是控制模型生成重复文本的概率,数值越大重复性越低balabala。但是,对这三个参数的具体区别,基本是没有一个人给你说清楚的。

因此,只能我在繁忙的工作中抽出时间自己研究一下。

首先从我熟悉的huggingface transformers入手,直接从源代码里搜索:presence_penalty,结果,这个参数只出现了一次:在 UNUSED_CHAT_COMPLETION_FIELDS 中,说明该参数暂时没有被huggingface支持,具体位置在:
https://github.com/huggingface/transformers/blob/669230a86f421457e8ee5d96caa9d696921bc7f3/src/transformers/commands/serving.py#L178

然后我看他在huggingface的serving.py中,这个是提供一个OpenAI兼容的接口,而vllm也是干这个的,于是我又去看vllm的代码,vllm的代码中确实有这个参数,并且确实是使用到了。现在我们直接上链接:
https://github.com/vllm-project/vllm/blob/2b30afa4420cbada6dd9084de3ee7eb19142b7ff/tests/v1/sample/test_sampler.py#L219-L258
这个test_sampler_presence_penalty函数就演示了怎么用presence_penalty,同理下面还有test_sampler_frequency_penalty和test_sampler_repetition_penalty

本着授人以鱼不如授人以渔的精神,具体代码解析我就不说了,读者可以自行阅读代码看看他们的区别。

http://www.sczhlp.com/news/69096/

相关文章:

  • qoj4420. Range Reachability Query
  • 建俄语网站哪个公司最好微信公众平台账号注册
  • 做移动网站点击软件软文营销实施背景
  • 中山网页网站设计模板博客一号WordPress
  • 网站首页被k多久恢复比较好的建站网站
  • Atcoder 杂题
  • 中国建设银行客户端下载官方网站电子商务网站建设一般流程图
  • 响应式网站开发价格个人网页包括哪些内容
  • 沈阳网站建设优秀公司建设银行个人网上银行入口
  • 昆明网站建设询力鼎科技四种软件开发模型
  • 中国建设银行的网站设计做网站建设最好学什么
  • 梅州网站优化网络营销方案的制定思路
  • asp网站怎么改成中英双语wordpress和druid
  • 本地安装网站住房和城乡建设部服务门户平台
  • 每天一个安卓测试开发小知识之 (五)---常用的adb shell命令第三期 pm命令第二期
  • 深圳市seo网站设计哪家好公司宣传一般建的是网页还是网站
  • 二七区网站建设做网站策划薪酬
  • 婚庆公司网站建设方案网站专题页面制作
  • 做网站自己买服务器苏州产品设计公司
  • 山东济南网站建设计算机网络 网站开发与设计
  • 济南网站建设方案托管免费好用的网站管理系统
  • 平度网站建设公司电话上海高端网站定制开发
  • 简述站点推广有哪些方式wordpress旅游主题
  • 免费的建手机网站自己做网站内容读取太慢
  • 【LeetCode 33】算法:搜索旋转排序数组
  • 公司网站后台怎么添加内容上海住房建设部官方网站
  • 电脑版和手机版网站怎么做的网站使用费用
  • 网站网页设计的要求好看的网站首页欣赏
  • 连云区住房和城乡建设局网站站长工具端口
  • 一个免费的影视网站模板制造业外贸营销网站建设