页面看不到网站,微网站怎样做,出售已备案的域名合法吗,龙岗网站建设公司哪家好基于本地知识库的问答 1、简介#xff08;1#xff09;ChatGLM2-6B#xff08;2#xff09;LangChain#xff08;3#xff09;基于单一文档问答的实现原理#xff08;4#xff09;大规模语言模型系列技术#xff1a;以GLM-130B为例#xff08;5#xff09;新建知识库… 基于本地知识库的问答 1、简介1ChatGLM2-6B2LangChain3基于单一文档问答的实现原理4大规模语言模型系列技术以GLM-130B为例5新建知识库6效果优化方向 2、ChatGLM2-6B本地安装与部署 1、简介
1ChatGLM2-6B
ChatGLM2-6B是一个开源的、支持中英双语的对话语言模型基于General Language Model (GLM)架构。
ChatGLM2-6B具备的能力
自我认知“介绍一下你的优点”提纲写作“帮我写一个介绍ChatGLM的博客提纲”文案写作“写10条热评文案”信息抽取‘从上述信息中抽取人、时间、事件’
大语言模型通常基于通识知识进行训练因此在面向如下场景时常常需要借助模型微调或提示词工程提升语言模型应用效果:
垂直领域知识基于私有数据的问答 2LangChain
LangChain是一个用于开发由语言模型驱动的应用程序的框架。 主要功能
调用语言模型将不同数据源接入到语言模型的交互中允许语言模型与运行环境交互
LangChain中提供的模块
Modules:支持的模型类型和集成。Prompt:提示词管理、优化和序列化。Memory:内存是指在链/代理调用之间持续存在的状态。Indexes:当语言模型与特定于应用程序的数据相结合时会变得更加强大-此模块包含用于加载、查询和更新外部数据的接口和集成。Chain:链是结构化的调用序列(对LLM或其他实用程序)。Agents:代理是一个链其中LLM在给定高级指令和一组工具的情况下反复决定操作执行操作并观察结果直到高级指令完成。Callbacks:回调允许您记录和流式传输任何链的中间步骤从而轻松观察、调试和评估应用程序的内部。
LangChain的运用场景
文档问答个人助理查询表格数据与API交互信息提取文档总结
3基于单一文档问答的实现原理
1、加载本地文档读取本地文档加载为文本 2、文本拆分将文本按照字符、长度或语义进行拆分 3、根据提问匹配文本根据用户提问对文本进行字符匹配或语义检索 4、构建Prompt将匹配文本、用户提问加入Prompt模板 5、LLM生成回答将Pronpt发送给LLM获得基于文档内容的回答
4大规模语言模型系列技术以GLM-130B为例
自编码模型BERT双向注意力文本理解自回归模型GPT单向注意力长文本生成编码器-解码器模型T5编解码对话任务 GLM本质是类似一个自回归填空的过程
5新建知识库
新建知识库的过程相当于在本地新建一个路径因此不支持路径当中存在中文。但是知识库的文件可以使用中文名称。
1、上传文件将文件上传到知识库当中这个过程相当于将文件加载成文本并进行向量化的过程。 6效果优化方向
1、模型微调对llm和embedding基于专业领域数据进行微调。
2、文档加工在文本分段后对每段分别进行总结基于总结内容语义进行匹配。
3、借助不同的模型能力在text2sql、text2cpyher场景下需要产生代码时可借助不同模型能力。
2、ChatGLM2-6B本地安装与部署
视频教程视频教程-----ChatGLM2-6B本地安装与部署-视频教程 注意 chatglm2-6b相比于chatglm-6b在性能上提升了不少。在选择本地部署的时候我查看到自己显卡只有512M无法满足部署需要的24G显卡的要求。注查看显卡多大可以安装一个lu大师因此我选择在某宝上租用了一个24G的GPU。
部署步骤如下
1、根据视频上面的先下载懒人安装包懒人包一键部署 2、将chatglm.zip安装包解压缩之后放在ChatGLM2-6B文件夹下面 3、创建一个叫VisualGLM-6B的文件夹在此文件夹里面再创建一个叫cache的文件夹 4、配置缓存文件 5、之后点击一键启动启动项目 最终即可跳转到UI界面 注如果要自己部署请确保pytorch是2.0.1
