网站变灰色代码,在线文档 wordpress,快速做网站优化,网站建设psd文章目录 一、环境准备二、安装Ollama2.1 访问Ollama官方网站2.2 下载适用于Windows的安装包2.3 安装Ollama安装包2.4 指定Ollama安装目录2.5 指定Ollama的大模型的存储目录 三、选择DeepSeek R1模型四、下载并运行DeepSeek R1模型五、常见问题解答六、使用Chatbox进行交互6.1 … 文章目录 一、环境准备二、安装Ollama2.1 访问Ollama官方网站2.2 下载适用于Windows的安装包2.3 安装Ollama安装包2.4 指定Ollama安装目录2.5 指定Ollama的大模型的存储目录 三、选择DeepSeek R1模型四、下载并运行DeepSeek R1模型五、常见问题解答六、使用Chatbox进行交互6.1 下载Chatbox安装包6.2 安装并启动 Chatbox6.3 配置Chatbox 七、总结7.1 Ollama介绍7.2 Chatbox介绍 一、环境准备 电脑配置越高可以运行版本更高的DeepSeek R1模型。 DeepSeek R1模型版本越高参数越多模型越大效果越好。 我的电脑配置如下
CPUR7 5800显卡RTX3060 12G独显内存32G网络需要稳定的互联网连接以下载模型文件。
二、安装Ollama
2.1 访问Ollama官方网站
Ollama官方网站https://ollama.com/ 2.2 下载适用于Windows的安装包
单击右上角“Download”按钮 2.3 安装Ollama安装包
双击安装包按照安装向导的提示完成安装。安装完成后可以在开始菜单中找到Ollama。 不过这种方式只能安装在C盘C:\Users\weijian\AppData\Local\Programs\Ollama这个安装包还不够完善没有选择安装路径的选项。 2.4 指定Ollama安装目录
通过0llamaSetup.exe /dirD:\Program Files\0llama”命令可以指定Ollama安装目录
C:\Users\weijiand:
D:\cd “Program Files
D:\Program Files0llamaSetup.exe /dirD:\Program Files\0llama”2.5 指定Ollama的大模型的存储目录
打开 “开始” 菜单搜索 “环境变量”点击 “编辑系统环境变量”。在 “系统属性” 窗口中点击 “环境变量” 按钮。在 “用户变量” 下点击 “新建”输入变量名 “ollama_models”变量值为你想要存储模型的目录路径如 “D:\ollama_models”点击 “确定” 保存更改。若 Ollama 已经在运行需先关闭托盘应用程序然后从开始菜单重新启动或在保存环境变量后启动新的终端。
三、选择DeepSeek R1模型
DeepSeek-R1有多种版本适配不同的硬件配置如下图。主要取决于GPU的显存大小。注意是GPU的显存不是电脑的内存。 简单列举了几个高性能显卡的参数。
显卡 型号性能评级显存容量显存类型RTX 4090S24GBGDDR6XRX 7900 XTXS24GBGDDR6RTX 4080 SUPERA16GBGDDR6XRX 7900 XTA20GBGDDR6RTX 4070 Ti SUPERA12GBGDDR6XRX 7900 GREA16GBGDDR6RTX 3090 TiA24GBGDDR6XRX 6950 XTA16GBGDDR6RTX 4070 TiA12GBGDDR6XRX 7800 XTA-16GBGDDR6
四、下载并运行DeepSeek R1模型
打开 Windows PowerShell管理员或终端管理员。输入以下命令下载模型以 8B 版本为例
ollama run deepseek-r1:8b下载完成后模型会自动运行您可以在终端与模型进行交互输入问题或任务模型将提供相应的响应。如果需要重新进入模型交互界面可以在 PowerShell 中输入以下命令
ollama run deepseek-r1:8b五、常见问题解答
模型加载时间过长可能是由于硬件性能或网络速度限制。请确保系统满足模型的硬件要求并检查网络连接。内存不足错误考虑使用较小的模型版本或升级硬件配置。模型响应不准确确保按照推荐的配置使用模型例如将温度设置在 0.5-0.7 之间并避免添加系统提示符。启动Ollama报错Error: listen tcp 127.0.0.1:11434: bind: Only one usage of each socket address (protocol/network address/port) is normally permitted. netstat -aon | findstr 11434查找占用端口的进程。tasklist | findstr 6892查看该进程的详细信息。taskkill /PID 6872 /F杀死该进程。
六、使用Chatbox进行交互
6.1 下载Chatbox安装包
访问Chatbox官方网站https://chatboxai.app/zh下载适用于 Windows 的版本。 6.2 安装并启动 Chatbox 6.3 配置Chatbox
API类型选择 “OLLAMA API”。接口地址填写 http://localhost:11434。模型名称填写 deepseek-r1:8b确保与之前下载的模型版本一致。 最后就可以在本地使用DeepSeek R1模型啦 七、总结
主要使用两个开源软件才将DeepSeek R1大模型运行起来。
7.1 Ollama介绍
Ollama 是一个开源的框架主要用于在本地机器上便捷地部署和运行大型语言模型LLM。以下是关于 Ollama 的详细介绍
简化部署Ollama的设计目标是简化在Docker容器中部署大型语言模型的过程使得非专业用户也能方便地管理和运行这些复杂的模型。轻量级与可扩展作为一个轻量级框架Ollama保持了较小的资源占用同时具备良好的可扩展性允许用户根据需要调整配置以适应不同规模的项目和硬件条件。API 支持Ollama提供了一个简洁的API使得开发者能够轻松创建、运行和管理大型语言模型实例降低了与模型交互的技术门槛。预构建模型库Ollama包含一系列预先训练好的大型语言模型用户可以直接选用这些模型应用于自己的应用程序无需从头训练或自行寻找模型源。模型导入与定制Ollama支持从特定平台如GGUF或其他深度学习框架如PyTorch或Safetensors导入已有的大型语言模型并允许用户为模型添加或修改提示prompt engineering
7.2 Chatbox介绍
Chatbox 是一款开源的聊天界面工具专为与本地运行的大型语言模型如 Ollama、Llama、Vicuna 等进行交互而设计。
它提供了一个简单易用的图形用户界面GUI使用户能够更方便地与本地部署的语言模型进行对话而无需编写复杂的代码或使用命令行工具。 若觉得文章对你有帮助随手『点赞』、『收藏』、『关注』也是对我的支持。
