广告图片网站源码,网络科技有限公司有哪些,wordpress可视化编辑页面,深圳做消防工程的公司文章目录 前言一、主机配置二、工具下载Ollama下载安装退出Ollama下载DeepSeek R1模型下载安装ChatBox实现可视化交互ChatBox设置模型 前言
最近的国产大模型DeepSeek横空出事#xff0c;笔者也关注了下。网页版的免费而且推理速度很快#xff0c;重量级的是它把自己详细的推… 文章目录 前言一、主机配置二、工具下载Ollama下载安装退出Ollama下载DeepSeek R1模型下载安装ChatBox实现可视化交互ChatBox设置模型 前言
最近的国产大模型DeepSeek横空出事笔者也关注了下。网页版的免费而且推理速度很快重量级的是它把自己详细的推理思考过程展示了出来回答的问题和给出的各种解决方案更详细、完善可以说是碾压了其他所有的国产大模型。但是网页版的总是服务器爆满最近受到的西方国家黑客攻击又很多体验不是很好。所以想着能本地部署下自己一个人使用就好了于是笔者上网搜索了下资料在自己的主机上搞了一套但是结果却差强人意将就着能用吧就是慢了点下面把安装部署的详细步骤展示给大家感兴趣的可以自己试着部署玩一玩。 一、主机配置
笔者的主机基本配置如下 操作系统windows11专业版 显卡4090(24G显存) 处理器Intel® Core™ i9-14900KF 3.20 GHz
这个配置可以说不错了尽管市面上5090出来了但是其实效果都一样只有英伟达的计算显卡(H100、A100、RTX 6000 Ada等)才行不过价格都是几万到十几万元最新的GB200售价在3万-4万美元。普通消费级游戏显卡算力完全不行。我们平时玩游戏的显卡图形渲染能力强专门用来玩各种3A大作。 游戏显卡 主要针对游戏、图形渲染、视频编辑等消费级场景优化实时图形性能如高帧率、光线追踪。 计算显卡 面向科学计算、深度学习、AI训练、工程模拟等专业领域注重并行计算能力和稳定性。
二、工具下载
Ollama下载安装
Ollama官网地址
下载windows上的其他操作系统下载对应的即可
这个由于是外网下载很慢的笔者通过一些其他手段下了下来已经上传到文章顶部的资源压缩包了可以自己下载解压或者愿意等的自己从官网上慢慢下载就行 这个Ollama应用程序点击安装默认直接是安装到C盘的也没法设置其他自定义路径。。。 安装好后默认是运行的电脑右下角隐藏图标多一个小猪头鼠标放上去有两个选项
View Logs查看日志的Quit Ollama 退出Ollama 安装好后管理员身份打开CMD键入以下命令
ollama -v可以看到Ollama安装成功了
退出Ollama
上面的步骤说了右下角的图标有个Quit Ollama退出Ollama点一下后再次在cmd中输入ollama -v 找不到正在运行的Ollama实例了怎么办呢当我们关机后开机怎么重新运行Ollama服务莫急只需要在电脑左下角搜索框输入Ollama就可以找到刚才添加的应用鼠标左键点击一下就可以了。 cmd再次查看运行情况 当然你也可以把这个Ollama应用发送快捷方式到桌面上去方便下次使用。
下载DeepSeek R1模型
选择模型Ollama软件安装完成后便要获取DeepSeek R1模型。再次打开Ollama官网点击“Models”在众多模型中“deepseek - r1”位列榜首十分醒目。 可以看到有1.5b7b14b32b70b621b这些不同参数个数的模型分别代表15亿70亿140亿320亿700亿6210亿。当然训练参数个数越多模型的能力越强了。点击进入一般的电脑你就下载7b、14b就差不多了像笔者的配置就可以下载32b。不过笔者一开始下载的是70b也能跑但是速度很慢所以后面就又下载了32b。 选择32b复制后面的运行命令
把复制的命令在cmd中执行注意执行期间ollama不能退出否则就会像我一样下载失败再次运行命令 下载安装ChatBox实现可视化交互
上面的交互是在cmd上进行的不是很友好这里有个工具ChatBox集成了很多大模型实现可视化交互
ChatBox下载地址 这个下载速度比较快了不过笔者也在文章顶部的资源压缩包里一并提供了点击安装即可 ChatBox设置模型 选择Ollama API模型选择deepseek-r1:70b(或者下载的32b就选32b) 上面的设置好后就可以使用ChatBox进行可视化交互了 70b的运行速度比较慢32b可能会好点吧不明白的评论区找我
