网站技术南宁小程序定制开发
1.简介：
组织机构：Meta（Facebook）
代码仓：https://github.com/facebookresearch/llama
模型：chinese-alpaca-2-7b-hf
下载：使用百度网盘下载
硬件环境：暗影精灵7Plus
Windows版本：Windows 11家庭中文版 Insider Preview 22H2
内存 32G
GPU显卡：Nvidia GTX 3080 Laptop （16G）
从 https://github.com/ymcui/Chinese-LLaMA-Alpaca-2
的README.md可以看出，中文LLaMA&Alpaca大模型支持不同的LLaMA生态：
这里面有
-
transformers
-
llama.cpp
-
text-generation-webui：
-
LangChain
-
privateGPT
-
vLLM
等多种。
在这里也介绍了不同环境上的部署方式：
2.代码和模型下载：
d:
cd \
git clone https://github.com/oobabooga/text-generation-webui
在 https://blog.csdn.net/snmper/article/details/133744735大模型部署手记（11）LLaMa2+Chinese-LLaMA-Plus-2-7B+Windows+llama.cpp+中文对话
https://blog.csdn.net/snmper/article/details/133744735下载的完整版权重目录 D:\llama.cpp\models2\chinese-alpaca-2-7b-hf 复制到 D:\text-generation-webui\models 目录下:
3.安装依赖
参考 https://github.com/ymcui/Chinese-LLaMA-Alpaca-2/wiki/text-generation-webui_zh
和 https://github.com/oobabooga/text-generation-webui#installation
创建conda环境
conda create -n textgen python=3.10.9
conda activate textgen
cd text-generation-webui
安装pytorch
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117
安装依赖：
pip install -r requirements.txt
4.部署验证
加载模型并启动：
python server.py --model chinese-alpaca-2-7b-hf --chat
打开地址：
可以参考下面的指引操作：
在打开的网页中，依次选择Chat setting->Instruction template，在Instruction template中下拉选择Llama-v2，并将Context输入框中的Answer the questions.提示语替换为You are a helpful assistant. 你是一个乐于助人的助手。，最后回到Text generation界面，在input输入框中输入你的指令，即可与chinese-alpaca-2对话了。
不过张小白点击Model，发现这个模型已经加载上去了！
回到Chat屏幕，可以跟AI对话：
这个部署起来还是非常快的。