LLaMa大模型微调

1. 模型的微调

1.1 大模型LLaMa下载

先下载一个完整版本的LLaMa模型，官网的或别人下载微调过的中文版本的。

1.2 指令微调

执行run_clm_sft_with_peft

1.3 合并LORA

大模型的原始参数和微调后的参数合并到一起

执行如下脚本：

scripts/merge_llama3_with_chinese_lora_low_mem.py

–base_model  原始预训练模型的路径

–lora_model 微调后的lora的路径

–output_dir 参数合并的输出目录

merge后的格式是safetensors

model-00001-of-00004.safetensors    4.63G

model-00002-of-00004.safetensors    4.63G

model-00003-of-00004.safetensors    4.63G

model-00004-of-00004.safetensors   4.63G

2. 量化

2.1 llama.cpp

llama.cpp链接：https://gitcode.com/ggerganov/llama.cpp/overview

需要先安装好CMAKE：https://cmake.org/download/

然后，

git clone https://gitcode.com/ggerganov/llama.cpp

cd  llama.cpp

pip install -r requirements/requirements-convert-hf-to-gguf.txt

cmake -B build

cmake –build build –config Release

编译后，会在llama.cpp根目录下的buildbinRelease的目录下生成一系列exe文件，其中包含quantize.exe文件，这个可执行文件可以用来做量化。

2.2 格式转换

HF格式（huggingface的个数，比如model-00001-of-00004.safetensors）需要先转换成GG格式（llama.cpp可以处理的格式）

llama.cpp/convert-hf-to-gguf.py      xxxllama3-lora-merge[参数merge后的路径]      –outtype  f16   –outfile  xxxmy_llama3.guff[转换后的输出路径]

转换后的my_llama3.guff文件有14.9G

2.3 量化

python quantize.exe  xxxmy_llama3.guff   xxxxquantize_model.gguf[量化后的输出目录]    q4_0

需要量化为8bit时，可以将“q4_0”换成“q8_0”

量化后的quantize_model.gguf为4.34G，作为后续推理使用的模型。

3. 部署

3.1 ollama部署

启动ollama，进入量化后的模型文件目录，运行如下命令

ollama  create  my_llama_q4[自定义服务名]  -f  Makefile

加载模型，将模型部署成一个服务。可以通过“ollama list”查看目前的安装的模型。使用“ollama run my_llama_q4”将模型启动起来。

ollama部署的默认端口号是：11434.

文章来源于互联网:LLaMa大模型微调

相关推荐: Stable Diffusion教程|图生图局部重绘实战详解

局部重绘是Stable Diffusion模型在图像生成应用中的一个核心特性，它赋予用户针对图像特定部分进行再创作的能力，以此实现丰富多彩的视觉表达与创新效果。通过启用局部重绘功能，AI绘画的创新潜力与操作灵活性得到显著提升，使得用户能够在广阔的创意疆域内随心…