可以根据llama大模型基础上训练自己的数据， 形成自己独特的微调模型

1. colab 平台上进行模型微调

2. windows11 上进行模型微调

3. mac 上进行模型微调

google colab平台大模型微调

windows11 平台大模型微调

windows 部署步骤

1. 安装cuda12.1 配置cuDDN8.9

2. 安装visual studio 2022

3. 解压unsloth

4. 安装python11

5. 安装git

6. 设置llvm系统环境变量(可选)

安装cude软件（如果本地有低于cuda12.1版本，可以不用卸载， 如果高于12.1版本，一定要先卸载再安装）

解压cudnn压缩包，将所有内容复制到cuda目录下

安装visual studio，下载使用c++的桌面开发应用这一项

安装git工具

解压unsloth目录

安装python软件，将目录解压到unsloth目录下

安装unsloth

1. 使用python11创建虚拟环境，进入unsloth目录

python311\python.exe -m venv venv

2. 激活虚拟环境

使call命令必须在cmd环境下使用, powershell无法使call命令

call venv\scripts\activate.bat

3. 安装依赖包

 pip install torch==2.2.2 --index-url
 https://download.pytorch.org/whl/cu121
 pip install "unsloth[colab-new] @
 git+https://github.com/unslothai/unsloth.git"
 pip install --no-deps trl peft accelerate bitsandbytes
 pip install deepspeed-0.13.1+unknown-py3-none-any.whl
 pip install  triton-2.1.0-cp311-cp311-win_amd64.whl
 pip install xformers

4. 测试安装是否成功

nvcc  --version
python -m xformers.info
python -m bitsandbytes

如果运python -m xformers.info后报错, 是xformer的版本与torch的版本不兼容

通过查看视频中的安装后的版本列表可知,与torch兼容的版本0.0.25.post1

如果需要查看安装的各个依赖版本可以使pip list查看

解决方法就是指定安装xformer的版本即可

# 先卸载xformers
pip uninstall xformers
pip install xformers==0.0.25.post1

再次运python -m xformers.info检查

之后运python -m bitsandbytes报错

通过pip list查看依赖列表, 查看运行微调的环境依赖列表文件可以知道，transformers版本不兼容，重新安装transformers4.40.1版本

pip uninstall transformer
pip install transformer==4.40.1

重新运python -m bitsandbytes

5. 运行脚本

test-unlora.py 测试微调之前推理

fine-tuning.py 用数据集微调

test-lora.py 测试微调之后推理

save-16bit.py 合并保存模型16位

save-gguf-4bit.py 4位量化gguf格式

如果运test-unlora.py报错说找不到gcc的编译地址，将llvm解压后，将bin目录地址加入到path环境变量中，重新打开cmd命令窗口，重新执行命令

## 4位量化需要安装llama.cpp

1. 克隆llama模型项目到本地

git clone https://github.com/ggerganov/llama.cpp

2. 按官方文档编译

mkdir build
cd build
cmake .. -DLLAMA_CUBLAS=ONmkdir build
cd build
cmake .. -DLLAMA_CUBLAS=ON

3. 设置Visual Studio 2022中cmake路径到系统环境变量path里

C:\Program Files\Microsoft Visual Studio\2022\Professional\Common7\IDE\CommonExtensions\Microsoft\CMake\CMake\bin

C:\Program Files\Microsoft Visual Studio\2022\Professional

4. 编译llama.cpp

cmake --build . --config Release

5. 如果上面这句编译命令无法执行，需要做以下操作：

复制这个路径下的

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1\extras\visual_studio_integration\MSBuildExtensions

4个文件，粘贴到以下目录里

C:\Program Files (x86)\Microsoft Visual Studio\2022\BuildTools\MSBuild\Microsoft\VC\v170\BuildCustomizations

6. 编译好以后，llama.cpp\build\bing\release目录下的所有文件复制llama.cpp目录下

7. 重新运行fine-tuning.py微调保存