Linux本地运行LLaMA-3(Docker+Ollama+Open WebUI+LLama3)教程

Shaw0xyz

本教程将介绍如何在个人linux机器上本地运行LLaMA-3模型。我们将使用Docker、Ollama和Open WebUI来简化安装和配置过程。通过本文，读者将能够快速部署LLaMA-3，并进行本地推理和实验。


1. 环境准备

在开始之前，请确保您的Linux系统满足以下基本要求：
(1) 64位Linux操作系统（例如Ubuntu 20.04或更高版本）。
(2) Docker已安装并配置好。
(3) 具备一定的GPU支持（如NVIDIA GPU及其驱动程序），若无GPU则可以使用CPU，但性能会较低。
(4) Git已安装。

1.1 安装Docker

如果尚未安装Docker，可以使用以下命令进行安装：

1. 
   
2. sudo apt-get update
   
3. sudo apt-get install -y docker.io
   
4. sudo systemctl start docker
   
5. sudo systemctl enable docker

复制代码

验证Docker是否安装成功：


docker --version


1.2 安装NVIDIA Docker支持（可选）

如果使用GPU进行计算，需要安装NVIDIA Docker支持：

1. 
   
2. distribution=$(. /etc/os-release;echo $ID$VERSION_ID) \
   
3.     && curl -s -L <a href="https://nvidia.github.io/nvidia-docker/gpgkey" target="_blank">https://nvidia.github.io/nvidia-docker/gpgkey</a> | sudo apt-key add - \
   
4.     && curl -s -L <a href="https://nvidia.github.io/nvidia-docker/" target="_blank">https://nvidia.github.io/nvidia-docker/</a>$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list
   
5. 
   
6. sudo apt-get update
   
7. sudo apt-get install -y nvidia-docker2
   
8. sudo systemctl restart docker

复制代码

2. 获取LLaMA-3代码和模型

2.1 克隆LLaMA-3仓库

使用Git克隆LLaMA-3的代码仓库：

1. 
   
2. 
   
3. git clone <a href="https://github.com/example/LLaMA-3.git" target="_blank">https://github.com/example/LLaMA-3.git</a>
   
4. cd LLaMA-3

复制代码

2.2 下载LLaMA-3模型

确保已经下载了所需的LLaMA-3模型文件，并将其放置在合适的目录中。可以通过项目的README或官方文档获取下载链接和说明。

3. 使用Docker配置LLaMA-3

3.1 编写Dockerfile

在LLaMA-3项目目录中创建一个名为`Dockerfile`的文件，并写入以下内容：

1. 
   
2. FROM nvidia/cuda:11.1-base-ubuntu20.04
   
3. 
   
4. RUN apt-get update && apt-get install -y \
   
5.     Python3 \
   
6.     python3-pip \
   
7.     git \
   
8.     && rm -rf /var/lib/apt/lists/*
   
9. 
   
10. COPY . /workspace
    
11. WORKDIR /workspace
    
12. 
    
13. RUN pip3 install --upgrade pip
    
14. RUN pip3 install -r requirements.txt
    
15. 
    
16. CMD ["python3", "run_llama3.py"]

复制代码

3.2 构建Docker镜像

构建Docker镜像：

1. 
   
2. docker build -t llama3:latest .

复制代码

3.3 运行Docker容器

运行Docker容器，并确保能够访问GPU（如果有）：

1. 
   
2. docker run --gpus all -it --rm llama3:latest
   

复制代码

4. 配置Ollama和Open WebUI

4.1 安装Ollama

Ollama是一个轻量级的模型管理和部署工具，帮助我们管理和运行LLaMA-3模型。

4.1.1 下载Ollama

1. 
   
2. git clone <a href="https://github.com/example/ollama.git" target="_blank">https://github.com/example/ollama.git</a>
   
3. cd ollama

复制代码

4.1.2 安装Ollama依赖

1. 
   
2. pip3 install -r requirements.txt

复制代码

4.2 安装Open WebUI

Open WebUI提供了一个用户友好的界面，用于与LLaMA-3模型进行交互。

4.2.1 下载Open WebUI

1. 
   
2. 
   
3. git clone <a href="https://github.com/example/open-webui.git" target="_blank">https://github.com/example/open-webui.git</a>
   
4. cd open-webui

复制代码

4.2.2 安装Open WebUI依赖

1. 
   
2. pip3 install -r requirements.txt

复制代码

4.3 配置LLaMA-3与Open WebUI的集成

确保LLaMA-3的API在启动时正确配置，并与Open WebUI集成。通常，这涉及到修改配置文件或启动脚本，以确保API能够被WebUI访问。

1. 
   
2. # 假设在LLaMA-3项目目录中有一个配置文件config.json
   
3. {
   
4.     "api_endpoint": "http://localhost:8000/api",
   
5.     "model_path": "/path/to/llama3/model"
   
6. }
   

复制代码

5. 启动和测试

5.1 启动LLaMA-3模型服务

在LLaMA-3项目目录中，启动模型服务：

1. 
   
2. python3 run_llama3.py
   

复制代码

5.2 启动Open WebUI

在Open WebUI项目目录中，启动WebUI服务：

1. 
   
2. python3 run_webui.py
   

复制代码

5.3 访问WebUI

在浏览器中访问`http://localhost:8000`，您将看到Open WebUI界面。在这里，您可以输入文本并与LLaMA-3模型进行交互。

6. 总结

本文详细介绍了如何在个人Linux机器上本地运行LLaMA-3模型。通过使用Docker、Ollama和Open WebUI，简化了安装和配置过程，使得模型的部署更加方便和高效。希望本教程能帮助读者快速上手LLaMA-3，并进行本地推理和实验。