图文详解部署llama大模型：Win11本地部署AI大模型：Ollama+llama3+OpenWebUI+Hyper-V部署教程。模型参数80亿和700亿

因为windows 的安装默认不支持修改程序安装目录，
①默认安装后的目录：C:UsersusernameAppDataLocalProgramsOllama
②默认安装的模型目录：C:Usersusername .ollama
③默认的配置文件目录：C:UsersusernameAppDataLocalOllama

2.3.2、更改模型路径原配置

由于Ollama的模型默认会在C盘用户文件夹下的.ollama/models文件夹中，避免C盘容量紧张，需要配置环境变量OLLAMA_MODELS，设置为指定的路径，如F:LLMollama
①窗口搜索环境变量并打开

②依次执行并添加系统环境变量：变量名：OLLAMA_MODELS 变量值：F:LLMollama（添加自己电脑的文件目录即可），最后一定要依次点击确定

2.4、下载llama3模型

2.4.1、llama3模型选择

①llama3目前主要有8B和70B两个模型，分别代表80亿和700亿个训练参数。默认安装8B模型
8B模型：16GB内存跑很流畅
70B模型：至少需要64GB内存，有CPU能跑，有GPU更好

2.4.2、部署llama3模型：8B

①win + r打开终端，输入cmd，输入ollama run llama3，默认安装8B。或者指定安装的模型，命令如下：ollama run llama3:70b。安装过程比较漫长，约20分钟左右，成功会有如下提示：

2.4.3、模型问答测试

至此：llama3本地部署已完成
注意事项：
①llama3对中文的支持并不友好，需要中文的使用GitHub上开源llama3中文微调模型
②由于终端问答测试不美观，需要安装OpenWebUI在Web端测试

三、安装OpenWebUI

3.1、安装Docker

3.1.1、下载Docker

下载地址

3.1.2、启动微软Hyper-V

①依次操作：控制面板→查看方式-→程序→启用或关闭Windows功能→勾选Hyper-V→重启电脑后安装成功

注意事项：
①若没有Hyper-V选项，使用如下命令安装

pushd "%~dp0"

dir /b %SystemRoot%servicingPackages*Hyper-V*.mum >hv.txt

for /f %%i in ('findstr /i . hv.txt 2^>nul') do dism /online /norestart /add-package:"%SystemRoot%servicingPackages%%i"

del hv.txt

Dism /online /enable-feature /featurename:Microsoft-Hyper-V -All /LimitAccess /ALL

Pause

②将上述命令复制到Hyper-V.bat批处理文件中，然后以管理员身份运行，并重启电脑

3.1.3、安装Docker

①将3.1.1步骤中下载的.exe文件双击执行

②打开并测试Docker，一般用命令行操作

3.1.4、Docker切换国内镜像源

①操作如下：设置→Docker Engine→复制添加→Apply&restart

{
  "registry-mirrors": [
    "https://82m9ar63.mirror.aliyuncs.com",
    "http://hub-mirror.c.163.com",
    "https://docker.mirrors.ustc.edu.cn"
  ],
  "builder": {
    "gc": {
      "defaultKeepStorage": "20GB",
      "enabled": true
    }
  },
  "experimental": false,
  "features": {
    "buildkit": true
  }
}

3.2、安装OpenWebUI

安装地址
①进入github地址，下拉找到如图命令

②win+r后，cmd打开终端，输入命令：docker run -d -p 3000:8080 –add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data –name open-webui –restart always ghcr.io/open-webui/open-webui:main
ps:安装比较漫长，请耐心等待

3.3、Web访问测试

①访问地址：http://localhost:3000/。前提是终端后台启动Docker DeskTop和llama3，启动方式如下：
llama3：win+r后，输入cmd，再输入命令：ollama run llama3
Docker DeskTop：双击快捷方式启动即可

②提问测试

四、总结与感谢

①利用Hyper-V创建虚拟化环境，通过Ollama高效管理和部署Llama 3大语言模型，并结合OpenWebUI提供直观的交互界面，这些技术的结合能够实现高效、灵活的自然语言处理应用开发与测试，适用于多种场景的智能化解决方案。

②以上内容和步骤亲测有效，若有问题请私信我，创作不易，亲爱的家人们多多支持哦！

文章来源于互联网:图文详解部署llama大模型：Win11本地部署AI大模型：Ollama+llama3+OpenWebUI+Hyper-V部署教程。模型参数80亿和700亿

相关推荐: AI 绘画杀死了设计师！？恰恰相反……

与大多数人想象的不同，ChatGPT等各种AI工具爆火之后，受到冲击最大的居然是设计师、作家、翻译等具有创造性的工作，以体力劳动为主的蓝领反而最不易被替代。以城市数据团做过的一项研究为例，他们对中国1639种职业进行了GPT替代风险分析，下面是数据调研结果：…

图文详解部署llama大模型：Win11本地部署AI大模型：Ollama+llama3+OpenWebUI+Hyper-V部署教程。模型参数80亿和700亿

前言：技术简介

一、笔者电脑配置

二、安装Ollama

2.1、下载Ollama安装包

2.2、安装Ollama

2.3、配置Ollama模型路径（超级重要）

2.3.1、模型路径原配置