5bei.cn大模型教程网自ChatGPT在2022年爆发式出圈以来，大模型对人类世界产生了重大影响，无论是在生产、工作、写作方面还是自动驾驶领域，大模型发挥了非常重要的作用。
现各大厂，无论是国内大厂还是国外大厂，都纷纷推出了自己的对话大模型供人们免费或付费使用。与此同时，开源大模型的关注度也越来越高。
为什么现在已经有很多可以在线使用的大模型了，我还要在本地部署使用大模型？很简单，我的电脑上有一块还不错的显卡，但是我玩游戏又不多，不想让这份空闲的资源浪费掉，向着“物尽其用”的目标努力，节约资源（doge）。
如果你也和我有一样的想法，或者你是一个喜欢“折腾”的人，又或者你真的有部署本地大模型的需求，都可以跟随这篇教程操作。
没有特殊需求，只想让大模型跑起来成为你的生产力的话，这份教程对大多数普通人来说足够了。
目录
一、下载ollama
如果可以突破网络限制，那可以直接访问ollama的官网，下载Windows版本。如果无法突破网络限制，我把安装包上传到了我的我网盘，ollamasetup.zip ，提取码8vp0，自行下载。
下载之后打开ollamasetup.exe，点击“install”或者“安装”，静待安装完成即可。
二、下载大模型的GGUF文件
无网络限制那就访问huggingface的官方网站去下载。有网络限制的话，可以访问huggingface的镜像网站，可以访问hf-mirrors，网址HF-Mirror。
这里以安装阿里巴巴通义大模型为例进行操作。
不推荐使用微调成中文的大模型，如llama3中文版，体验很差。在此之前我在电脑上部署了llama3中文版8B的大模型，我不知道是出于什么原因，跑起来之后它给的答案真的很人工智障，相比之下7B的通义大模型表现很好。是和训练时用的语言有关吗？是不是说微调解决不了根本问题，只有确保训练时使用的是母语才能表现很出色？这个问题有待探索……
进入网站后，选择“models”：
接着搜索“qwen”：
对于个人电脑来说，7B就是最好的选择了，选择“Qwen/Qwen2-7B-Instruct-GGUF”。
如果你觉得这个过程太繁琐，可以直接点击这个链接（Qwen/Qwen2-7B-Instruct-GGUF at main (hf-mirror.com)）进入列表：
博主推荐使用q5_k_m版本，如果你是小白，无脑选q5_k_m就对了。当然也可以根据需求自行选择。
依次根据图中步骤下载就行了。
三、配置Modelfile文件
到这里，确保ollma服务在运行，系统托盘区有
此图标，并且在powershell或者命令提示符中输入ollama出现以下界面说明安装成功并且服务正常运行中：
在当前用户目录中新建一个“Modelfile.txt”文件，在文件中输入以下字符串：
FROM 文件所在目录qwen2-7b-instruct-q5_k_m.gguf比如我下载好的gguf文件存放在F盘BigModels文件夹，那我就输入“FROM F:BigModelsqwen2-7b-instruct-q5_k_m.gguf”然后保存即可。
一般来说，当前用户目录在“C:Users用户名”下，Modelfile.txt文件保存到这里。
现在打开powershell或者命令提示符，输入
ollama create qwen-2 -f Modelfile.txt这里的“qwen-2”是我为本地大模型的命名，可以根据需要自行修改。
等待transferring的过程……
出现success，如下面的界面，说明大模型部署成功！
四、启动大模型
安装完成后，在powershell或者命令提示符中输入
ollama run 你自定义的大模型名称比如我命的名为qwen-2，那我就输入ollama run qwen-2就可以启动大模型了：
文章来源于互联网:Windows环境下部署本地大模型教程
相关推荐: 趋势抢先知！2025年1月值得关注的10条AI资讯
2025年1月份的AI重大资讯，看这篇就够了！ 更多趋势： 一、Domo AI 推出 v2v 真实模型 Domo AI 推出 v2v 真实模型，可以进行反向操作，将动漫类型的视频转换成真人视频，还可以通过 Prompt 将视频里的对象转成别的真实事物，如将一个…
