前言:如果你是一名编程爱好者或者开发者,你一定希望拥有一个强大的助手来帮助你在编码过程中提高效率和准确性吧?今天我要给大家介绍的这个项目绝对会让你眼前一亮——那就是如何在你的本地机器上部署Text generation Web UI,并且搭建Code Llama大语言模型。不仅如此,我们还会通过Cpolar内网穿透工具实现公网远程访问,让你随时随地都能享受高效的代码生成体验。
想象一下,你正在家里写代码,突然需要一个复杂的算法或者一段优化过的函数,这时候只需要在Web界面上输入你的需求,几秒钟后就能得到高质量的代码片段。是不是很酷?不仅如此,Code Llama还能帮助初学者快速上手编程,降低学习门槛,让编码变得更加轻松愉快。
那么问题来了:如何实现这一切呢?别担心,接下来我会一步步带你完成整个过程。从安装Text generation Web UI到配置Cpolar内网穿透工具,每一步都详细讲解,确保你能够顺利搭建并使用这个强大的开发助手。无论你是编程老手还是新手小白,都能轻松上手。

目录
4. 固定Text generation Web UI公网地址
1. 本地部署Text generation Web UI
本篇文章测试环境:Windows10专业版
首先我们需要在本地部署Text generation Web UI,是一个基于Gradio的LLM Web UI开源项目,可以利用其快速搭建部署各种大模型环境。
github地址:https://github.com/facebookresearch/codellama
点击download,一键下载文件到本地

解压文件夹,然后打开文件,双击运行start_windows进行自动下载



安装过程中会有一次确认,根据自己的显卡和系统选择就可以了,这里我选择A(英伟达显卡)

安装完成后,可以看到本地地址是:http://127.0.0.1:7680,Ctrl+c终止它。
2. 安装CodeLlama大模型
接下来要下载CodeLlama模型,在Hugging face上直接下载转换好的模型
Hugging face格式模型 https://huggingface.co/codellama
选择Base Model

然后依次下载下方红框中的文件


下载好后,然后选中这九个文件剪切,回到 `text-generation-webui` 目录中,进入 `models` 目录中,新建要给文件夹,名为 `codellama-7b`

把刚才9个文件,都粘贴到这个新文件夹中

然后回到`text-generation-webui` 目录中,双击打开 `start_windows`

然后打开一个浏览器,输入localhost:7680,可以看到进入到了Text generation Web UI中

点击上方model切换到模型配置页面,在模型下拉列表这里选择 codellama-7b

然后点击Load加载模型,接下来可以测试提出问题

然后把右侧上方的代码使用vscode测试一下,是否能得出结果

可以看到,显示出了正确结果,目前我们在本机部署了 Text generation Web UI,并且还添加了code llama大模型,如果想团队协作多人使用,或者在异地其他设备使用的话就需要结合Cpolar内网穿透实现公网访问,免去了复杂得本地部署过程,只需要一个公网地址直接就可以进入到Text generation Web UI中。
接下来教大家如何安装Cpolar并且将 Text generation Web UI实现公网访问。
3. 实现公网远程使用Code Llama
下面是安装cpolar步骤:
> Cpolar官网地址: [https://www.cpolar.com](https://www.cpolar.com/)
点击进入cpolar官网,点击`免费使用`注册一个账号,并下载最新版本的Cpolar

登录成功后,点击下载Cpolar到本地并安装(一路默认安装即可)本教程选择下载Windows版本。

Cpolar安装成功后,在浏览器上访问[http://localhost:9200](http://localhost:9200/),使用cpolar账号登录,登录后即可看到Cpolar web 配置界面,结下来在web 管理界面配置即可。

接下来配置一下 text-generation-webui 的公网地址,
登录后,点击左侧仪表盘的隧道管理——创建隧道,
首先创建一个 LobeChat 的公网http地址隧道
– 隧道名称:可自定义命名,注意不要与已有的隧道名称重复
– 协议:选择http
– 本地地址:7860 (本地访问的地址)
– 域名类型:免费随机域名
– 地区:选择China Top
点击`创建`

隧道创建成功后,点击左侧的状态——在线隧道列表,查看所生成的公网地址,有两种访问方式,一种是http 和https

我们接下来使用http公网地址访问,可以看到我们访问到了 Text generation Web UI 界面,这样一个公网地址访问就创建好了。

**小结**
如果我们需要长期进行团队协作的话,由于刚才创建的是随机的地址,24小时会发生变化。另外它的网址是由随机字符生成,不容易记忆。如果想把域名变成固定的二级子域名,并且不想每次都重新创建隧道来访问Text generation Web UI,我们可以选择创建一个固定的http地址来解决这个问题。
4. 固定Text generation Web UI公网地址
由于以上使用cpolar所创建的隧道使用的是随机公网地址,24小时内会随机变化,不利于长期远程访问。因此我们可以为其配置二级子域名,该地址为固定地址,不会随机变化。
登录cpolar官网,点击左侧的预留,选择保留二级子域名,地区选择china vip top,然后设置一个二级子域名名称,填写备注信息,点击保留。

保留成功后复制保留的二级子域名地址:

登录cpolar web UI管理界面,点击左侧仪表盘的隧道管理——隧道列表,找到所要配置的隧道,点击右侧的`编辑`。

修改隧道信息,将保留成功的二级子域名配置到隧道中
– 域名类型:选择二级子域名
– Sub Domain:填写保留成功的二级子域名
– 地区: China VIP
点击`更新`

更新完成后,打开在线隧道列表,此时可以看到随机的公网地址已经发生变化,地址名称也变成了保留和固定的二级子域名名称。

最后,我们使用固定的公网地址访问Text generation Web UI界面可以看到访问成功,一个永久不会变化的远程访问方式即设置好了。

相信你现在已经在本地成功部署了Text generation Web UI,并且配置好了Code Llama大语言模型。更重要的是,借助Cpolar内网穿透工具,你已经实现了公网远程访问的功能。这样一来,无论你在办公室、家里还是咖啡馆,都能随时随地享受到高效的代码生成体验,为你的开发工作带来更多的便利和乐趣!

文章来源于互联网:本地部署Text generation Web UI + Code Llama体验高效代码生成
相关推荐: Photoshop 2025 最新版!集成 Stable Diffusion 插件!支持 AI 创意生成填充!
前言 说起 Photoshop 我们都不陌生,不管是摄影后期修图,还是平面设计、特效合成,都离不开它。 熟练掌握 Photoshop 原理和操作之后,其实比某些傻瓜式修图软件还要好用。 然而众所周知,其创意式填充功能在大陆地区是不能用的!今天分享的是特殊版! …
5bei.cn大模型教程网










