AI大模型教程
一起来学习

标签:ps

第620页
利用 FP8 量化加速 Llama-3-70B 推理-5bei.cn大模型教程网
AI创作

利用 FP8 量化加速 Llama-3-70B 推理

LunarEclipse阅读(1004)赞(0)

本文针对在 Amazon P5 (H100 GPU) 上部署 Llama-3-70b FP8 精度模型的两种方案选型(Trion 及 LMI – Large Model Inference 容器)进行了探索,同时提供了基于 FMBench ...

LLaMA-Factory多机多卡训练-5bei.cn大模型教程网
AI创作

LLaMA-Factory多机多卡训练

EternalWish阅读(2078)赞(0)

为了在多机多卡环境下训练大模型,我们可以使用LLaMA-Factory。 它支持多种常见模型,集成了包括(增量)预训练、(多模态)指令监督微调、奖励模型训练、PPO 训练、DPO 训练、KTO 训练、ORPO 训练等等训练方法,并且有web...

手把手教你在autodl上部署llama模型-5bei.cn大模型教程网
AI创作

手把手教你在autodl上部署llama模型

EnigmaticGaze阅读(841)赞(0)

一、注册AutoDL账号、租用GPU 进入 AutoDL官网链接 注册账号,需要先充点钱,如下创建新实例。 随便选择一张3090创建实例即可,镜像可以按照如下选择 点击进入JupyterLab 二、创建conda环境 进入终端,如图: 依次...

超详细的Stable Diffusion扩展插件的推荐与安装-5bei.cn大模型教程网
AI创作

超详细的Stable Diffusion扩展插件的推荐与安装

CosmicWanderer阅读(1733)赞(0)

Stable Diffusion的强大之处不仅仅是控图的能力。强大的扩展,插件的能力可以非常高效的匹配到任何你想要的工作插件,“工欲善其事必先利其器”对于自己的sd工作区的配置可以这样做。有些插件的安装需要魔法上网(不会科学上网可以+LIU...

Llama-factory详细基础使用说明-5bei.cn大模型教程网
AI创作

Llama-factory详细基础使用说明

GoldenSphinx阅读(3241)赞(0)

最近很多小伙伴在使用llama-factory时遇到了不少问题,特别是基础不太好的童鞋,对各种参数或者webui界面的内容不理解,总是一会一个问题,网上大部分的教程,都只是教到能跑起来就行,对于细的调整没有做介绍,这里详细整理了一下界面中的...

AI大模型,我们的未来

小欢软考联系我们