标签：Auto-GPT

2025-03-28EnchantedScribe阅读(622)赞(0)

安装指南：LLaMA Factory、AutoGPTQ 和 vllm 在本文中，我们将详细介绍如何安装 LLaMA Factory、AutoGPTQ 和 vllm，这些工具在大型语言模型（LLMs）和视觉语言模型（VLMs）的微调和量化中非...

2025-03-14GoldenSphinx阅读(651)赞(0)

        用LLama Factory的微调并导出大模型时.​由于很多模块如之间的依赖关系复杂很容易造成版本冲突,主要涉及到cuda/pytorch/python/auto-gptq/vllm的版本选择.我在AutoDL上经实验了(高...

2024-07-03LunarFrost阅读(763)赞(0)

前言：笔者在做GGUF量化和后续部署的过程中踩到了一些坑，这里记录一下。 1.量化 项目地址：llama.cpp 1.1 环境搭建 笔者之前构建了一个用于实施大模型相关任务的docker镜像，这次依然是在这个镜像的基础上完成的，这里给出Do...