安装指南:LLaMA Factory、AutoGPTQ 和 vllm
安装指南:LLaMA Factory、AutoGPTQ 和 vllm 在本文中,我们将详细介绍如何安装 LLaMA Factory、AutoGPTQ 和 vllm,这些工具在大型语言模型(LLMs)和视觉语言模型(VLMs)的微调和量化中非...
安装指南:LLaMA Factory、AutoGPTQ 和 vllm 在本文中,我们将详细介绍如何安装 LLaMA Factory、AutoGPTQ 和 vllm,这些工具在大型语言模型(LLMs)和视觉语言模型(VLMs)的微调和量化中非...

前言 LLM推理优化系统工程概述 截止到目前市面上比较主流的基于文字生成影像的模型都是基于了3大部分组成的。 Encoder Model , Generation Model ,Decoder Model。并且这三个部分是分开训练,然后组合...

本篇为: 面向人群:觉得LLM很多复杂的结构和层级,懂很多原理,但是不知道怎么结合到一起 本篇会很长,但是应该不会又臭又长 本篇可能像当头一棒,但是有可能:力度刚刚好,懵逼不伤脑。 逐行拆解LlaMa大模型的所有算子,架构,包括RMSNor...
随着人工智能(AI)技术的不断发展,生成式人工智能(AIGC, Artificial Intelligence Generated Content)已成为游戏设计领域的一个热门话题。从内容生成到游戏优化,AIGC正逐步改变着游戏开发的方式、...

大模型火了之后,相信不少人都在尝试将预训练大模型应用到自己的场景上,希望得到一个垂类专家,而不是通用大模型。 目前的思路,一是RAG(retrieval augmented generation),在模型的输入prompt中加入尽可能多的“...

一、背景 随着人工智能技术的快速发展,尤其是在自然语言处理(NLP)、计算机视觉和生成对抗网络(GANs)等领域,AIGC(AI Generated Content)得到了广泛应用,这一技术的进步使得内容创作变得更加高效与多样化,推动了各个...

前言:在学生年代,小编用过香橙派4B、树莓派3B、树莓派4B、ROCK Pi4等开发板,每次拿到新开发板的时候,总会迫不及待地装上系统,当做一个小型电脑玩上一波,然后再将一些功能在上面实现或者将算法部署到上面,体验下性能的提升,相信每一个技...

此次会连载一套 AI-Agent 构建的系列,主要分为三部分,首先是速通 AI-Agent 构建的工作流基础,然后是通过 ComfyUI 作为案例来复盘如何快速上手工作流平台,最后则是借助 Agent 平台构建一个 AI Agent 案例,...

前言 本章我们将通过 LLaMA-Factory 具体实践大模型训练的三个阶段,包括:预训练、监督微调和偏好纠正。 大模型训练回顾 训练目标 训练一个医疗大模型 训练过程实施 准备训练框架 LLaMA Factory是一款开源低代码大模型微...

引言 在人工智能领域,我们一直在追求让机器像人类一样思考。然而,即使是最先进的AI,也常常被诟病缺乏“常识”,难以理解复杂问题,更不用说像人类一样进行逻辑推理和解决问题了。最经常的表现就是遇到不会的地方,或者一些人一眼能看出来的地方AI在那...