5bei.cn大模型教程网
理解vllm分布式推理服务中的多节点Multi-Node部署方式
1. 多节点的含义 vllm官方文档（参考1）中给出了多节点“Multi-Node”多GPU部署的方案说明，注意该特性只是较新版本的vllm中才能使用。“Multi-Node”指的是，将大模型的推理和服务过程，分布在多个计算节点（服务器）上...
标签：LLM
第52页
通过Obsidian Copilot和 Ollama 实现 Obsidian 本地知识库和智能化
原理 Obsidian Copilot 是一款为 Obsidian 笔记软件设计的 AI 助手插件，它将 AI 技术（如 OpenAI 的 GPT 模型）无缝集成到 Obsidian 的笔记工作流中，为用户提供智能化的写作、知识管理和思考辅...
AIGC训练效率与模型优化的深入探讨
人工智能领域的发展，人工智能生成内容（ AIGC）越来越受关注。AIGC能够通过学习大量数据生成高质量内容，但训练效率和模型优化仍然是关键的研究方向。本博客将深入探AIGC的训练效率，与模型优化的相关策略和技术，提供相应代码示例和图示，以帮...
第一弹：llama.cpp编译
1.编译llama.cpp命令行（电脑版本）； 2.交叉编译安卓命令行版本。 一、Llama.cpp是什么？ llama.cpp是一个开源项目，专门为在本地CPU上部署量化模型而设计。它提供了一种简单而高效的方法，将训练好的量化模型转换为可...
再见llama.cpp和ollama，mlx-community 开源 Llama-3.3-70B-Instruct-4bit
相信很多使用 Mac 计算机的人都由于没有 Nvidia 显卡而无法体验到 Meta 最新的 Llama-3.3-70B-Instruct 而困扰。多数还在安装 ollama 和 llama.cpp 通过 gguf 来体验 Llama-3....
LLaMA-Factory大模型训练框架相关参数解释
1.本地部署后的llamafactory前端效果 2.大模型训练所需显存大小计算 例如训练精度16位，Qwen 24B模型所需的显存大小计算： M = (24∗ 4) / (32 / 16) ∗ 1.2 = 57.6 GB 3.训练参数解释...
Llama-2-Open-Source-LLM-CPU-Inference 使用教程
Llama-2-Open-Source-LLM-CPU-Inference 使用教程 Llama-2-Open-Source-LLM-CPU-InferenceRunning Llama 2 and other Open-Source LL...
基于LLaMA-Factory微调Llama3
本文简要介绍下基于LLaMA-Factory的llama3 8B模型的微调过程 环境配置 # 1. 安装py3.10虚拟环境 conda create -n py3.10-torch2.2 python=3.10 source activa...
【从零开始系列】Qwen2.5 & Llama-Factory：开源语言大模型+训练平台——（超详细、最新版）一篇文章解决：环境搭建 =＞ 微调训练 =＞ 本地部署
目录 一、简介 1.Qwen2.5：开源模型 2. LLaMA-Factory：微调工具 二、环境搭建 1.Python和Pytorch版本 2.llamafactory项目...
PP-OCR与文心一言强强结合，无须训练，信息抽取精度超80%！
众所周知，文本图像的智能分析面临诸多挑战。首先，文本图像的场景非常多样，比如论文、书籍、说明书、合同等，模型的泛化性难以满足要求。其次，有的场景比较复杂，比如生僻字、表格和多页PDF等，模型难以达到理想的精度。最后，部署繁琐，模型部署涉及诸...
