5bei.cn大模型教程网
【丹摩智算实战】手把手教你Llama 3.1 8B部署：开启自然语言处理新篇章
前言 在自然语言处理（NLP）领域，大模型（LLM）的发展日新月异，为各种应用场景带来了前所未有的能力。近日，Meta公司宣布推出了其最新的开源模型——Llama 3.1，这一消息在行业内引起了广泛关注。本文将详细介绍Llama 3.1的背...
标签：LLM
第67页
K8sGPT 搭配 LLaMA 3.1:8B，AI 运维也能轻松搞定
1. 前言 有没有觉得 Kubernetes 有时候像一头失控的野马，而你需要一头 LLaMA 来帮你驯服它？别担心，K8sGPT 来了！搭配 LLaMA 3.1:8B 模型，这对 AI 组合能为你的 Kubernetes 运维提供全方位支...
llama.cpp使用
llama.cpp的github库地址为ggerganov/llama.cpp: LLM inference in C/C++ (github.com)，具体使用以官方说明为准。 简介 llama.cpp目标是在本地和云端的各种硬件上以最小...
LLamafactory API部署与使用异步方式 API 调用优化大模型推理效率
背景介绍 第三方大模型API 目前，市面上有许多第三方大模型 API 服务提供商，通过 API 接口向用户提供多样化的服务。这些平台不仅能提供更多类别和类型的模型选择，还因其用户规模较大，能够以更低的成本从原厂获得服务，再将其转售给用户。此...
使用 Ollama、LangChain 和 Streamlit 通过 Meta 的最新 Llama 3.2 LLM 进行本地推理(项目含源码)
简介 Meta 刚刚宣布发布 Llama 3.2，这是一套革命性的开放、可定制的边缘 AI 和视觉模型，包括“小型和中型视觉 LLM（11B 和 90B）以及适合边缘和移动设备的轻量级纯文本模型（1B 和 3B），包括预训练和指令调整版本。...
【机器学习】Google开源大模型Gemma2：原理、微调训练及推理部署实战
目录 一、引言 二、模型简介 2.1 Gemma2概述 2.2 Gemma2 模型架构 三、训练与推理 3.1 Gemma2 模型训练 3.1.1 下载基座模型 3.1.2 导入依赖库 3.1.3 量化配置 3.1.4 分词器和模型实例化...
文心一言对接FreeSWITCH实现大模型呼叫中心
文心一言对接FreeSWITCH实现大模型呼叫中心 作者：开源大模型智能呼叫中心FreeIPCC，Github：https://github.com/lihaiya/freeipcc 随着人工智能技术的快速发展，特别是大规模语言模型（LLM...
Mamba 可能会让 LLMs 的成本降低 1000 倍...
Transformer 模型的局限性与 Mamba 的潜力 本文主要介绍了 Transformer 模型在自然语言处理领域的应用，以及其存在的局限性，并引入了新型模型 Mamba。 Transformer 模型的优势： 凭借自注意力机制，T...
2023年度盘点：AIGC、AGI、GhatGPT、人工智能大模型必读书单
【文末送书】今天推荐几本AIGC、AGI、GhatGPT、人工智能大模型领域优质书籍。 前言 2023年是人工智能大语言模型大爆发的一年，一些概念和英文缩写也在这一年里集中出现，很容易混淆，甚至把人搞懵。 LLM：Large Languag...
文生图中从扩散模型到流匹配的演变：从SDXL到Stable Diffusion3(含Flow Matching和Rectified Flow的详解)
前言 在此之前，本博客内已经介绍了扩散模型、SD等相关的原理及其对应的详细推导 很明显，OpenAI的首个视频生成模型sora极大程度的提高了大家对文生图、文生视频的热情，也极大的扩展了大家对AIGC的想象力，于是有了此文 后来，在写此文《...
