5bei.cn大模型教程网
Llama 3.1大模型的预训练和后训练范式解析
Meta的Llama大型语言模型每次出新版本，都会是一大事件。前段时间他们不仅发布了3.1的一个超大型的405亿参数模型，还对之前的8亿和70亿参数的模型做了升级，让它们在MMLU测试中的表现更好了。 不同模型在MMLU基准测试中的表现 他...
标签：LLM
第77页![[Sigcomm论文解析] Llama 3训练RoCE网络-5bei.cn大模型教程网](https://file.5bei.cn/2024/09/frc-a4e7f3a29eaac72330aceb46bed689cd-220x150.png)
[Sigcomm论文解析] Llama 3训练RoCE网络
最近正在开的Sigcomm上, Meta有一篇论文《RDMA over Ethernet for Distributed AI Training at Meta Scale》[1]详细介绍了它的物理网络部署和相关的拥塞控制机制. 本文来对它...
自定义 LLM：LangChain与文心一言擦出火花
目前AI模型领域百家争鸣，尽管LangChain官方提供了一些接口，但是可能并不支持所有模型。如果你需要自定义模型并将其接入LangChain框架，这是一种可能的选择。刚好文心一言能力全面开放，本教程借助文心一言大模型讲解在LangChai...
LLaMA 3 背后的大规模 GPU 集群 RoCE 网络建设
模型越来越大，需要的 GPU 越来越多；与此同时 GPU 性能也在不断增强，配套的网络带宽也不断增加到 400G（Blackwell GPU 甚至需要到 800 Gbps）。Ranking 模型还在迁移到 GPU 的早期阶段，但使用 GPU...
Llama 3.1 模型：从部署到微调的全方位应用手册
在人工智能的浪潮中，大型语言模型（LLMs）已成为推动技术进步的关键力量。随着Meta公司最新开源的Llama 3.1模型的问世，我们见证了开源AI领域的一大飞跃。Llama 3.1以其卓越的性能和广泛的应用潜力，为开发者和研究者提供了一个...
![[机器学习]-如何在 MacBook 上安装 LLama.cpp + LLM Model 运行环境-5bei.cn大模型教程网](https://file.5bei.cn/2024/09/frc-bfb2e0422f3f2f9cd4825dee342da810-220x150.png)
[机器学习]-如何在 MacBook 上安装 LLama.cpp + LLM Model 运行环境
如何在 MacBook 上安装 LLama.cpp + LLM Model 运行环境 1. 问题与需求 近段时间想学习一下大语言模型的本地化部署与应用。首先遇到的就是部署硬件环境的问题。我自己的笔记本是一台 MacBook Pro M3，没...
文心一言对GPT-4o的评价与分析
在人工智能的浪潮中，大型语言模型（LLM）的发展日新月异，为自然语言处理（NLP）领域带来了诸多突破。GPT系列模型作为其中的佼佼者，其每一次更新都牵动着业界的目光。近日，GPT-4o的发布更是引发了广泛的讨论。本文将从文心一言的视角出发，...
腾讯把我的公众号，变成了一个巨大的"数字生命"。
去年11月，我第一次推荐Kimi的时候，就是因为我想做一个数字分身，把我写过的所有公众号文章，当作一个知识库，让AI来解答各种乱七八糟的问题。 参见：当我把我的100篇文章喂给AI – 坏了，我成数字生命了？ 而那时候Kimi的...
LLM并发加速部署方案（llama.cpp、vllm、lightLLM、fastLLM）
大模型并发加速部署 解析当前应用较广的几种并发加速部署方案！ llama.cpp、vllm、lightllm、fastllm四种框架的对比： llama.cpp：基于C++，①请求槽，②动态批处理，③CPU/GPU混合推理 vllm：基于P...
LLM - 使用 HuggingFace + Ollama 部署最新大模型 (GGUF 格式 与 Llama 3.1)
欢迎关注我的CSDN：https://spike.blog.csdn.net/ 本文地址：https://spike.blog.csdn.net/article/details/141028040 免责声明：本文来源于个人知识与公开资料，仅...
