5bei.cn大模型教程网
AI初识--LLM、ollama、llama都是些个啥？
LLM全称（large language model）也就是大语言模型 什么是Ollama，它与Llama是什么关系？ Ollama是一个开源的 LLM（大型语言模型）服务工具，用于简化在本地运行大语言模型，降低使用大语言模型的门槛，使得大...
标签：LLM
第60页
利用 FP8 量化加速 Llama-3-70B 推理
本文针对在 Amazon P5 (H100 GPU) 上部署 Llama-3-70b FP8 精度模型的两种方案选型（Trion 及 LMI – Large Model Inference 容器）进行了探索，同时提供了基于 FMBench ...
手把手教你在autodl上部署llama模型
一、注册AutoDL账号、租用GPU 进入 AutoDL官网链接 注册账号，需要先充点钱，如下创建新实例。 随便选择一张3090创建实例即可，镜像可以按照如下选择 点击进入JupyterLab 二、创建conda环境 进入终端，如图： 依次...
Llama-factory详细基础使用说明
最近很多小伙伴在使用llama-factory时遇到了不少问题，特别是基础不太好的童鞋，对各种参数或者webui界面的内容不理解，总是一会一个问题，网上大部分的教程，都只是教到能跑起来就行，对于细的调整没有做介绍，这里详细整理了一下界面中的...
【AIGC】AI工作流workflow实践：构建日报
引言 工作流 workflow 是现在 LLM 很重要的一个概念，因为对于一个模型来说，非常复杂的问题很难一次性完美解决，而且可能需要很多别的辅助工具。而工作流就是将这些工具和模型组合起来，形成一个完整的解决方案。今天我们来做个工作流实践，...
【Python ASR 】模型对比 whisper 和 funasr
模型 Paraformer-zh（离线免费-推荐） 语音识别，带时间戳输出，非实时 SenseVoiceSmall（离线免费） 多种语音理解能力，涵盖了自动语音识别（ASR）、语言识别（LID）、情感识别（SER）以及音频事件检测（AED）...
LLM大模型微调入门Lora（LlamaFactory）
一、Llama Factory介绍 LLaMA-Factory 是一个开源框架，旨在简化大型语言模型的定制化微调流程。该框架整合了多样化的训练策略与监控工具，支持通过命令行界面（CLI）和网页用户界面（WebUI）等多种方式进行交互，显著降...
LLM岗位学习之langchain（文心一言）
学习目标：LangChain 掌握LangChain的入门知识 学会基本实现代码 学习内容： LangChain：用于构建大语言模型应用的开源框架 LangChain的主要作用是简化和增强由大型语言模型（LLMs）驱动的应用程序的开发和管理...
开源大模型新王者Llama 3.3 70B，用Ollama跑起来
深度解析Llama 3.3 70B模型。 Meta公司新近推出的Llama 3.3 70B模型，为大型语言模型带来了新突破。这款模型不仅支持多语言，性能强劲，而且具备成本效益，有望彻底改变企业和科研人员利用AI的方式。今天带大家深入解析Ll...
AI产品调研-文心一言 、扣子
1.文心一言 1.1分析目的 了解文心一言当前产品现状与最新功能解读。 1.2产品基本信息 1.研发公司：百度 2.官网：https://yiyan.baidu.com/ 3.产品定位：治愈系智能产品，以声音和科技为媒介，为人们提供温暖治愈...
