标签：LLM

2024-07-18FrozenEmbers阅读(675)赞(0)

本文档详细介绍了使用ChatGLM3-6b大模型、m3e向量模型、one-api接口管理以及Fastgpt的知识库，成功的在本地搭建了一个大模型。此外，还利用LLaMA-Factory进行了大模型的微调。 1.ChatGLM3-6b 2.m...

2024-07-18CosmicWanderer阅读(450)赞(0)

7月18日凌晨，OpenAI在官网发布了最新技术研究——Prover-Verifier-Games。 随着ChatGPT在法律、金融、营销等领域的广泛使用，确保模型的安全、准确输出同时被很好理解变得非常重要。但由于神经网络的复杂和多变性，我...

2024-07-18LunarEclipse阅读(541)赞(0)

前面两篇博文，我们分别在个人笔记本电脑部署了Llama 3 8B参数大模型，并使用Ollama搭建了基于 Web 可视化对话聊天机器人，可以在自己电脑上愉快的与Llama大模型 Web 机器人对话聊天了。但在使用过程中，笔者发现Llama大...

2024-07-18EmberHeart阅读(638)赞(0)

Meta 发布了最新的开源语言模型Llama 3。因为它是开源的，你可以下载这个模型，并在自己的电脑上运行。 我清楚，你可能会想，在个人笔记本上运行一个拥有80亿参数的AI模型似乎只有技术高手才能做到。但别担心！这篇文章会提供一个简单的步骤...

2024-07-18CrimsonFeather阅读(413)赞(0)

今年2月，Stability.ai发布了Stable Diffusion 3预览版，在多主题提示、图像质量和拼写能力方面具有显著的性能提升。Stable Diffusion 3是一个系列模型，参数量从800M到8B不等。 6月12日，Sta...

2024-07-17EmberGlimmer阅读(266)赞(0)

使用llama.cpp实现LLM大模型的格式转换、量化、推理、部署 概述 llama.cpp的主要目标是能够在各种硬件上实现LLM推理，只需最少的设置，并提供最先进的性能。提供1.5位、2位、3位、4位、5位、6位和8位整数量化，以加快推理...

2024-07-17DriftingDancer阅读(609)赞(0)

#本教程也参考了其他教程，这个是整合版，带#的是注释，不带#的就是命令，需要一行一行复制，然后按回车执行 #最好选择境外Linux，网络环境好，境内需要魔法，下面开始—— #从控制台登录，最好是OrcaTerm登录，复制比较方便 #第一步下...

2024-07-17ElectricStorm阅读(302)赞(0)

👀日报&周刊合集 | 🎡生产力工具与行业应用大全 | 🧡 点赞关注评论拜托啦！ 👀 LLM 崛起之路：全球大语言模型「规模增长」可视化交互图 https://informationisbeautiful.net/visualizat...

2024-07-17CrimsonFeather阅读(259)赞(0)

核心思想是： 1. 抛去算法设计方面，仅从工程角度考虑的话，Stable diffusion的潜力挖掘几乎完全受输入文字影响。 2. BLIP2所代表的一类多模态模型走的路线是”扩展赋能LLM模型”，思路简单清晰，收...

2024-07-16FrozenEmbers阅读(1279)赞(0)

前言 关于位置编码和RoPE  应用广泛，是很多大模型使用的一种位置编码方式，包括且不限于LLaMA、baichuan、ChatGLM等等 我之前在本博客中的另外两篇文章中有阐述过(一篇是关于LLaMA解读的，一篇是关于transforme...