
使用llama.cpp实现LLM大模型的格式转换、量化、推理、部署
llama.cpp实现大模型的格式转换、量化、推理、部署 概述 llama.cpp的主要目标是能够在各种硬件上实现LLM推理,只需最少的设置,并提供最先进的性能。提供1.5位、2位、3位、4位、5位、6位和8位整数量化,以加快推理速度并减少...

llama.cpp实现大模型的格式转换、量化、推理、部署 概述 llama.cpp的主要目标是能够在各种硬件上实现LLM推理,只需最少的设置,并提供最先进的性能。提供1.5位、2位、3位、4位、5位、6位和8位整数量化,以加快推理速度并减少...

做为AI绘画的主流工具之一,Stable Diffusion(简称SD)大部分人都不陌生,用的最多的可能就是秋葉大佬的一键启动整合包。它以资源整合、安装方便、界面友好,自动更新、完全免费,深受广大AI绘画爱好者的欢迎 前两天秋葉大佬更新了2...

一个刚学AI绘画的小菜鸟如何快速成为Stable Diffusion高手?答案就是SD插件。 只要学会使用SD的各种插件,帮你写正向和负向提示词,修复人脸/身体/手指,高清放大图片,指定人物pose,图片微调等等都可以轻松搞定,善用插件是成...

Llama-Factory:https://github.com/hiyouga/LLaMA-Factory/tree/main 请使用 --quantization_bit 4/8 来启用 QLoRA 训练。 默认模块应作为 --lo...

Paper name Scaling Diffusion Transformers to 16 Billion Parameters Paper Reading Note Paper URL: https://arxiv.org/pdf/2...

一、前言 当我们一次次被 AI 技术带来的变革所惊艳,当 ChatGPT 一次次宣布其能力已经突破了人类的想象,你是否注意到现有产品与 AI 融合的新趋势?值得注意的是,新技术的出现也一定带来了新的交互体验。本文将以多种产品场景为例,梳理 ...

大家好,程序员晓晓 在AI绘画StableDiffusion中,一直都有一个比较困难的问题,就是如何保证每次出图都是同一个人。今天就这个问题分享一些个人实践,大家和我一起来看看吧。 一. 有哪些实现方式 方式1:固定Seed种子值。 固定S...

大家好,我是程序员晓晓 如果说对比目前的Midjourney和Stable Diffusion,能否让AI能根据我们的意愿进行调整就是一个很大的区别。就这一点来看,Stable Diffusion拥有了更大的自由度和更稳定的可控性。 今天,...

LlaMA 3 系列博客 基于 LlaMA 3 + LangGraph 在windows本地部署大模型 (一) 基于 LlaMA 3 + LangGraph 在windows本地部署大模型 (二) 基于 LlaMA 3 + LangGrap...
0. 前言 我们已经学习了文本生成图像模型 DALL.E 2,在本节中,我们将探索另一种多模态模型 Flamingo,它可以根据给定文本和视觉数据流生成文本。Flamingo 是 DeepMind 在 2022 年提出的一类视觉语言模型 (...