5bei.cn大模型教程网前言：
自从去年10月份以ChatGPT和stable diffusion的发布引发了一波生成式AI浪潮，但很多人特别是某些领导整天在会议上说人工智能带来的各种风险和不足，其实自己几乎没用过ChatGPT和stable diffusion，对生成式AI（AIGC）只有偏见！缺少实践对新生事物的理解和抓住机会是有害的，由于这一波AI浪潮带着复杂难懂的各种专业术语和昂贵的平台，给习惯了点击购买云主机的IT从业者和个人开发者带来了不小的门槛，加之最近美国实体名单居然把游戏显卡RTX4090都加入禁止出售给中国的实体清单，我觉得有必要在”廉价”游戏显卡上把大模型对话和stable diffusion画小姐姐的生成式AI在自己的PC机上跑起来！这样才能谈后面的体验和带来的机会。
原文首次发表于：https://zhuanlan.zhihu.com/p/663179436
以下评测数据都是自己花钱、花时间原创测试得到，希望给所有开发者实践大模型和AI画图予参考，有帮助和喜欢的朋友请收藏、关注和点赞，让人人都能够参与的AI才是真正的AI
测试环境说明：
测试平台硬件为：Intel Xeon Platinum 8360Y,256G内存（当然你用i3 cpu+16G内存也没有问题）
操作系统：开始用Linux Ubuntu 22.0.4，由于对比windows发现性能差异很小后面也有部分测试用了windows 10,
软件组件：这部分是重点，对性能有明显差异，所以特别强调
驱动安装的是537.42（980Ti 特别点用的只有低版本536.40）
CUDA： 12.2
python: 3.10.11
Pytorch: 2.0.1+cu121
transformers :在大模型对话（chatglm2-6b）用的是4.34.0；Stable difusion画小姐姐用的是4.30.0
大模型选用的是智谱AI与清华KEG实验室发布的中英双语对话模型chatglm2-6b,有60亿个参数，控制得当在980Ti的6Gb显存也勉强可以跑起来。参考：https://github.com/THUDM/ChatGLM2-6B
大模型加载webui用的官方text-generation-webui snapshot-2023-10-15最新版，参考：https://github.com/oobabooga/text-generation-webui
stable diffusion webui加载器用的官方v1.6版本，没用xformers，启动参数除了端口全部都默认，参考:https://github.com/AUTOMATIC1111/stable-diffusion-webui
模型用的：chilloutmix_Ni.safetensors
测试分为两部分，第一部分为stable diffusion的测试，用SD生成10张512*512 的图片，提示词prompt如下：
masterpiece, best quality, realistic, 1girl,solo,25 years old,blue vest, blue skirt,white shirt,short sleeves,standing,
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
文章来源于互联网:原创：旗舰游戏显卡(980Ti,1080Ti,TiTan V,2080Ti,3090,4090)，AI画图stable diffusion)和大模型(chatglm2-6b)推理性能横评
Stable Diffusion是一个用于构建和部署实时应用程序的平台，以下是Stable Diffusion的本地部署教程的基本步骤： 步骤 1: 下载Stable Diffusion 首先，您需要从Stable Diffusion官方网站（https://…
