不用怀疑,AI出图这事儿,现在确实是个人就能玩转了。但如果你想让出图质量更稳、速度更快、还不受平台审核和费用的限制,那“本地搭建”这四个字,基本就是绕不开的必经之路了。别觉得本地部署是个多高深的活,说白了,它就是给AI大模型准备一个专属的运行环境,让它跑在你的显卡上,而不是跑在别人的服务器里。
这篇内容我不打算写得像产品说明书,而是打算从一个实操者的角度,把从零到一的过程给你捋一遍。硬件的坑、软件的坑、模型的坑,我都会挑重点讲明白。这篇文章写完之后,你能搞清楚自己需要一台什么样的机器,能明白那些看起来很专业的词(比如CUDA、PyTorch、WebUI)到底是什么,最重要的是,你能够亲手跑通第一张图。
1. 动手前的必修课:搞懂AI出图的基本逻辑
1.1 它到底是在电脑里做了什么
很多人第一次听说本地部署AI出图,第一反应是“这东西是不是需要一台超级计算机”。其实没那么玄乎。你常见的AI绘画应用,本质上是运行一个叫做“扩散模型”(Diffusion Model)的深度学习神经网络。你可以把它想象成一个特别有耐心的雕刻家,初始状态下,它面对的是一块充满噪点(随机雪花点)的大理石,然后通过一步步“去噪”的迭代过程,把画面中的物体轮廓、光影、细节一点点“雕刻”出来。
这个过程涉及海量的数学计算,尤其是矩阵乘法。所以它极度依赖显卡(GPU),因为GPU就是为了并行处理这种大规模数学计算而生的。你在本地环境要做的,就是把这个已经训练好的神经网络文件(我们通常叫它大模型,几个GB的模型文件)下载下来,然后通过特定的程序去加载它,最后再通过一个界面去指挥它“雕刻”出你想要的画面。
1.2 为什么非要折腾本地部署这一下
用现成的在线工具不香吗?说实话,像Midjourney、国内的即梦这类在线产品,确实搞得很好,省心。但很多人折腾本地环境,核心就三个原因:
第一是隐私性和自由度的回归。本地部署意味着所有计算都在你自己的电脑上完成,图片素材、提示词、数据不会经过任何第三方服务器。对一些设计师和内容创作者而言,项目未公开素材的保密性,比什么都值钱。第二是成本可控。在线工具大多是订阅制,一个月几十块到上百块不等。本地部署是一次性硬件投入,只要显卡不坏,你出图量再大,额外成本为零。第三是可控性极强。你可以随意切换社区里各种风格化的微调模型,可以像搭积木一样组合各种高级功能(比如精确控制人物姿势),这种自由度是封闭式在线平台给不了的。
顺便一提,现在跑AI出图,主要就是用两个开源的“施工平台”:Stable Diffusion WebUI 和 ComfyUI。它们是免费的开源软件,负责把你的提示词变成图片。下面我们所有的搭建流程,都是围绕它们展开的。
2. 硬件规划:别在显卡这件事上省钱
2.1 显卡(GPU)才是真正的发动机
如果你已经有了一台现成的电脑,想看看能不能跑,那我直接给个最简单的判断标准:NVIDIA(英伟达)的显卡 + 至少6GB显存,这是起步线。
为什么是NVIDIA而不是AMD?这不是玄学,是生态问题。当前主流的AI计算框架(比如CUDA)是NVIDIA一手推动的,几乎所有AI绘画软件、模型优化插件,都对NVIDIA的显卡做了最优先的支持和优化。虽然AMD近两年在AI性能上追得很紧,也能通过其他方式运行AI绘画,但过程中你需要额外安装特定的“加速层”,踩坑概率成倍增加。如果你不是特别喜欢折腾的人,请认准NVIDIA。
显存大小决定了你出图的上限。显存,你可以理解成显卡的工作台。工作台越大,你一次能处理的高分辨率图片就越宽,同时能叠加的模型细节就越多。具体来说:
- 6GB显存(比如RTX 3060 Laptop/Desktop):适合入门,能跑基本模型(Stable Diffusion 1.5),出图分辨率512x512很流畅,768x768属于极限。
- 8GB显存(比如RTX 4060、RTX 2070):性价比最高的一档,能跑大部分主流的2D风格模型,兼顾1080P高清修复。
- 12GB显存(比如RTX 3060 12GB、4070以上):很舒服了,可以直接跑新一代的SDXL模型(分辨率1024x1024),还能玩一些复杂的特效节点。
- 16GB及以上显存(比如RTX 4080、4090):属于专业级或准专业级,可以训练自己的模型,或者尝试速度极快的加速方案。
实操心得:如果你至今还没买电脑,预算有限,我建议你把大头都砸在显卡上。CPU(中央处理器)能用就行,内存(运行内存)32GB其实就绰绰有余了。别为了一个漂亮机箱或者光污染风扇,克扣了显卡的预算,这是本地AI玩家最容易犯的错误。
2.2 内存与硬盘:容易被忽视的两块基石
除了显卡,内存(RAM)和硬盘(存储空间)也是影响体验的关键。
内存太小,你会遇到“显卡没干满,CPU(中央处理器)先累趴了”的情况,导致出图速度奇慢,甚至直接报错“内存不足”。AI绘画程序在启动时会把模型权重载入内存,再拷贝到显存里。这个过程需要占用物理内存。所以内存在16GB以下,强烈建议升级到32GB,现在DDR5内存价格已经很友好了。
硬盘的话,要求就一个字:快。首选NVMe协议的固态硬盘,这个必须放在系统盘里。因为模型文件动辄几个GB,加载十几个GB的文件,如果机械硬盘会卡得你怀疑人生。如果预算允许,再配一块1TB以上的固态专门放模型库,会很爽。
3. 软件环境搭建:从零开始捋顺底层依赖
硬件是根,软件是魂。这一步主要解决“用什么操作系统”和“装哪些基础软件”的问题。我把这套流程叫做“三步走”:装系统、装Python、装Git。
3.1 操作系统选择:Windows是省心的,Linux是极客的
网上很多教程特别偏爱Linux,但那是给跑生产环境服务器的人看的。作为一个个人玩家和资深博主,我给大多数朋友的建议是:就用Windows 11。
Windows下最新的NVIDIA驱动,对AI绘画程序的兼容性已经做得非常好了。你用Windows,意味着遇到几乎所有问题,都能在搜索引擎里找到解决方案。Linux的好处是能压榨出一点点性能,但代价是你要花大量时间处理驱动和依赖依赖库的冲突。现阶段,刚入门的朋友没必要自讨苦吃。当然,如果你是黑苹果用户,或者手里只有Mac电脑,也并非不能玩,只是需要寻找特定的MPS加速支持方案,这件事是为数不多还在坚持用Mac玩AI的人必踩的坑。
3.2 Python环境与Git工具:AI世界的两大管家
Stable Diffusion的核心代码是Python写的,所以需要安装它。目前大部分AI项目对Python版本有明确要求,一般Python 3.10到3.11是最稳的区域。千万别去Windows应用商店随便装一个最新版(比如3.13),最新的不一定是兼容的。
- Python安装:去python.org官网下载3.10或3.11的64位安装包。安装时,务必勾选“Add Python to PATH”这个复选框。这一步是新手最常犯的错误,如果没勾选,后面命令行里输入“python”就会提示找不到命令。
- Git安装:Git是代码版本管理工具,但在这里的主要作用是让你能直接从全球最大的代码托管平台GitHub上下载各种AI绘画的项目源码。下载Git安装包,一路Next安装完就行,同样要把“Git from the command line”选项加上。
安装完这两个东西,打开命令提示符(cmd)输入python --version和git --version,如果能正常显示版本号,说明你的基础环境就绪了。到这里,你的电脑已经具备了“听懂AI指令”的基本条件。
4. 实战部署:跑通你的第一个出图界面
环境装好,接下来就是重头戏:用命令行把WebUI拉下来。目前最主流、对新用户最友好的开箱即用方案,其实就是直接部署官方推荐的WebUI。
4.1 使用Git拉取项目文件到本地
先说清楚,这个操作的本质,就是从GitHub官网下载一份名为“stable-diffusion-webui”的代码压缩包,只是我们用命令行拉取的好处是,以后软件的更新只需要一条命令小事儿(之前辛辛苦苦改的配置和下载的插件都能保留)。
找一个你存放项目的目录,做法如下:
- 在文件夹地址栏输入
cmd,打开命令提示符窗口。 - 执行:
git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git - 让电脑自己去跑,项目文件有几个GB,取决于你的网速,这个过程会下载一些必要的依赖文件(比如Git LFS大文件)。
克隆完成后,你会看到一个叫stable-diffusion-webui的文件夹。别急着双击运行,先进入这个文件夹,找找看有没有一个叫webui-user.bat的文件,这个是小程序入口。
4.2 安装PyTorch与CUDA加速层
这是整个搭建过程中最容易出错的地方。WebUI启动时,需要联网下载机器学习框架PyTorch。在下载之前,程序会检测你的显卡型号。如果你用的是NVIDIA独显,它会自动帮你下载带CUDA加速(统一计算设备架构加速)的版本。
CUDA这东西,你可以把它理解成是NVIDIA给自己显卡写的一套“专用教练手册”。显卡按照这个手册里的指令去训练AI模型,效率比CPU高出好几个数量级。通常WebUI会自动安装正确的版本,但如果你发现下载速度特别慢(国内访问外网慢),我可以分享一个小技巧:
打开stable-diffusion-webui文件夹里的webui-user.bat,用记事本编辑,在set COMMANDLINE_ARGS=这行后面,添加镜像源参数。这样下载PyTorch的速度会得到质的飞跃。这一步属于锦上添花,如果下载速度感人,再考虑用这个方法解决。
4.3 启动与自动配置依赖库
双击webui-user.bat,第一次启动会进入一个黑漆漆的命令行窗口,这时候千万别关。程序正在自动安装剩余的依赖库(那些能让你程序跑起来的小工具包)。这个过程通常会持续10到30分钟,根据你网络速度的不同,时长也会有差异。
观察到命令行窗口里出现了一行网址,通常是http://127.0.0.1:7860,恭喜你,环境搭建成功了。打开这个网址,你就会看到一个非常经典的AI绘画操作界面——左侧是你要输入的提示词(正面描述)和反向提示词(负面描述),中间偏下是生成按钮。
重要提示:很多人在第一次看到命令行里那些红色WARNING(警告)时就慌了,以为出错了。我和很多AI玩家交流时发现,绝大多数WARNING不会影响使用。真正致命的错误是程序崩溃退出(通常会弹出traceback提示)。不要被那些看起来吓人的英文警告吓倒,只要最后能启动出网址,就是成功。
5. 模型选型与安装:让出图画风更准的关键
环境跑通了,现在的你就像买了台新手机,但里面一个应用都没装。这里的“应用”,指的就是大模型文件。没有模型,WebUI就是个空壳子,生成出来的图片会是一团马赛克。
5.1 认识几类必须下载的文件格式
当你准备找模型时,会看到各种后缀名的文件,比如.ckpt、.safetensors。它们到底是什么?简单说,ckpt是老式的模型格式,已经逐渐被淘汰。现在主流项目都使用.safetensors格式,它最大的优点是安全性更高。加载它时,程序会校验文件是否有病毒,避免运行恶意代码。所以,下载模型时我建议:
- 只认准
.safetensors格式的文件。 - 文件名里通常会标明
1.5或2.1,代表它基于哪个底模训练,别下混了,需要匹配版本。 - 文件大小能直接反映模型规模,一般在
2GB到7GB之间,太小的通常是“残废版”,画出来画面都糊了。
5.2 从哪儿下载和放到哪儿
模型的下载渠道比较固定,网上知名的模型分享社区就是全球AI画师们交流的地方。那里有成千上万针对特定风格(比如赛博朋克、水墨风、真实摄影写实)训练好的模型供你挑选。
下载好的模型,是一个巨大的.safetensors文件,需要放到WebUI的模型目录里。以我自己的经验,位置在:stable-diffusion-webui\models\Stable-diffusion\这个文件夹下。
模型放好之后,回到WebUI界面,把浏览器页面刷新一下(一定要刷新),在页面左上角的“Stable Diffusion checkpoint”下拉菜单里,就能看到你新加入的模型了。切换不同的模型,绘画风格会有天壤之别。这一下,从“我是谁”变成了“我能画什么”,解决的是整个AI绘画流程里最关键的一步。
6. 出图参数与提词实操:从能画到画得好
界面有,模型有了,你已经可以开始“玩弄”你的AI了。但很多人第一次生成图片,要么画出来的东西又黑又乱,要么完全不符合预期。这个问题出在参数设置和提示词写法上。
6.1 提示词(Prompt)的万能公式
如果你调用的是底层大模型(比如SD 1.5系),那你得把提示词写得像电报一样“密”。WebUI界面提供了两个输入框,一个正向,一个反向。
- 正向提示词:通过英文短语描述“画面里应该有什么”。优化结构为:质量词 + 主体描述 + 环境氛围 + 风格渲染。例如“masterpiece, best quality, (photorealistic:1.3), a beautiful cyberpunk girl, neon lights, rainy street, highly detailed”。
- 反向提示词:描述你不想要的东西。同样,要写得具体。比如“bad anatomy, bad hands, missing fingers, extra digits, blurry, jpeg artifacts, watermark, text”。
实操心得:关键词的顺序是有效果的,越靠前的词组,AI认为它的权重越高,越重要的形容放在越前面。在描述主体时,可以加上括号和权重,例如(masterpiece:1.2),意思是重点关照,如果觉得画面不够精细,把权重数字调大。
6.2 核心参数:理解采样器、步数、CFG和分辨率
界面上一大堆英文参数确实让人头疼。别慌,你只需要重点弄懂下面这四个至关重要的:
- Sampling Method(采样器):它决定了AI一步步“去噪”时采用的算法。默认的
Euler a是稳妥之选。但如果你想追求更细腻的质感,可以试试DPM++ 2M Karras,画出来确实比默认的更锐利。 - Sampling Steps(采样步数):即AI迭代的次数。步数太少画不完整,太多又浪费时间,还可能过拟合导致线条僵硬。基础模型建议设置为
20-28步之间,过高意义不大。 - CFG Scale(提示词引导系数):它控制AI是“死守”你的描述,还是“自由发挥”。默认值是7。数值过低(比如4以下),AI会脱离你的控制,画出来的图跟描述天差地别;数值过高(比如15以上),画面会变得过度锐利和失真。实战中在7-10之间调整。
- Resize Seed(分辨率参数):种子是随机噪点的编号,相同种子在同样参数下,能复现一模一样的底图。当你看到别人的图很喜欢,想微调的时候,先把种子数字复制回来,再修改细节,这样就能在完全相同的画面基础上调整,而不是推倒重来。
弄懂这4个参数后,你的第一张图下载成功率会提升80%。剩下的放大算法、面部修复之类的高阶玩法,等你有产出之后,自然会明白它们的作用。
7. 常见故障排查:那些年我们踩过的坑
玩本地部署,踩坑是常态,不踩坑反而不正常。我把自己和几位AI玩家交流时反复出现的几类问题整理一下,能帮你省下好几个小时的查资料时间。
7.1 GUI启动失败:闪退或报Traceback错误
闪退的原因通常很明显,双击webui-user.bat之后,命令行窗口一闪而过,大概率是Python环境不对。这个它不是照着教程安装了,但安装时没勾选“Add Python to PATH”造成的。
解决方式:重新运行Python安装包,选择“Modify”,勾选“Add Python to environment variables”(添加到环境变量)。确认无误之后,如果环境还报错,拿命令行窗口弹出的错误信息去搜索复制粘贴,基本都能找到针对性的解决方案。
7.2 显存不足:CUDA Out of Memory (OOM)
当你生成一张中等分辨率的图时,跳出红色报错,提示“CUDA Out of memory”,说明你的显存不够用了。
直观的办法是降低出图分辨率,比如不要直接出1024x1024,先出512x512,再用“高清修复”(Hires. fix)功能把图放大一到两倍。这个功能在生成图片区下方,开启后,AI会先按小分辨率画,再通过修复算法放大,能极大缓解显存压力。此外,也可以顺手关掉其他占显存的软件(比如大型游戏、浏览器多开)再开枪。
7.3 图片画出来是一团糊的,或者变黑
要么是你反向提示词里写了“blurry”,“low quality”这类词,然后权重给高了。要么就是你切换模型时,VAE(变分自动编码器)设置有误。
VAE是决定图片色彩分布和细节层次的关键文件。如果你下载的是基础模型合集,里面通常会附带一个vae文件夹。操作方法:在WebUI的“设置”选项卡里找到“Stable Diffusion”,把“SD VAE”选项替换成模型对应的VAE文件。最直接的办法,推荐去网上下载一个通用的清理过的VAE文件,它能让你的画面色彩更通透、不发灰。
7.4 网速受限:下载模型/依赖龟速
这属于无解的物理限制。解决方案上,针对模型下载,可以尝试用一些下载软件加速;针对依赖下载,就是我们之前提过的,在启动脚本里加国内镜像参数。这些都属于环境的“调优”环节,等你跑顺了,自然会觉得整个技术栈都清晰了。
本地AI出图环境这块,我自己真金白银踩过不少坑才摸到门道。每次觉得“这次应该稳了吧”,结果不是驱动更新崩了,就是模型不兼容。但反过来说,你每解决一个别人没耐心解决的环境问题,你手里积累的就是一套能稳定产出、完全属于自己、不依赖任何外部服务的私人工作流,这种感觉,跟上云端网站是完全不一样的。
最后再分享一个小技巧:当你搭建完成后,建议把启动命令和常用的模型文件名整理成一个简单的备忘录。因为这类软件迭代很快,环境偶尔会抽风,重装系统或者换电脑的时候,翻一遍自己的备忘录能省去大量来回查攻略的时间。接下来,就好好享受用指令控制画面的快感吧。