(5)小白入门Stable Diffusion - SD模型(下)

发布网友 发布时间：2024-10-24 11:09

我来回答

共1个回答

热心网友 时间：2024-10-31 20:53

继续深入学习Stable Diffusion（SD）模型

前文提及了官方基础模型，这些模型通过大量图片训练而成，成本昂贵，但存在大杂烩现象，生成特定风格图片效果欠佳。

为解决此问题，技术社区涌现众多大佬，基于官方模型进行融合，形成多元风格的SD模型。在模型文件命名上，主要分为ckpt、safetensors、pt、pth等类型。

其中，ckpt文件使用pickle序列化，可能存在安全风险。safetensors则仅保存张量数据，确保安全。加载ckpt模型时应谨慎，必要时可将其转换为safetensors。

模型分类复杂，对新手构成挑战。大模型通常文件量大，几十G左右，包含不同风格，有完整版(base)、剪枝版(pruned)、emaonly等。按照画风，可细分为二次元、国风、欧美人面孔、亚洲人面孔等，用户可根据需求下载。

LORA模型，大小约100MB左右，用于快速训练，参数量远少于大模型，且需与基础模型版本保持一致。

VAE模型作用在于提升图像色彩饱和度，减少灰蒙感，一般在大模型中已集成，无需单独下载。若大模型VAE信息损坏，生成图片时应选择VAE。

Embedding模型通过角色训练生成，用于主模型识别特定角色，文件大小较小，但应用较少。

Hypernetworks模型专注于特定画风训练，提供独特视觉体验，但其原理较为复杂，未详细阐述。

综上所述，SD模型学习涉及多种文件类型、模型分类与应用，涉及安全、参数、画风等多个维度。用户需深入实践，结合理论与实践，逐步掌握SD模型应用。