05-模型加载与使用¶

CheckpointLoaderSimple (加载 SDXL Base)
    ├── MODEL
    ├── CLIP (双编码器融合)
    └── VAE

CLIPTextEncodeSDXL (SDXL 专用编码器)
    ├── text_g (对应 OpenCLIP-ViT-G)
    ├── text_l (对应 CLIP-ViT-L)
    ├── width, height (目标尺寸)
    └── crop_w, crop_h (裁剪偏移)

方式一：合并 Checkpoint（推荐，简单）
  CheckpointLoaderSimple → 加载 flux1-dev-fp8.safetensors
  直接使用 KSampler，设置 cfg: 3.5（dev）或 cfg: 1.0（schnell）

方式二：分体加载（灵活，可单独替换组件）
  UNETLoader     → 加载 Flux UNet 模型
  DualCLIPLoader → 加载 clip_l + t5xxl 双编码器
  VAELoader      → 加载 Flux VAE (ae.safetensors)

CheckpointLoaderSimple
├── ckpt_name: [选择模型文件]
├── 输出 MODEL  ● ─→ 连接到采样器
├── 输出 CLIP   ● ─→ 连接到文本编码器
└── 输出 VAE    ● ─→ 连接到 VAE 解码器

  checkpoints/
  ├── sd15/
  │   ├── v1-5-pruned-emaonly.safetensors
  │   └── realisticVision_v51.safetensors
  ├── sdxl/
  │   ├── sd_xl_base_1.0.safetensors
  │   └── juggernautXL_v9.safetensors
  └── flux/
      └── flux1-dev.safetensors
  ```

- **外部路径链接**：在 `extra_model_paths.yaml` 中配置外部模型目录，避免重复存储

  ```yaml
  # ComfyUI/extra_model_paths.yaml
  other_ui:
      base_path: D:/AI-Models/
      checkpoints: checkpoints/
      loras: loras/
      vae: vae/
      controlnet: controlnet/
  ```

> 💡 **提示**：配置 `extra_model_paths.yaml` 可以让 ComfyUI 和其他 SD 前端共享同一份模型文件，节省磁盘空间。

---

## 5.4 LoRA 模型

### 5.4.1 什么是 LoRA

**LoRA（Low-Rank Adaptation，低秩适配）** 是一种高效的模型微调技术。它不修改原始模型权重，而是训练一组小的适配层（通常只有几十 MB），在推理时与基础模型动态合并。

```text
┌─────────────────────────────────────────┐
│  原始模型权重（冻结，不修改）                │
│  ┌──────────────────────────────┐        │
│  │  原始权重矩阵 W (d×d)         │        │
│  │         │                    │        │
│  │    ┌────┴────┐               │        │
│  │    │ LoRA    │               │        │
│  │    │ A (d×r) × B (r×d)      │        │
│  │    │ r << d (低秩)           │        │
│  │    └─────────┘               │        │
│  │                              │        │
│  │  最终权重 = W + α × A × B    │        │
│  └──────────────────────────────┘        │
└─────────────────────────────────────────┘

CheckpointLoaderSimple
    ├── MODEL ──→ LoraLoader.model
    └── CLIP ───→ LoraLoader.clip

LoraLoader
    ├── lora_name: [选择 LoRA 文件]
    ├── strength_model: 0.8    (模型权重)
    ├── strength_clip: 0.8     (CLIP 权重)
    ├── 输出 MODEL ──→ KSampler.model
    └── 输出 CLIP ───→ CLIPTextEncode.clip

CheckpointLoader
    ├── MODEL ──→ LoraLoader_1.model ──→ LoraLoader_2.model ──→ KSampler
    └── CLIP ───→ LoraLoader_1.clip  ──→ LoraLoader_2.clip  ──→ CLIPTextEncode

LoraLoader_1: style_lora.safetensors (strength: 0.7)
LoraLoader_2: character_lora.safetensors (strength: 0.6)

┌─────────────┐     ┌──────────────┐     ┌─────────────┐
│  输入图像     │────▶│  预处理器      │────▶│ 控制图像     │
│ (参考照片)    │     │ (Canny/Depth) │     │ (边缘/深度)  │
└─────────────┘     └──────────────┘     └──────┬──────┘
                                                │
                    ┌──────────────┐             │
                    │ ControlNet   │◀────────────┘
                    │ 模型          │
                    │              │──── 条件控制 ──→ KSampler
                    └──────────────┘

ControlNetLoader
    └── control_net: [选择 ControlNet 模型]

预处理器节点 (如 CannyEdgePreprocessor)
    ├── image: [LoadImage 输出]
    └── IMAGE: 预处理后的控制图

ControlNetApply / ControlNetApplyAdvanced
    ├── conditioning: [CLIPTextEncode 输出]
    ├── control_net: [ControlNetLoader 输出]
    ├── image: [预处理器输出的控制图]
    ├── strength: 0.8 (控制强度)
    └── CONDITIONING → KSampler.positive

CLIPTextEncode.CONDITIONING
    → ControlNetApply (Depth, strength=0.6)
        → ControlNetApply (OpenPose, strength=0.8)
            → KSampler.positive

CLIPVisionLoader
    └── clip_name: [CLIP Vision 模型]

CLIPVisionEncode
    ├── clip_vision: [CLIPVisionLoader 输出]
    ├── image: [参考图像]
    └── CLIP_VISION_OUTPUT

IPAdapterApply
    ├── model: [CheckpointLoader 的 MODEL]
    ├── ipadapter: [IPAdapterModelLoader 输出]
    ├── image: [参考图像]
    ├── weight: 0.8 (影响强度)
    ├── weight_type: standard
    └── MODEL → KSampler.model

# 单独加载 VAE
VAELoader
    └── vae_name: vae-ft-mse-840000.safetensors

# 将其输出连接到 VAEDecode（替代 CheckpointLoader 自带的 VAE）
VAELoader.VAE → VAEDecode.vae