Illustrious XL 및 일관성 있는 캐릭터 생성 워크플로우

Source

  • Ancom Workbench/Research/StableDiffusion/SD.md

Summary

이 노트는 Stable Diffusion 기반의 일관성 있는 캐릭터 이미지 생성을 위한 리서치 및 실전 워크플로우를 기록하고 있다. SDXL과 FLUX.1 DEV 등 주요 모델의 특성을 비교하고, Text2Image, ControlNet, IP-Adapter 등 핵심 생성 기법을 소개한다. 특히 Dreambooth 파인튜닝을 통한 캐릭터 고정화 과정(프롬프트 정제, 데이터 필터링, 학습 파라미터)과 Illustrious XL 모델의 세팅 예시(샘플러, CFG, 프롬프트 구조)를 상세히 기술하고 있다.

Key Points

  • 주요 모델 비교: 범용성 높은 SDXL(7GB)과 프롬프트 이해도가 뛰어난 FLUX.1 DEV(23.8GB) 소개
  • 생성 파이프라인: Text2Image, Image2Image, Upscaling, Detailer, ControlNet 등 핵심 단계 정리
  • 일관성 유지 기법: IP-Adapter, Instant-ID 활용 및 In-painting을 통한 감정/표정 제어
  • Dreambooth 파인튜닝 워크플로우: 결과물 분산 낮추기 위한 프롬프트 깎기, 포즈/표정 벌크 생성, 데이터 필터링(540→40장), A100 환경 학습 파라미터(에폭 30, 배치 4 등)
  • Illustrious XL 적용 예시: 다양한 샘플러(Euler, dpm++2M 등)와 CFG 설정 조합, 부정 프롬프트(negative prompt) 및 긍정 프롬프트 구조(퀄리티, 인물, 배경 태그 분리) 제시