AncomWiki

Stable Diffusion 파인튜닝 및 LLM 환경 구축 기록

Properties1
description이 노트는 Stable Diffusion 파인튜닝(Dreambooth LoRA)을 위한 데이터 전처리 및 학습 하이퍼파라미터 설정 과정을 기록하고 있다. 또한, LLM 파인튜닝을 위한 GPU VRAM 부족 문제(16GB 필요 vs 보유 11GB)와 ChatGPT 웹 연동 확장 프로그램, Zero123 등 관련 AI 도구 및 리소스 링크를 수집하고 있다.

39 min read

Stable Diffusion 파인튜닝 및 LLM 환경 구축 기록

Source

  • Basic Journals/Daily Journals/2023 계묘년/계묘년 83일, 3월 24일 금요일.md

Summary

이 노트는 Stable Diffusion 파인튜닝(Dreambooth LoRA)을 위한 데이터 전처리 및 학습 하이퍼파라미터 설정 과정을 기록하고 있다. 또한, LLM 파인튜닝을 위한 GPU VRAM 부족 문제(16GB 필요 vs 보유 11GB)와 ChatGPT 웹 연동 확장 프로그램, Zero123 등 관련 AI 도구 및 리소스 링크를 수집하고 있다.

Key Points

  • Stable Diffusion Dreambooth LoRA 학습을 위한 데이터 정제(여백/배경 삭제, 크롭, 좌우반전) 및 bucket 기능 사용
  • LoRA 학습 하이퍼파라미터: Text Encoder LR 1e-5, UNet LR 1e-4~1.5e-4, Epoch 10, Batch 1(12GB VRAM 기준)
  • LLM 파인튜닝 환경 구축 시 16GB VRAM 필요로 인한 GPU(1080 Ti/2080 Ti) 부족 문제 및 3090 구매 후회
  • ChatGPT 웹 연동용 Chrome 확장 프로그램 및 Awesome Totally Open ChatGPT 등 오픈소스 리소스 수집
  • Zero123(3D 생성) 및 Kohya_ss 등 관련 AI 프로젝트 링크 기록

그래프 뷰