LoRA Block Weight: 수치별 영향력 및 활용 가이드
Source
Evernote/Inbox/로라 블록웨이트 수치별 영향력값 알아낸 정도만 공유 - AI 반실사 그림 채널.md
Summary
이 문서는 Stable Diffusion의 LoRA Block Weight 기능을 사용하여 LoRA의 영향을 특정 이미지 영역(배경, 의상, 구도 등)으로 제한하는 방법을 다룹니다. 작성자는 17 개의 블록 가중치 인덱스(0-16) 중 특정 인덱스가 주로 어떤 시각적 요소에 영향을 미치는지 실험적으로 분석한 결과를 공유합니다. 주요 발견으로는 인덱스 0(의상), 4/9/11/16(배경), 2/6/12/15(구도/자세), 7/14(색감/피부색) 등이 특정 요소에 강하게 관여한다는 점입니다. 다만, 각 인덱스가 해당 부분에만 영향을 주는 것은 아니며 다른 요소에도 간접적 영향을 미칠 수 있음을 명시합니다. 이를 통해 원치 않는 LoRA 효과(예: 인물 LoRA 의 배경 왜곡)를 억제하고 원하는 부분만 선택적으로 적용하는 전략을 제시합니다.
Key Points
- LoRA Block Weight 는 LoRA 의 영향을 이미지 내 특정 부위 (블록) 로 제한하는 확장 기능이다.
- 각 블록 가중치 인덱스 (0-16) 는 특정 시각적 요소 (의상, 배경, 구도, 색감 등) 에 가장 큰 영향을 미치지만, 다른 요소에도 일부 영향을 줄 수 있다.
- 주요 영향력 매핑 (실험적 결과):
-
- 인덱스 0: 의상
-
- 인덱스 1: 광범위 영향 (의상 무늬, 배경 소품, 구도 등)
-
- 인덱스 2, 6, 12, 15: 자세 및 구도
-
- 인덱스 4, 9, 11, 16: 배경
-
- 인덱스 7, 14: 피부색 및 전체 색감
-
- 인덱스 10: 얼굴 (애매함)
-
- 인덱스 3, 5: 몸매 (애매함)
-
- 인덱스 13, 14: 영향력 미미 또는 파악 안됨
- 원치 않는 영향 (예: 인물 LoRA 의 배경 왜곡) 을 줄이려면 해당 요소에 영향을 주는 인덱스의 가중치를 0 으로 설정하고, 원하는 요소의 인덱스만 활성화한다.
- 정확한 영향력은 사용하는 LoRA 모델에 따라 다를 수 있으므로 직접 테스트가 필요하다.