오토인코더 (Autoencoder) 개요 및 한계
Source
Evernote/Inbox/생성형 AI에 대해 알아보자 - 2. 오토인코더 - Ai 언어모델 로컬 채널.md
Summary
오토인코더는 고차원 데이터를 저차원 잠재공간(Latent space)으로 압축(인코딩)했다가 다시 복원(디코딩)하는 비지도 학습 모델이다. 이를 통해 데이터의 핵심 특징을 추출하거나 임베딩을 생성하며, 노이즈 제거(Denoising)에도 활용된다. 그러나 표준 오토인코더의 잠재공간은 불연속적이어서 임의의 샘플링 시 무의미한 결과가 나올 수 있어 생성 모델로 직접 사용하기에는 한계가 있다. 이러한 문제를 잠재공간에 확률 분포를 도입하여 해결하는 것이 분포형 오토인코더(VAE)이다.
Key Points
- 오토인코더는 ‘자기 자신을 부호화하여 되돌려오는 장치’로, 차원 축소를 통해 데이터의 숨은 특징을 학습한다.
- 구조는 고차원→저차원으로 변환하는 인코더와 저차원→고차원으로 복원하는 디코더로 구성된다.
- 학습된 인코더는 이미지 등 고차원 데이터의 임베딩 생성 도구로 활용 가능하며, 노이즈 제거에도 효과적이다.
- 표준 오토인코더의 잠재공간은 ‘숭숭 뚫려 있어’ 임의의 점 샘플링 시 노이즈가 발생할 수 있어 생성 AI 직접 적용에 한계가 있다.
- 이러한 한계를 잠재공간에 확률 분포를 적용하여 극복한 모델이 분포형 오토인코더(Variational Autoencoder, VAE)이다.