AncomWiki

Classification vs Detection 및 Pre-training/Fine-tuning 개념 정리

Properties1
description본 노트는 Classification과 Detection의 개념적 차이에 대한 고민을 기록하며, Pre-training(비지도 학습을 통한 초기화)과 Fine-tuning(하위 작업을 위한 미세 조정)의 정의와 관계를 정리한다. 특히 Pre-training이 레이블 없는 대규모 데이터로 MLP 가중치를 초기화하는 과정임을 강조한다.

37 min read

Classification vs Detection 및 Pre-training/Fine-tuning 개념 정리

Source

  • Field Notes/ReturnZero/Daily Notes/Day 432. 2022-09-05.md

Summary

본 노트는 Classification과 Detection의 개념적 차이에 대한 고민을 기록하며, Pre-training(비지도 학습을 통한 초기화)과 Fine-tuning(하위 작업을 위한 미세 조정)의 정의와 관계를 정리한다. 특히 Pre-training이 레이블 없는 대규모 데이터로 MLP 가중치를 초기화하는 과정임을 강조한다.

Key Points

  • Classification과 Detection의 구분에 대한 문제의식 제기
  • Pre-training: 레이블 없는 대규모 데이터를 활용한 비지도 학습을 통한 모델 가중치 초기화
  • Fine-tuning: 사전 학습된 모델을 하위 작업(downstream task)에 맞게 구조 변형 및 파라미터 미세 조정
  • Pre-training 생략 가능성: Drop-out, Mini-batch 등 다른 기법으로 대체 가능함

그래프 뷰

백링크