AncomWiki

2023 년 1 월 3 일 일기: 개인적 반추 및 지식 증류 학습

Properties1
description이 노트는 2023 년 1 월 3 일의 개인적 반추와 기술적 학습 내용을 혼합한 일기 형식이다. 개인적 측면에서는 이숙 할아버지의 별세와 장례식 참석, 회사 투자 유치 실패 소식에 대한 충격, 그리고 새해 계획의 어려움에 대한 실망감을 기록하고 있다. 기술적 측면에서는 딥러닝의 '지식 증류 (Knowledge Distillation)' 개념을 학습한 내용을 담고 있으며, Teacher-Student 모델 구조, Soft La…

35 min read

2023 년 1 월 3 일 일기: 개인적 반추 및 지식 증류 학습

Source

  • Basic Journals/Daily Journals/2023 계묘년/계묘년 3일, 1월 3일 화요일, 1주차..md

Summary

이 노트는 2023 년 1 월 3 일의 개인적 반추와 기술적 학습 내용을 혼합한 일기 형식이다. 개인적 측면에서는 이숙 할아버지의 별세와 장례식 참석, 회사 투자 유치 실패 소식에 대한 충격, 그리고 새해 계획의 어려움에 대한 실망감을 기록하고 있다. 기술적 측면에서는 딥러닝의 ‘지식 증류 (Knowledge Distillation)’ 개념을 학습한 내용을 담고 있으며, Teacher-Student 모델 구조, Soft Label, Temperature 파라미터, 그리고 손실 함수 (Loss Function) 구성에 대한 이해 과정을 정리하고 있다.

Key Points

  • 개인적 사건: 이숙 할아버지 심근경색으로 별세, 장례식 참석으로 인한 일정 소모 및 가족과의 대화 녹음.
  • 직장 상황: 회사 투자 유치 실패 소식 접함, 긴축 필요성 인식 및 새 기기 구매에 대한 현타.
  • 기술 학습 (Knowledge Distillation): 큰 모델 (Teacher) 의 지식을 작은 모델 (Student) 로 전수하는 방법론.
  • 기술 학습 (Soft Label): Temperature(T) 를 조절하여 Softmax 출력값을 부드럽게 만들어 ‘Dark Knowledge’ 추출.
  • 기술 학습 (Loss Function): Knowledge Distillation Loss 와 Cross Entropy Loss 를 결합한 학습 손실 함수 구조.

그래프 뷰