AncomWiki

3i4k 모델 평가 지표(Precision/Recall) 이해 및 HuggingFace Transformers 학습 코드 분석

Properties1
description이 노트는 3i4k 데이터셋을 활용한 NLP 모델 학습 과정에서 HuggingFace Transformers의 `run_glue_no_trainer.py` 예제 코드를 분석하며 겪은 어려움과 학습 내용을 기록한 일기 형식의 메모입니다. 주요 문제의식은 모델 평가 지표인 Precision과 Recall의 개념적 혼란과 실제 코드 적용 시 발생하는 오류(예: Recall 0.0 경고)를 해결하려는 시도입니다. 또한, `accel…

38 min read

3i4k 모델 평가 지표(Precision/Recall) 이해 및 HuggingFace Transformers 학습 코드 분석

Source

  • Field Notes/ReturnZero/Daily Notes/Day 338. 2022-06-03.md

Summary

이 노트는 3i4k 데이터셋을 활용한 NLP 모델 학습 과정에서 HuggingFace Transformers의 run_glue_no_trainer.py 예제 코드를 분석하며 겪은 어려움과 학습 내용을 기록한 일기 형식의 메모입니다. 주요 문제의식은 모델 평가 지표인 Precision과 Recall의 개념적 혼란과 실제 코드 적용 시 발생하는 오류(예: Recall 0.0 경고)를 해결하려는 시도입니다. 또한, accelerator, load_dataset, AutoModel 등 핵심 API들의 역할과 데이터셋 프리프로세싱 절차에 대한 기초적인 이해를 정리하고 있습니다.

Key Points

  • HuggingFace Transformers의 run_glue_no_trainer.py 스크립트를 통해 모델 학습 파이프라인(데이터 로드, 토크나이징, 모델 설정)을 분석 중
  • 평가 지표인 Precision(정확도)과 Recall(재현율)의 개념적 정의와 차이점에 대한 혼란 및 재정의 시도
  • sklearn 메트릭 계산 시 ‘Recall is ill-defined’ 경고 발생 원인에 대한 기록
  • 3i4k 데이터셋(train: 55,134, test: 6,121) 로드 성공 및 기본 구조 확인
  • Roberta 관련 클래스와 AutoModel 클래스 간의 차이점에 대한 의문점 제기

그래프 뷰

백링크