AncomWiki

WFST 코드 보완 및 분류 모델 성능 평가 (Day 400)

Properties1
descriptionWFST 코드 보완, YAML 기반 dict 읽기 구현, FST 버그 수정 등 개발 작업을 진행함. 'question', 'request', 'commitment' 세 가지 클래스에 대한 분류 모델의 성능을 여러 번 평가한 결과, 'commitment' 클래스에서 가장 높은 정확도(Accuracy ~0.95)와 F1 점수(~0.90)를 보였으며, 'question'과 'request'는 상대적으로 낮은 성능을 기록함. 테스트…

36 min read

WFST 코드 보완 및 분류 모델 성능 평가 (Day 400)

Source

  • Field Notes/ReturnZero/Daily Notes/Day 400. 2022-08-04.md

Summary

WFST 코드 보완, YAML 기반 dict 읽기 구현, FST 버그 수정 등 개발 작업을 진행함. ‘question’, ‘request’, ‘commitment’ 세 가지 클래스에 대한 분류 모델의 성능을 여러 번 평가한 결과, ‘commitment’ 클래스에서 가장 높은 정확도(Accuracy ~0.95)와 F1 점수(~0.90)를 보였으며, ‘question’과 ‘request’는 상대적으로 낮은 성능을 기록함. 테스트셋의 완결성에 대한 의문도 제기됨.

Key Points

  • WFST 코드 보완 및 FST 버그 수정 완료
  • YAML을 통한 dict 읽기 기능 구현
  • 300 개 샘플에 대한 모델 테스트 진행
  • 세 클래스(question, request, commitment)별 분류 성능 지표(Accuracy, Precision, Recall, F1) 기록
  • commitment 클래스가 다른 클래스 대비 우수한 성능(F1 > 0.90) 보임
  • 테스트셋의 완결성 및 신뢰도에 대한 검토 필요성 제기

그래프 뷰

백링크