AncomWiki

WFST 규칙 최적화 및 성능 평가 (Day 404)

Properties1
descriptionWFST 규칙의 최종 완성 및 버그 수정을 마쳤으며, 이를 바탕으로 'question', 'request', 'commitment' 세 가지 클래스에 대한 분류 성능을 'Old'와 'New' 버전으로 비교 평가했다. 특히 'request' 클래스에서 정밀도(Precision)와 재현율(Recall)의 균형 변화가 두드러지며, 'commitment' 클래스는 여전히 낮은 F1 점수를 보인다.

36 min read

WFST 규칙 최적화 및 성능 평가 (Day 404)

Source

  • Field Notes/ReturnZero/Daily Notes/Day 404. 2022-08-08.md

Summary

WFST 규칙의 최종 완성 및 버그 수정을 마쳤으며, 이를 바탕으로 ‘question’, ‘request’, ‘commitment’ 세 가지 클래스에 대한 분류 성능을 ‘Old’와 ‘New’ 버전으로 비교 평가했다. 특히 ‘request’ 클래스에서 정밀도(Precision)와 재현율(Recall)의 균형 변화가 두드러지며, ‘commitment’ 클래스는 여전히 낮은 F1 점수를 보인다.

Key Points

  • WFST 규칙 최종 완성 및 버그 수정 완료
  • 실제 통화 데이터(마이클, KK) 기반 분석 계획
  • 3 가지 클래스(question, request, commitment)에 대한 Old/New 모델 성능 지표(TP, TN, FP, FN, Accuracy, Precision, Recall, F1) 비교
  • request 클래스: New 버전에서 Precision 하락(0.96->0.83)과 Recall 상승(0.84->0.83 유지)으로 F1 점수 하락(0.90->0.83)
  • commitment 클래스: 두 버전 모두 낮은 F1 점수(0.58, 0.57)로 성능 개선 필요

그래프 뷰

백링크