ReturnZero Day 958: 한자 인식 성능 평가 및 VAD 파라미터 튜닝

Source

  • Field Notes/ReturnZero/Daily Notes/Day 958. 2024-02-14.md

Summary

2024-02-14 일지. 학습 데이터의 vocab에 없는 한자 문제로 인한 인식 오류 발생. 여러 모델(3_1_dynamic, 231017 등)에 대한 추론(Inference) 벤치마크 수행 결과, CER/SER 지표 확인. 특히 ‘다이나믹’ 모델의 성능 저하 원인이 VAD(Voice Activity Detection) cutoff time 파라미터(5)에 있음을 발견하고, 이를 12~15로 조정하여 성능 개선.

Key Points

  • 학습 데이터 vocab 미포함 한자로 인한 인식 오류 발생
  • mww_kanji_240205_test_no_vad 세트 기준 여러 모델의 추론 성능 비교 (CER 7.42% ~ 15.3%, SER 52.48% ~ 99.92%)
  • 다이나믹 모델 성능 저하 원인: VAD cutoff time 파라미터 설정 문제
  • 해결책: VAD cutoff time을 5에서 12~15로 증가시켜 성능 안정화