Conformer 모델 앙상블 및 BLS 통합 실험 (Day 910)

Source

  • Field Notes/ReturnZero/Daily Notes/Day 910. 2023-12-27.md

Summary

Conformer 모델의 배치 사이즈 및 앙상블 수(logmel, conformer_2_ensemble)를 조정하여 성능을 측정하는 실험 기록입니다. 특히 ‘mww_katakana_name_231205_test_no_vad’ 모델에서 CER 1.22%, SER 5.15%의 결과를 도출했으며, 전체적으로 4종류 9개의 모델을 관리 중입니다. 또한 개별 모델 파일(pt)에 모든 정보를 포함하도록 BLS(Best Language Selection? 또는 관련 아키텍처) 방식을 변경하는 방안을 고려하고 있습니다.

Key Points

  • Conformer 모델의 하이퍼파라미터 조정: 배치 사이즈, logmel(1->16), conformer_2_ensemble(1->4) 변경
  • 성능 측정 결과: 특정 테스트셋에서 CER 1.22%, SER 5.15% 달성 (총 10,000 샘플 중 67,059 토큰 기준)
  • 모델 포트폴리오 현황: default(2), name/katakana(3), number/code(2), address(2)로 총 4종류 9개 모델 구성
  • 아키텍처 개선 방향: BLS 방식으로 전환하여 단일 pt 파일에 모든 모델 정보를 통합하는 방안 검토