AncomWiki

일본어 STT 개발계 배포 및 벤치마크 실행 기록 (Day 872)

Properties1
description2023-11-20, 일본어 개발계 배포를 준비하며 MWW 기존 버전의 VAD 이벤트 오류를 확인함. `mww_test_0915` 데이터셋(한자/가타카나)을 대상으로 Pronaia 온라인 추론 스크립트를 실행하여 성능 벤치마크를 진행함. 주요 결과로 한자 테스트셋에서 CER 6.44%, SER 39.32%를 기록했으며, 가타카나 테스트셋 실행 중 로그가 중단됨. UX 측면에서 100개 순위 매기기의 적절성에 대한 의문 제기.

37 min read

일본어 STT 개발계 배포 및 벤치마크 실행 기록 (Day 872)

Source

  • Field Notes/ReturnZero/Daily Notes/Day 872. 2023-11-20.md

Summary

2023-11-20, 일본어 개발계 배포를 준비하며 MWW 기존 버전의 VAD 이벤트 오류를 확인함. mww_test_0915 데이터셋(한자/가타카나)을 대상으로 Pronaia 온라인 추론 스크립트를 실행하여 성능 벤치마크를 진행함. 주요 결과로 한자 테스트셋에서 CER 6.44%, SER 39.32%를 기록했으며, 가타카나 테스트셋 실행 중 로그가 중단됨. UX 측면에서 100개 순위 매기기의 적절성에 대한 의문 제기.

Key Points

  • MWW 기존 버전에서 VAD(Voice Activity Detection) 이벤트 관련 오류 발생 확인
  • 일본어 개발계 배포 전 mww_test_0915 데이터셋을 이용한 성능 검증 실행
  • 한자(Kanji) 테스트셋 결과: CER 6.44%, SER 39.32%, RTFx 50.65
  • 가타카나(Katakana) 테스트셋 실행 중 로그 기록 중단 (RTFx 65.97 기록 후)
  • UX 고려사항: 100개 항목 순위 매기기 방식의 적절성 검토 필요
  • 실행 환경: TensorFlow, TensorRT 라이브러리 경고 발생, Triton Client 사용

그래프 뷰

백링크