AncomWiki

2024-06-26 업무: 일본어 ASR 모델 평가 및 ITN/전처리 이슈

Properties1
description2024 년 6 월 26 일 업무 기록으로, 일본어 ASR 모델 (alphanumber_v16/v5) 의 성능 평가와 ITN(Inverse Text Normalization) 서비스 배포, 전처리 로직 개선 사항이 포함됨. 주요 이슈로 'はい/いいえ' 등 문장 시작 부분의 삭제/치환 오류 분석, PunctuationCoreProcessor 의 불필요한 추론 방지, 그리고 다양한 테스트셋 (qoo10, tedxjp 등) 에 대…

39 min read

2024-06-26 업무: 일본어 ASR 모델 평가 및 ITN/전처리 이슈

Source

  • Field Notes/ReturnZero/Daily Notes/Day 1091. 2024-06-26.md

Summary

2024 년 6 월 26 일 업무 기록으로, 일본어 ASR 모델 (alphanumber_v16/v5) 의 성능 평가와 ITN(Inverse Text Normalization) 서비스 배포, 전처리 로직 개선 사항이 포함됨. 주요 이슈로 ‘はい/いいえ’ 등 문장 시작 부분의 삭제/치환 오류 분석, PunctuationCoreProcessor 의 불필요한 추론 방지, 그리고 다양한 테스트셋 (qoo10, tedxjp 등) 에 대한 CER/WER/SER 벤치마크 결과가 기록되어 있음.

Key Points

  • 일본어 ASR 모델 평가: alphanumber_v16 과 v5 의 맨 앞 글자 삭제 (del), 치환 (sub), 삽입 (ins) 오류율 비교 분석.
  • ITN 서비스: alphanumber_v16 onnx 배포 및 ITN 서비스 (포트 20001) 띄우기.
  • 전처리 로직 개선: PunctuationCoreProcessor 가 inference 없이도 생성을 시도하는 버그 수정 (inference 미제공 시 생성 안되도록).
  • 테스트셋 구축: 가독성 개선을 위해 테스트셋 생성 스크립트 (create_testsets.py) 작성.
  • 벤치마크 결과: pysommers_yesno_dataset 기반 다양한 조건 (wav 샘플링, 메타데이터 포함 여부 등) 에서의 RTFx, CER, WER, SER 지표 기록.

그래프 뷰

백링크