AncomWiki

일본어 ASR 모델 성능 검증 및 디버깅 (Day 708)

Properties1
description2023년 6월 8일, 일본어 주소 인식 및 숫자 처리 과업에 대해 bmt-address 및 bmt-code 모델의 v3_1과 v2_1 버전을 비교 평가함. 주요 발견사항으로, v3_1 모델은 숫자 전용 테스트에서 낮은 CER(0.93%)을 보였으나, 전체 주소 테스트에서는 dict 파일 문제로 인해 CER이 3.47%로 상승함. 반면 v2_1 모델은 숫자 테스트에서 더 낮은 CER(0.84%)을 기록했으나, clean 데이…

38 min read

일본어 ASR 모델 성능 검증 및 디버깅 (Day 708)

Source

  • Field Notes/ReturnZero/Daily Notes/Day 708. 2023-06-08.md

Summary

2023년 6월 8일, 일본어 주소 인식 및 숫자 처리 과업에 대해 bmt-address 및 bmt-code 모델의 v3_1과 v2_1 버전을 비교 평가함. 주요 발견사항으로, v3_1 모델은 숫자 전용 테스트에서 낮은 CER(0.93%)을 보였으나, 전체 주소 테스트에서는 dict 파일 문제로 인해 CER이 3.47%로 상승함. 반면 v2_1 모델은 숫자 테스트에서 더 낮은 CER(0.84%)을 기록했으나, clean 데이터셋에서 CER이 3.56%로 증가하는 등 버전 간 성능 차이가 확인됨. 특히 후속 실행에서 v2_1 모델의 숫자 테스트 CER이 급격히 23.7%로 악화된 점은 추가 디버깅이 필요함을 시사함.

Key Points

  • 일본어 주소 검색 및 숫자 인식 과업 수행 (vAD + 3-1 검증)
  • bmt-address v3_1: 숫자 전용 CER 0.93%, 전체 주소 CER 3.47% (dict 파일 문제 의심)
  • bmt-code v3_1: 숫자 전용 CER 0.93%, clean 데이터 CER 1.56%
  • bmt-address v2_1: 숫자 전용 CER 0.84% (초기), clean 데이터 CER 3.56%
  • v2_1 모델의 후속 실행에서 숫자 테스트 CER이 23.7%로 급증하여 이상 징후 확인
  • 모델 버전(v3_1 vs v2_1) 및 데이터셋 유형(number_only vs clean)에 따른 성능 편차 분석 필요

그래프 뷰

백링크