AncomWiki

BMT 평가 파이프라인 디버깅 및 데이터 처리 이슈

Properties1
description2022-06-07 일기. BMT(Baseline Model Test?) 평가 과정에서 CER(Character Error Rate)가 1000% 이상으로 비정상적으로 높게 나오는 문제를 발견함. 원인을 분석하던 중, 오디오 데이터의 압축 방식(ffmpeg m4a/flac)과 평가 단계에서의 timestamp truncation(잘림) 문제로 인해 전사 결과가 왜곡되거나 정보가 손실되는 것을 확인함. 또한 프로덕션 환경과 개…

38 min read

BMT 평가 파이프라인 디버깅 및 데이터 처리 이슈

Source

  • Field Notes/ReturnZero/Daily Notes/Day 342. 2022-06-07.md

Summary

2022-06-07 일기. BMT(Baseline Model Test?) 평가 과정에서 CER(Character Error Rate)가 1000% 이상으로 비정상적으로 높게 나오는 문제를 발견함. 원인을 분석하던 중, 오디오 데이터의 압축 방식(ffmpeg m4a/flac)과 평가 단계에서의 timestamp truncation(잘림) 문제로 인해 전사 결과가 왜곡되거나 정보가 손실되는 것을 확인함. 또한 프로덕션 환경과 개발 환경의 프로나이아(Pronaia) 설정 차이로 인한 우려도 표명함.

Key Points

  • BMT 평가 시 CER가 1550%, 969% 등 비정상적으로 높은 값이 도출됨.
  • 오디오 압축(ffmpeg m4a/flac)과 평가 로직(timestamp truncate)의 상호작용으로 전사 데이터가 손실되거나 오작동하는 것으로 추정.
  • 프로덕션과 개발 환경 간 Pronaia 설정 불일치로 인한 잠재적 리스크 인지.
  • 허깅페이스(HuggingFace) 학습 및 리서치팀 워크샵 준비 등 기타 업무 진행.

그래프 뷰

백링크