AncomWiki

ReturnZero Day 1058: ASR 파이프라인 진행 상황 및 버그 수정

Properties1
description2024-05-24 기준 ReturnZero 프로젝트의 일일 업무 기록. faster-whisper 모델 학습과 일본어 애니메이션 데이터셋(100시간) 준비가 진행 중이며, echo 환경의 쉘 문제로 인해 doomfist 환경으로 전환하여 작업 중. 주요 기술적 이슈로 entropy 구현의 배치 처리 오류를 수정하고, online-bmt의 CER 계산 로직(SetHypothesis 단계)과 디렉토리 기반 파일 경로 처리 방식…

37 min read

ReturnZero Day 1058: ASR 파이프라인 진행 상황 및 버그 수정

Source

  • Field Notes/ReturnZero/Daily Notes/Day 1058. 2024-05-24.md

Summary

2024-05-24 기준 ReturnZero 프로젝트의 일일 업무 기록. faster-whisper 모델 학습과 일본어 애니메이션 데이터셋(100시간) 준비가 진행 중이며, echo 환경의 쉘 문제로 인해 doomfist 환경으로 전환하여 작업 중. 주요 기술적 이슈로 entropy 구현의 배치 처리 오류를 수정하고, online-bmt의 CER 계산 로직(SetHypothesis 단계)과 디렉토리 기반 파일 경로 처리 방식을 확인함.

Key Points

  • faster-whisper 학습 진행 중이며 내일 아침 완료 예정
  • japanese-anime 100시간 데이터셋 생성 완료 및 reazonspeech 변환 완료
  • echo 환경의 쉘 이상으로 인해 doomfist 환경으로 작업 전환 (GPU 사용량 증가 확인)
  • Entropy 구현 버그 수정: 배치 전체가 아닌 각 input 단위로 entropy 적용 필요
  • online-bmt CER 계산 로직 확인: Transcribe 시가 아닌 SetHypothesis 단계에서 계산됨
  • online-bmt는 디렉토리 경로를 인자로 받아 처리 가능함

그래프 뷰

백링크