AncomWiki

통합 ITN 및 S2 Phase 1 진행 상황 (2023-06-05)

Properties1
description이 노트는 2023 년 6 월 5 일 기준 ReturnZero 프로젝트의 일일 작업 기록이다. 주요 내용은 통합 ITN 개발 중 pandas 에서 polars 로 마이그레이션 시 발생한 스키마 및 데이터 타입 오류 해결 시도, 일본어 TTS 데이터 효능 검증 및 MWW 데이터 크기 조정 실험, 그리고 S2 Phase 1 의 3 개월 마일스톤 (ASR/타임스탬프/화자분리 개선, 다국어 지원, Whisper 내재화 등) 과 담당…

40 min read

통합 ITN 및 S2 Phase 1 진행 상황 (2023-06-05)

Source

  • Field Notes/ReturnZero/Daily Notes/Day 705. 2023-06-05.md

Summary

이 노트는 2023 년 6 월 5 일 기준 ReturnZero 프로젝트의 일일 작업 기록이다. 주요 내용은 통합 ITN 개발 중 pandas 에서 polars 로 마이그레이션 시 발생한 스키마 및 데이터 타입 오류 해결 시도, 일본어 TTS 데이터 효능 검증 및 MWW 데이터 크기 조정 실험, 그리고 S2 Phase 1 의 3 개월 마일스톤 (ASR/타임스탬프/화자분리 개선, 다국어 지원, Whisper 내재화 등) 과 담당자 할당 현황을 다룬다. 또한 fairseq 학습 완료 및 가중치 변환, 디코딩 실험 중 구두점 처리 문제 등 기술적 디버깅 과정이 포함되어 있다.

Key Points

  • 통합 ITN 개발: pandas 에서 polars 로 전환 중 컬럼 스키마 정의 및 데이터 타입 (i64) 파싱 오류 해결 시도
  • 일본어 ASR/TTS: TTS 데이터 효능 검증 결과 CER 개선 미미하여 MWW 데이터셋 크기 축소 실험 진행
  • S2 Phase 1 마일스톤: 6 월까지 타임스탬프 개선 (Homura), 7 월 초까지 화자분리 개선 (Arthur), 다국어 지원 및 Whisper 내재화/API 최적화 계획
  • ASR 클린업 및 파인튜닝: 화자 단위 문장 분리 및 문장 부호 추가 (Triton/GPT 3.5 활용), 한국어 (Patrick) 및 일본어 파인튜닝 진행
  • 기술적 이슈: fairseq 학습 완료 후 가중치 변환 (convert_weight) 및 디코딩 실험 중 구두점 (’…’) 처리 관련 버그 디버깅

그래프 뷰

백링크