AncomWiki

3i4k 모델 검증 및 VTS 테스트셋 평가 전략

Properties1
description3i4k 모델의 초기 실행 결과가 긍정적이었으나, 단순 정확도(Accuracy)로는 다중 클래스 분류 성능을 평가하기 어렵다는 문제의식을 바탕으로 검증 방법을 재고함. VTS 테스트셋의 라벨링 특성을 고려해 전사 결과 검증 대신 라벨 기반 분류 평가로 방향을 전환하고, Precision, Recall, F1 Score 등 종합적인 지표 활용을 검토함. 또한 Pronaia 엔진 연동 파이프라인 구축과 Speech Enhance…

39 min read

3i4k 모델 검증 및 VTS 테스트셋 평가 전략

Source

  • Field Notes/ReturnZero/Daily Notes/Day 337. 2022-06-02.md

Summary

3i4k 모델의 초기 실행 결과가 긍정적이었으나, 단순 정확도(Accuracy)로는 다중 클래스 분류 성능을 평가하기 어렵다는 문제의식을 바탕으로 검증 방법을 재고함. VTS 테스트셋의 라벨링 특성을 고려해 전사 결과 검증 대신 라벨 기반 분류 평가로 방향을 전환하고, Precision, Recall, F1 Score 등 종합적인 지표 활용을 검토함. 또한 Pronaia 엔진 연동 파이프라인 구축과 Speech Enhancement 성능 저하 이슈를 기록함.

Key Points

  • 3i4k 모델 초기 실행 결과 긍정적이나, 검증 지표 선정이 핵심 과제임.
  • 단순 정확도 한계 인식: 다중 클래스 분류의 불균형 문제를 해결하기 위해 Macro/Micro Precision, Recall, F1 Score 등 종합 지표 도입 필요성 제기.
  • VTS 테스트셋 전략 변경: 라벨링의 검증 적합성 부족으로 인해, 전사 결과 직접 검증 대신 라벨 기반 분류 평가로 전환.
  • Pronaia 연동 파이프라인: 데이터셋 읽기 → Pronaia 전사 요청 → 분류 결과 부가하는 Python 프로그램 개발 진행 중.
  • Speech Enhancement: ASR 및 발화 강화 목적의 시도였으나 성능 저하 확인.

그래프 뷰

백링크