AncomWiki

Wav2Vec2 ASR 모델 변환 파이프라인 (ONNX/Trt) 시도 및 실패 기록

Properties1
description2023-09-24 일지. sommers-e2e/rtfairseq 기반 wav2vec 모델의 가중치 변환, ONNX 변환, TensorRT 변환 과정을 기록함. hydra 설정 수정 및 컴파일 스크립트 실행 단계를 나열했으나, 최종 테스트 결과 성능이 매우 저조함. 저자 추측으로는 세그먼테이션 오류가 원인으로 보임.

39 min read

Wav2Vec2 ASR 모델 변환 파이프라인 (ONNX/Trt) 시도 및 실패 기록

Source

  • Field Notes/ReturnZero/Daily Notes/Day 816. 2023-09-24.md

Summary

2023-09-24 일지. sommers-e2e/rtfairseq 기반 wav2vec 모델의 가중치 변환, ONNX 변환, TensorRT 변환 과정을 기록함. hydra 설정 수정 및 컴파일 스크립트 실행 단계를 나열했으나, 최종 테스트 결과 성능이 매우 저조함. 저자 추측으로는 세그먼테이션 오류가 원인으로 보임.

Key Points

  • wav2vec2 ASR 모델의 서브시스템별 변환 단계: PyTorch 가중치 -> ONNX -> TensorRT
  • ONNX 변환을 위한 hydra 설정 파일(compile_model.yaml, pytorch_model.yaml) 수정 및 vocab size 확인 필요
  • 최종 테스트 결과 성능이 기대에 미치지 못함 (저자 평가: 매우 나쁨)
  • 성능 저하의 잠재적 원인: 세그먼테이션(segmentation) 처리 문제

그래프 뷰

백링크