AncomWiki

CPU VAD 모델 웜업(Warmup) 및 TensorRT 최적화 실험 결과

Properties1
description본 노트는 CPU 환경에서 mel2vec conformer 모델의 추론 성능을 개선하기 위한 '모델 웜업(Model Warmup)' 설정 실험을 기록한 것이다. 다양한 입력 유형(랜덤, 제로, 실제 로그멜)과 반복 횟수(count)를 변경하며 테스트했으나, 추론 속도(RTFx)나 정확도(CER/WER)에 유의미한 차이가 없음을 확인했다. 과도한 웜업 설정은 오히려 모델 로딩 시간을 지연시키는 부작용만 있었다. 반면, Tens…

39 min read

CPU VAD 모델 웜업(Warmup) 및 TensorRT 최적화 실험 결과

Source

  • Field Notes/ReturnZero/Daily Notes/Day 1098. 2024-07-03.md

Summary

본 노트는 CPU 환경에서 mel2vec conformer 모델의 추론 성능을 개선하기 위한 ‘모델 웜업(Model Warmup)’ 설정 실험을 기록한 것이다. 다양한 입력 유형(랜덤, 제로, 실제 로그멜)과 반복 횟수(count)를 변경하며 테스트했으나, 추론 속도(RTFx)나 정확도(CER/WER)에 유의미한 차이가 없음을 확인했다. 과도한 웜업 설정은 오히려 모델 로딩 시간을 지연시키는 부작용만 있었다. 반면, TensorRT 최적화를 적용했을 때 RTFx가 약 16.6에서 292.8로 급격히 증가(성능 저하)하는 현상이 관찰되어, 최적화 설정의 안정성이나 적합성에 대한 의문이 제기되었다.

Key Points

  • 실험 목적: CPU 기반 mel2vec conformer 모델의 추론 성능 안정화 및 속도 개선을 위한 웜업 설정 검증.
  • 웜업 실험 결과: 랜덤/제로 데이터 입력, 실제 입력 데이터 사용, 반복 횟수 증가 등 다양한 웜업 시나리오 테스트 결과 추론 속도(RTFx)와 정확도(CER 7.62%)에 변화 없음.
  • 부작용: 과도한 웜업 설정(예: count 10,000)은 모델 로딩 시간을 15분 이상 지연시키지만 성능 향상 효과는 없음.
  • TensorRT 최적화: TensorRT 최적화를 적용한 경우 RTFx가 16.6에서 292.8로 급증하여 성능이 현저히 저하됨. 최적화 과정 중 오류 발생 가능성 또는 설정 불일치 의심.
  • 결론: 현재 환경에서 표준 웜업 설정은 성능에 영향이 없으며, TensorRT 최적화 적용 시 추가적인 디버깅이 필요함.

그래프 뷰

백링크