AncomWiki

Triton-Kaldi ASR 성능 벤치마킹 및 메모리 이슈 분석

Properties1
description2080Ti GPU 환경에서 Triton-Kaldi ASR 클라이언트를 이용한 성능 테스트 결과, 1080Ti 대비 처리량(Throughput)이 개선됨을 확인함. 그러나 레코드 단위 처리 시 메모리 부족(OOM) 문제가 재현되었으며, 2080Ti에서 안정적으로 처리 가능한 병렬 채널 수의 한계(128) 원인이 명확하지 않음. 메모리 누수 및 WER(단어 오류율) 이슈를 포함한 구조적 문제(Transcriber 큐 운용 등)…

37 min read

Triton-Kaldi ASR 성능 벤치마킹 및 메모리 이슈 분석

Source

  • Field Notes/ReturnZero/Daily Notes/Day 232. 2022-02-17.md

Summary

2080Ti GPU 환경에서 Triton-Kaldi ASR 클라이언트를 이용한 성능 테스트 결과, 1080Ti 대비 처리량(Throughput)이 개선됨을 확인함. 그러나 레코드 단위 처리 시 메모리 부족(OOM) 문제가 재현되었으며, 2080Ti에서 안정적으로 처리 가능한 병렬 채널 수의 한계(128) 원인이 명확하지 않음. 메모리 누수 및 WER(단어 오류율) 이슈를 포함한 구조적 문제(Transcriber 큐 운용 등)를 추가로 조사해야 함.

Key Points

  • 2080Ti 환경에서 Triton-Kaldi ASR 테스트 시 1080Ti 대비 성능 우위 확인 (Throughput: 412529 RTFX)
  • 레코드 단위 처리 시 메모리 부족(OOM) 발생, 2080Ti 안정적 처리 한계(128 채널) 원인 미해결
  • Triton 도커 환경 설정(GPU/메모리) 및 Custom Backend, Sequence Batcher 전략 검토 필요
  • 메모리 누수, WER 이슈, Transcriber 큐 운용 구조 등 추가 조사 항목 도출
  • 다음 단계: 노션 및 PPT 정리, Sommers 모델 적용 및 성능 측정 계획

그래프 뷰

백링크