AncomWiki

Triton-Kaldi ASR 파이프라인 개선 및 스트레스 테스트 계획

Properties1
description이 노트는 Triton-Kaldi 기반 ASR 시스템의 성능 개선과 안정성 확보를 위한 기술적 논의와 작업 계획을 기록한 일일 노트입니다. 주요 의제는 Rescoring(재점수화) 도입을 통한 정확도 향상, Lattice Postprocessor 활용 방안, 그리고 온라인/오프라인 환경에서의 배치 처리 전략(Sequence vs Dynamic Batching) 변경입니다. 또한 gRPC 서버의 부하 한계와 메모리 사용량을 확…

38 min read

Triton-Kaldi ASR 파이프라인 개선 및 스트레스 테스트 계획

Source

  • Field Notes/ReturnZero/Daily Notes/Day 233. 2022-02-18.md

Summary

이 노트는 Triton-Kaldi 기반 ASR 시스템의 성능 개선과 안정성 확보를 위한 기술적 논의와 작업 계획을 기록한 일일 노트입니다. 주요 의제는 Rescoring(재점수화) 도입을 통한 정확도 향상, Lattice Postprocessor 활용 방안, 그리고 온라인/오프라인 환경에서의 배치 처리 전략(Sequence vs Dynamic Batching) 변경입니다. 또한 gRPC 서버의 부하 한계와 메모리 사용량을 확인하기 위한 스트레스 테스트 실행 계획과 Go 클라이언트 개발 필요성이 명시되어 있습니다.

Key Points

  • ASR 성능 개선을 위해 Rescoring 도입 검토 및 Lattice Postprocessor 조사 필요
  • 모델별 테스트 결과 정리(tgmed 기준) 및 bigLM 등 대체 모델 적용 실험 계획
  • 오프라인 처리 시 chunk 기반이 아닌 utterance binary 기반 입력으로 변경하여 Dynamic Batching 적용 가능성 탐색
  • gRPC 서버의 안정성 검증(Unavailable 에러 방지) 및 메모리 사용량 모니터링을 위한 스트레스 테스트 계획
  • Triton 서버 연동을 위한 Go 클라이언트 개발 필요성 확인

그래프 뷰

백링크