AncomWiki

Triton Server 기반 Kaldi ASR 배포 시도 및 환경 문제

Properties1
description이 노트는 NVIDIA DeepLearningExamples의 Kaldi 음성 인식 모델을 Triton Inference Server로 배포하기 위한 초기 설정과 테스트 과정을 기록한다. Docker 컨테이너 빌드, 데이터셋 다운로드, 서버/클라이언트 실행 스크립트 사용법을 따라가며, `config.pbtxt` 파일을 통해 사용자 정의 Kaldi 모델 경로를 설정하는 방법을 확인했다. 그러나 실제 실행 중 포트 충돌 (800…

39 min read

Triton Server 기반 Kaldi ASR 배포 시도 및 환경 문제

Source

  • Field Notes/ReturnZero/Daily Notes/Day 189. 2022-01-05.md

Summary

이 노트는 NVIDIA DeepLearningExamples의 Kaldi 음성 인식 모델을 Triton Inference Server로 배포하기 위한 초기 설정과 테스트 과정을 기록한다. Docker 컨테이너 빌드, 데이터셋 다운로드, 서버/클라이언트 실행 스크립트 사용법을 따라가며, config.pbtxt 파일을 통해 사용자 정의 Kaldi 모델 경로를 설정하는 방법을 확인했다. 그러나 실제 실행 중 포트 충돌 (8001 번 포트 사용 중) 과 GPU 할당 문제 (Docker 내 GPU 인덱싱 및 메모리 할당) 로 인해 테스트가 중단되었다. 또한 자체 Kaldi 모델과 예제 모델 간의 설정 차이 (lattice_postprocessor 등) 에 대한 고민이 담겨 있다.

Key Points

  • NVIDIA DeepLearningExamples/Kaldi/SpeechRecognition 예제를 Triton Server 로 배포하는 워크플로우 확인
  • Docker 기반 빌드 및 실행 스크립트 (build.sh, launch_server.sh, launch_client.sh) 사용
  • Triton 모델 설정 파일 (config.pbtxt) 수정을 통한 사용자 정의 Kaldi 모델 적용 가능성 확인
  • 실행 중 발생한 포트 충돌 (bind: address already in use) 및 GPU 메모리 할당/인덱싱 문제 기록
  • 자체 Kaldi 모델과 예제 모델 간의 모듈 구성 차이 (lattice_postprocessor 등) 에 대한 분석 필요성 제기

그래프 뷰

백링크