AncomWiki

ReturnZero STT 서비스 K8s 배포 및 Triton Server 연동 작업 (Day 748)

Properties1
description이 노트는 ReturnZero 프로젝트의 STT(Speech-to-Text) 서비스를 Kubernetes 환경에 배포하기 위한 작업 기록이다. NVIDIA GPU 환경 설정(k8s-device-plugin), Triton Inference Server 모델 동기화(initContainer 방식), 라이선스 서버 연동, 그리고 Envoy 프록시 타임아웃 문제 해결 과정이 포함되어 있다. 또한 개발/운영 환경별 모델 경로 및 이…

37 min read

ReturnZero STT 서비스 K8s 배포 및 Triton Server 연동 작업 (Day 748)

Source

  • Field Notes/ReturnZero/Daily Notes/Day 748. 2023-07-18.md

Summary

이 노트는 ReturnZero 프로젝트의 STT(Speech-to-Text) 서비스를 Kubernetes 환경에 배포하기 위한 작업 기록이다. NVIDIA GPU 환경 설정(k8s-device-plugin), Triton Inference Server 모델 동기화(initContainer 방식), 라이선스 서버 연동, 그리고 Envoy 프록시 타임아웃 문제 해결 과정이 포함되어 있다. 또한 개발/운영 환경별 모델 경로 및 이미지 목록, Helm 차트 설정 계획 등 인프라 구축에 필요한 핵심 요소들을 정리하고 있다.

Key Points

  • Kubernetes 클러스터에 NVIDIA GPU 지원 환경 구축 (k8s-device-plugin 적용)
  • Triton Inference Server 모델 동기화를 위한 InitContainer 구성 및 SSH 인증서 마운트 방식 채택
  • Envoy 프록시 사용 시 발생하는 context deadline exceeded 오류 원인 분석 (connection timeout)
  • STT 서비스 구성 요소별 이미지 및 모델 경로 정리 (T4/RTX3090 환경 구분)
  • 라이선스 서버, MongoDB, OpenAPI 등 부가 서비스와의 연동 및 Helm 차트 설정 계획 수립

그래프 뷰

백링크