AncomWiki

다듬이: VAD/ITN Triton 통합 배포 및 스레드 풀 문제

Properties1
description이 노트는 '다듬이' 프로젝트의 BMT 환경에서 ThreadPoolExecutor 충돌로 인한 VAD 실행 문제를 기록하고, Triton Server를 통해 VAD v3.4와 Neural ITN 모델을 통합하여 배포하는 프로덕션 시나리오를 정리한다. ECR 이미지 푸시, Helm values 설정, 그리고 기존 VAD v3에서 v34로의 트래픽 전환 및 삭제를 위한 단계별 배포 계획(3개 PR)을 포함한다.

38 min read

다듬이: VAD/ITN Triton 통합 배포 및 스레드 풀 문제

Source

  • Field Notes/ReturnZero/Daily Notes/Day 684. 2023-05-15.md

Summary

이 노트는 ‘다듬이’ 프로젝트의 BMT 환경에서 ThreadPoolExecutor 충돌로 인한 VAD 실행 문제를 기록하고, Triton Server를 통해 VAD v3.4와 Neural ITN 모델을 통합하여 배포하는 프로덕션 시나리오를 정리한다. ECR 이미지 푸시, Helm values 설정, 그리고 기존 VAD v3에서 v34로의 트래픽 전환 및 삭제를 위한 단계별 배포 계획(3개 PR)을 포함한다.

Key Points

  • BMT 환경에서 ThreadPoolExecutor 잔여물로 인한 VAD 실행 중단 문제 발생 (mp.pool 겹침 의심)
  • Triton Server 이미지(22.08-trt-python-py3-rtnlp-230503) 확인 및 ECR 푸시 완료
  • VAD v3.4와 Neural ITN 모델을 단일 Triton 인스턴스(vad-v34)로 통합 배포 계획
  • 프로덕션 배포 순서: 새 Triton 추가 -> Worker 재설정 -> 트래픽 확인 후 구버전 삭제
  • Dev 환경용 3개 PR(triton-batch-vad-v34, worker.yaml, tdiar-v3 설정) 구성
  • 일본어 대화형 음성 데이터셋(HuggingFace) 참고 사항 기록

그래프 뷰

백링크