Triton 서비스 확장 및 Helm Chart 문제

Source

  • Field Notes/ReturnZero/Daily Notes/Day 758. 2023-07-28.md

Summary

Envoy와 Triton 서비스 연동 시, 신규 인스턴스 추가에 따른 targetPort 균일 증가 및 ConfigMap 동적 업데이트 방법을 모색 중. Helm Chart 배포 시 range 루프 오류로 인해 Triton 인스턴스가 하나만 생성되는 문제를 겪고 있음.

Key Points

  • Envoy 서비스와 Triton 연동 시 신규 인스턴스 생성은 가능하나, targetPort 할당 및 ConfigMap 업데이트 로직이 미정
  • Helm Chart 배포 시 range 함수 실행 실패로 Triton 인스턴스가 단일 개체로만 생성되는 버그 발생
  • 일본어 모델 빌드 및 Helm Chart 테스트 진행 중