AncomWiki

VITOSpeech Engine 동시접속 제한 및 현대캐피탈 PoC 준비

Properties1
description이 노트는 VITOSpeech 엔진의 동시접속 채널 제한 기능 구현 계획과 현대캐피탈 PoC(Proof of Concept) 진행을 위한 환경 세팅 및 보안 절차 준비 사항을 기록한 일일 작업 메모입니다. pronaia(open-api) 구조 변경의 어려움으로 인해 엔진 레벨에서 동시접속을 통제하고 gRPC를 통해 에러를 반환하는 전략을 수립했으며, 현대캐피탈 PoC를 위한 서버 반입 절차, k8s 환경 구성, 모델 빌드 및…

40 min read

VITOSpeech Engine 동시접속 제한 및 현대캐피탈 PoC 준비

Source

  • Field Notes/ReturnZero/Daily Notes/Day 720. 2023-06-21.md

Summary

이 노트는 VITOSpeech 엔진의 동시접속 채널 제한 기능 구현 계획과 현대캐피탈 PoC(Proof of Concept) 진행을 위한 환경 세팅 및 보안 절차 준비 사항을 기록한 일일 작업 메모입니다. pronaia(open-api) 구조 변경의 어려움으로 인해 엔진 레벨에서 동시접속을 통제하고 gRPC를 통해 에러를 반환하는 전략을 수립했으며, 현대캐피탈 PoC를 위한 서버 반입 절차, k8s 환경 구성, 모델 빌드 및 서빙 도커 이미지 준비 등 구체적인 실행 순서와 체크리스트를 정리했습니다. 또한 클라이언트에게 반환할 표준화된 오류 코드(Error Codes) 체계를 정의했습니다.

Key Points

  • 동시접속 제한 전략: pronaia 구조 변경의 어려움으로 인해 엔진(engine) 레벨에서 동시접속 채널 수를 통제하고, gRPC 통신 시 에러를 반환하는 방식으로 구현 예정.
  • 현대캐피탈 PoC 준비: RTX6000 서버 환경에서의 PoC 진행을 위해 k8s 네임스페이스 구성, 모델(ONNX, TRT) 빌드 및 서빙 도커 이미지 준비, 보안상 매체 반입 및 폐기 절차 확인 필요.
  • 환경 세팅 및 테스트 순서: Mac minikube 설치, IaC 구성, Docker Compose를 통한 모델(Triton) 및 엔진, pronaia, admin 서비스 띄우기, 키 발급 및 테스트 진행.
  • 오류 코드 정의: 인증, 데이터 형식, 동시접속 초과, 월간 사용량 초과, 서버 내부 에러(Triton 관련) 등에 대한 표준화된 오류 코드(AUTH, DATA, CONN, SERV) 및 메시지 정의 완료.
  • 미정 사항: python-mecab-ko 설치 방법, 초과 시 센트리오/Sentry 에러 메시지 전달 여부, 클라우드워치 모니터링 가능성 확인 필요.

그래프 뷰

백링크