AncomWiki

SIMS 고도화 및 K8s 환경 구축 작업 기록 (Day 1492)

Properties1
description현대캐피탈 SIMS 프로젝트의 고도화 작업을 위한 Kubernetes 환경 구축 및 Helm 차트 수정 일지입니다. wk02/wk03 노드에서 Docker Registry Mirror 설정, GPU 드라이버 및 NFS 구성, 그리고 Istio/GPU Operator 설치를 진행했습니다. 핵심 과제는 Legacy 모델과 신규(Default) 모델을 동시에 운영하기 위해 Triton 및 SIMS Agent Helm 차트를 수정하…

37 min read

SIMS 고도화 및 K8s 환경 구축 작업 기록 (Day 1492)

Source

  • Field Notes/ReturnZero/Daily Notes/Day 1492. 2025-07-31.md

Summary

현대캐피탈 SIMS 프로젝트의 고도화 작업을 위한 Kubernetes 환경 구축 및 Helm 차트 수정 일지입니다. wk02/wk03 노드에서 Docker Registry Mirror 설정, GPU 드라이버 및 NFS 구성, 그리고 Istio/GPU Operator 설치를 진행했습니다. 핵심 과제는 Legacy 모델과 신규(Default) 모델을 동시에 운영하기 위해 Triton 및 SIMS Agent Helm 차트를 수정하여 인스턴스별 이미지 태그 및 볼륨 마운트 경로를 유연하게 지정할 수 있도록 하는 것이었습니다. 또한 모델 디플로이 워크플로우(TRT 변환, ConfigMap 분리)를 설계하고, utterance_save 암호화 구현을 위한 초기 단계(Eval Job)를 기록했습니다.

Key Points

  • K8s 환경 구축: wk02/wk03 노드에 Docker Registry Mirror(containerd 설정), GPU 드라이버, NFS, Istio, GPU Operator 설치
  • Helm 차트 고도화: Triton 및 Triton-eval 차트 수정을 통해 인스턴스별(Image Tag, Volume Path) 커스터마이징 지원
  • 다중 모델 운영 전략: Legacy(100m)와 Default(250m) 모델을 병행하기 위한 ConfigMap(eval-legacy, eval-default) 분리 및 Values 구조 설계
  • 모델 디플로이 프로세스: TRT 파일 변환/복사, ITN 제거, Eval 모델 Prefix 기반 경로 구성 로직 정의
  • 보안 및 기타: 현대캐피탈 취약점 소명(베이스 이미지 이슈), utterance_save 암호화를 위한 Eval Job 시나리오 수립

그래프 뷰

백링크