AncomWiki

Envoy 로드밸런싱 아키텍처 재고 및 GPU 운영 환경 정리

Properties1
description2023 년 7 월 24 일 일일 노트로, Envoy 를 이용한 로드밸런싱 구성을 고민하는 과정이 기록되어 있다. 초기에는 사이드카 패턴과 ConfigMap 공유를 고려했으나, 사이드카 방식의 한계를 인지하고 Envoy 인스턴스를 직접 여러 개 띄우는 독립형 아키텍처로 전환할 가능성을 제기한다. 또한 운영 환경의 GPU(RTX A5000) 스펙, CUDA/Driver 버전, Docker 버전 및 GPU Operator 관련…

39 min read

Envoy 로드밸런싱 아키텍처 재고 및 GPU 운영 환경 정리

Source

  • Field Notes/ReturnZero/Daily Notes/Day 754. 2023-07-24.md

Summary

2023 년 7 월 24 일 일일 노트로, Envoy 를 이용한 로드밸런싱 구성을 고민하는 과정이 기록되어 있다. 초기에는 사이드카 패턴과 ConfigMap 공유를 고려했으나, 사이드카 방식의 한계를 인지하고 Envoy 인스턴스를 직접 여러 개 띄우는 독립형 아키텍처로 전환할 가능성을 제기한다. 또한 운영 환경의 GPU(RTX A5000) 스펙, CUDA/Driver 버전, Docker 버전 및 GPU Operator 관련 Helm 명령어와 이미지 목록을 정리하고 있다.

Key Points

  • Envoy 로드밸런싱 구성 시 사이드카 패턴 대신 Envoy 인스턴스를 직접 복제하여 운영하는 방안 검토
  • 운영 환경 스펙: RTX A5000(Ampere), CUDA 12.0, NVIDIA Driver 525.107.17, Docker 19.03.15
  • GPU Operator 설치 시 driver, migManager, sandboxDevicePlugin, vfioManager 비활성화 설정 기록
  • 8 월 TEI 복귀 예정 및 GPU Plugin 1.19 용 준비 작업 언급

그래프 뷰

백링크