신한카드 프로젝트: 온프레미스 인프라 및 SRE 운영 현황

Source

  • Field Notes/ReturnZero/Daily Notes/Day 1237. 2024-11-18.md

Summary

신한카드 프로젝트의 온프레미스 환경 구축 및 운영과 관련된 기술적 고려사항과 SRE 조직 구성 방향을 기록한 일일 노트입니다. 주요 내용은 LLM 요약 기능 구현, Minio 기반 모델 파일 관리, Kubespray를 활용한 오프라인 Kubernetes 클러스터 구축 강화 방안, 그리고 SRE 팀의 업무 범위 정의(인프라 운영, 성능 이슈 해결 등)를 포함합니다.

Key Points

  • 신한카드 프로젝트에서 PII 이슈 존재
  • ITN 기반 LLM 요약 기능 구현 (use_summarization=true 시 프롬프트 생성)
  • 온프레미스 환경에서의 모델 파일 관리 (Minio 활용)
  • Kubespray 최신 스크립트를 통한 오프라인 Kubernetes 환경 구성 검토 (offline.yml 대체, istio/helm/registry/k9s 등 addon 포함)
  • SRE 팀 조직 구성 및 업무 범위 정의 (사이트 설치/운영, 인프라 이슈 해결, GPU/CPU 성능 이슈 대응)
  • 물리 노드 요청 및 아티팩트 시스템 구축 필요성 제기