AncomWiki

현대캐피탈 Triton 서버 빌드 및 성능 벤치마크 (Day 1112)

Properties1
description2024-07-17 일일 업무 기록으로, 현대캐피탈 프로젝트의 GPU 환경 설정(Kubernetes taint/descheduler)과 Triton Inference Server의 Python 백엔드 커스텀 빌드 과정을 다룹니다. 빌드 환경(GCC 버전) 문제로 인한 시행착오와 컨테이너 내 빌드 성공을 기록했습니다. 또한 v2 및 v4 모델의 추론 성능 벤치마크 결과(CER, WER, SER, RTFx)를 비교 분석했으며,…

37 min read

현대캐피탈 Triton 서버 빌드 및 성능 벤치마크 (Day 1112)

Source

  • Field Notes/ReturnZero/Daily Notes/Day 1112. 2024-07-17.md

Summary

2024-07-17 일일 업무 기록으로, 현대캐피탈 프로젝트의 GPU 환경 설정(Kubernetes taint/descheduler)과 Triton Inference Server의 Python 백엔드 커스텀 빌드 과정을 다룹니다. 빌드 환경(GCC 버전) 문제로 인한 시행착오와 컨테이너 내 빌드 성공을 기록했습니다. 또한 v2 및 v4 모델의 추론 성능 벤치마크 결과(CER, WER, SER, RTFx)를 비교 분석했으며, 자리야 환경에서의 추론 지연 현상(200 업데이트에 40~50분 소요)을 문제점으로 지적했습니다.

Key Points

  • 현대캐피탈 클러스터: 파드 taint 설정 적용 및 descheduler 설정 검토 예정
  • Triton Python Backend 빌드: 로컬 빌드 실패(GCC 버전 호환성 문제) 후 컨테이너 환경에서 성공적 빌드 완료
  • 성능 벤치마크(v2 vs v4): digit 데이터셋 기준 v4가 CER 1.49%, v2가 CER 0.79%로 v2가 문자 오류율에서 우위. 그러나 WER는 둘 다 99% 이상으로 단어 수준 정확도 저하 확인
  • 성능 이슈: 자리야 환경에서 추론 속도가 현저히 느림(200 업데이트 기준 40~50분 소요)
  • 기타: 일본어 학습, digit 데이터셋 확인 누락에 대한 반성, GPU Operator 관련 이미지 정보 정리

그래프 뷰

백링크