AncomWiki

2023-07-27 작업 계획: 일본어 모델 배포 및 Triton 설정

Properties1
description2023 년 7 월 27 일의 일일 작업 노트로, 일본어 데이터셋 처리 및 모델 평가, qoo10 normalizer 작업이 예정되어 있다. 주요 초점은 8 월 4 일 기한을 앞두고 일본어 모델을 MWW 환경에 배포하는 것으로, Triton inference server 의 Kubernetes 배포 전략 (파드/서비스 구성, 포트 매핑, 헬스체크) 에 대한 고민과 결정 과정이 기록되어 있다. 또한 GPU 인스턴스 유형 (A1…

40 min read

2023-07-27 작업 계획: 일본어 모델 배포 및 Triton 설정

Source

  • Field Notes/ReturnZero/Daily Notes/Day 757. 2023-07-27.md

Summary

2023 년 7 월 27 일의 일일 작업 노트로, 일본어 데이터셋 처리 및 모델 평가, qoo10 normalizer 작업이 예정되어 있다. 주요 초점은 8 월 4 일 기한을 앞두고 일본어 모델을 MWW 환경에 배포하는 것으로, Triton inference server 의 Kubernetes 배포 전략 (파드/서비스 구성, 포트 매핑, 헬스체크) 에 대한 고민과 결정 과정이 기록되어 있다. 또한 GPU 인스턴스 유형 (A10 vs T4) 확인이 필요함을 명시했다.

Key Points

  • 일본어 데이터셋 샘플 평가 및 편입 방안 모색
  • qoo10 normalizer 관련 작업 진행
  • Oobabuga GPTQ 를 위한 CUDA 12.2 환경 설치
  • 8 월 4 일 기한: 일본어 모델 MWW 배포 준비 (Developer site, Helm chart, ConfigMap 설정)
  • Triton 서비스 아키텍처 결정: 단일 파드 - 단일 서비스 방식 채택 (포트 매핑 및 서비스 오픈 필요)
  • GPU 인스턴스 사양 확인 (A10 vs G4dn/T4) 및 Dan 과의 논의 예정

그래프 뷰

백링크