AncomWiki

Triton Custom Backend 학습 계획 및 모델 웜업 개념 정리

Properties1
description이 노트는 연휴 중 업무 팔로우업이 미뤄진 상황을 기록하며, 주요 업무로 Triton Custom Backend 튜토리얼 작성(개념 설명 및 릴단 레퍼런스 기반 따라하기)과 GoP 진행 보고 정리를 계획한다. 또한 Triton 모델의 초기화 지연 문제를 해결하기 위한 'Model Warmup' 기능의 개념과 설정 방법을 정리하고, TTS FastSpeech 및 건강검진, AWS 페어 작업 등 기타 사안들을 메모로 남겼다.

39 min read

Triton Custom Backend 학습 계획 및 모델 웜업 개념 정리

Source

  • Field Notes/ReturnZero/Daily Notes/Day 313. 2022-05-09.md

Summary

이 노트는 연휴 중 업무 팔로우업이 미뤄진 상황을 기록하며, 주요 업무로 Triton Custom Backend 튜토리얼 작성(개념 설명 및 릴단 레퍼런스 기반 따라하기)과 GoP 진행 보고 정리를 계획한다. 또한 Triton 모델의 초기화 지연 문제를 해결하기 위한 ‘Model Warmup’ 기능의 개념과 설정 방법을 정리하고, TTS FastSpeech 및 건강검진, AWS 페어 작업 등 기타 사안들을 메모로 남겼다.

Key Points

  • Triton Custom Backend 튜토리얼 작성 계획: 개요, 배처 개념, C++/Python 백엔드 구현 예제(triton-kaldi 등) 포함
  • 학습 방법론: 릴단 레퍼런스 코드를 먼저 따라한 후 개념을 설명하는 순서로 진행
  • Triton Model Warmup: 초기 요청의 느린 처리(지연된 초기화) 방지를 위해 config.pbtxt 에서 ModelWarmup 속성 설정
  • 기타 진행 사항: GoP 진행 보고 정리, TTS FastSpeech 관련 메모, 건강검진 가이드 확인, AWS 컴파일 배포 작업

그래프 뷰

백링크