AncomWiki

Triton Inference Server 앙상블 배치 처리 검증

Properties1
descriptionTriton Inference Server의 앙상블(Ensemble) 기능을 구현 중이며, 기본 동작은 확인했으나 배치(batch) 처리 시 모델 구성의 적절성에 의문을 품고 있다. 특히 공식 예시에서 배치 루프가 비활성화된 주석을 발견하여, 프리프로세싱과 ResNet 연동을 위한 올바른 배치 차원([-1]) 설정 및 처리 방식을 공식 예제 코드를 통해 추가로 검토할 계획이다.

37 min read

Triton Inference Server 앙상블 배치 처리 검증

Source

  • Field Notes/ReturnZero/Daily Notes/Day 562. 2023-01-13.md

Summary

Triton Inference Server의 앙상블(Ensemble) 기능을 구현 중이며, 기본 동작은 확인했으나 배치(batch) 처리 시 모델 구성의 적절성에 의문을 품고 있다. 특히 공식 예시에서 배치 루프가 비활성화된 주석을 발견하여, 프리프로세싱과 ResNet 연동을 위한 올바른 배치 차원([-1]) 설정 및 처리 방식을 공식 예제 코드를 통해 추가로 검토할 계획이다.

Key Points

  • Triton Inference Server 앙상블 기능 구현 진행 중
  • 단일 요청은 동작하나, 배치 처리 시 모델 구성의 타당성 불확실
  • 공식 예시에서 배치 요청용 for loop가 비활성화된 점에 주목
  • 프리프로세싱 + ResNet 예제를 참고하여 배치 차원([-1]) 설정 검증 필요

그래프 뷰

백링크