AncomWiki

Triton-Kaldi 백엔드 구조 학습 및 커스텀 백엔드 빌드 방법

Properties1
descriptionTriton-Kaldi 프로젝트의 백엔드 구조를 예제(Sommers)를 통해 학습하며, scp 파일 읽기 실패 등 초기 장애를 겪음. Triton 커스텀 백엔드 개발을 위한 Dockerfile 구성 방법(COPY 명령어 활용)과 필수 구현해야 하는 C 인터페이스(TRITONBACKEND_*) 함수 목록을 정리함. VAD 및 SD 모델의 입력/출력 텐서 형식(FP32)과 클라이언트 측 파일 처리 및 gRPC 전송 구조를 파악함.

37 min read

Triton-Kaldi 백엔드 구조 학습 및 커스텀 백엔드 빌드 방법

Source

  • Field Notes/ReturnZero/Daily Notes/Day 201. 2022-01-17.md

Summary

Triton-Kaldi 프로젝트의 백엔드 구조를 예제(Sommers)를 통해 학습하며, scp 파일 읽기 실패 등 초기 장애를 겪음. Triton 커스텀 백엔드 개발을 위한 Dockerfile 구성 방법(COPY 명령어 활용)과 필수 구현해야 하는 C 인터페이스(TRITONBACKEND_*) 함수 목록을 정리함. VAD 및 SD 모델의 입력/출력 텐서 형식(FP32)과 클라이언트 측 파일 처리 및 gRPC 전송 구조를 파악함.

Key Points

  • Triton 커스텀 백엔드 빌드: Dockerfile 에 COPY ./mybackend /opt/tritonserver/backends/mybackend 추가 시 커스텀 백엔드 사용 가능
  • 필수 구현 인터페이스: tritonbackend.h 정의에 따른 Backend, Model, ModelInstance, Request/Response 관련 TRITONBACKEND_* 함수 구현 필요
  • 모델 텐서 형식: VAD(input: [55, 80], output: [2]), SD(input: [81, 80], output: [1024]) 모두 FP32 사용
  • 클라이언트 구조: 파일 읽기 -> 청크 분할 -> gRPC 전송 흐름 확인
  • 현재 이슈: Sommers 예제에서 scp 파일 읽기 실패로 인해 진행 보류 상태

그래프 뷰

백링크