Neural-ITN TensorRT 배포 시도 및 한계

Source

  • Field Notes/ReturnZero/Daily Notes/Day 566. 2023-01-17.md

Summary

Neural-ITN 모델을 TensorRT 엔진으로 빌드하는 과정에서 INT64 캐스팅 경고와 동적 차원(shape) 자동 오버라이딩 문제를 겪었음. 빌드는 성공했으나, 일본어 이름의 발음 전사(가타카나) 지원이 현재 불가능하다는 한계가 확인됨.

Key Points

  • Neural-ITN 모델의 TensorRT 엔진 빌드 시도 (ONNX -> TRT)
  • INT64 가중치를 INT32로 강제로 캐스팅하는 경고 발생
  • input_ids 및 attention_mask의 동적 차원 설정 누락으로 인한 자동 오버라이딩 (1x1)
  • 일본어 이름의 가타카나 발음 전사 기능 미지원 확인