AncomWiki

주소 인식 모델 서빙 방식 결정: ONNX Dynamic vs TRT

Properties1
description2024-02-16 일지. 주소 인식(Address) 모델의 서빙(Serving) 방식을 결정하기 위해 ONNX(Dynamic)과 TensorRT(TRT) 성능을 비교 테스트함. 결과적으로 ONNX Dynamic 방식이 TRT 대비 추론 속도(RTFx)는 느리지만, 문자 오류율(CER)과 문장 오류율(SER)에서 압도적인 정확도 우위를 보임(ONNX: CER 1.86%, TRT: CER 6.87%). 이에 따라 주소 모델은…

38 min read

주소 인식 모델 서빙 방식 결정: ONNX Dynamic vs TRT

Source

  • Field Notes/ReturnZero/Daily Notes/Day 960. 2024-02-16.md

Summary

2024-02-16 일지. 주소 인식(Address) 모델의 서빙(Serving) 방식을 결정하기 위해 ONNX(Dynamic)과 TensorRT(TRT) 성능을 비교 테스트함. 결과적으로 ONNX Dynamic 방식이 TRT 대비 추론 속도(RTFx)는 느리지만, 문자 오류율(CER)과 문장 오류율(SER)에서 압도적인 정확도 우위를 보임(ONNX: CER 1.86%, TRT: CER 6.87%). 이에 따라 주소 모델은 ONNX Dynamic 방식으로 서빙하기로 결정하고, TRT 변환 작업을 생략함.

Key Points

  • 주소 인식 모델의 최적 서빙 방식 선정 목적
  • 테스트 대상: ONNX(Dynamic) vs TensorRT(TRT)
  • 성능 비교 결과: ONNX Dynamic이 TRT보다 정확도(CER/SER)가 현저히 높음
  • 결정 사항: 주소 모델은 ONNX Dynamic으로 서빙, TRT 변환 작업 제외
  • 관련 프로젝트/태그: ReturnZero, T4_N2302_PRONAIA_E2E_JPN_ONE_ADDRESS

그래프 뷰

백링크