AncomWiki

주소 인식 모델 성능 검증 및 Triton 배포 전략

Properties1
description2024년 1월 8일 일일 작업 기록으로, 주소 인식(Address Recognition) 모델의 성능 최적화 및 운영 환경 구축 과정이 담겨 있습니다. 주요 내용은 1) 3090 GPU 환경에서의 모델 변환 및 성능 벤치마킹(CER/SER 지표 확인), 2) Triton Inference Server를 활용한 배포 방식 비교(Multi-instance vs Multi-model) 및 스케일링 이슈 분석, 3) 특허 보완 및…

39 min read

주소 인식 모델 성능 검증 및 Triton 배포 전략

Source

  • Field Notes/ReturnZero/Daily Notes/Day 921. 2024-01-08.md

Summary

2024년 1월 8일 일일 작업 기록으로, 주소 인식(Address Recognition) 모델의 성능 최적화 및 운영 환경 구축 과정이 담겨 있습니다. 주요 내용은 1) 3090 GPU 환경에서의 모델 변환 및 성능 벤치마킹(CER/SER 지표 확인), 2) Triton Inference Server를 활용한 배포 방식 비교(Multi-instance vs Multi-model) 및 스케일링 이슈 분석, 3) 특허 보완 및 운영 매뉴얼 작성 등 운영 준비 작업입니다. 특히 Triton 배포 시 GPU 리소스 할당과 스케일링 관점에서 Multi-model 방식의 장점을 도출했습니다.

Key Points

  • 주소 인식 모델의 3090 GPU 환경 성능 검증 완료 및 T4 변환 계획
  • Triton Inference Server 배포 전략: Multi-instance(리소스 지정 불가) vs Multi-model(스케일링 가능, 단일 서비스 진입점) 비교 분석
  • 벤치마킹 결과: 다양한 테스트셋(mww_test_0915, mww_kanji 등)에 대한 CER(문자 오류율) 및 SER(문장 오류율) 측정
  • 운영 준비: k8s 구조도 작성, 운영 매뉴얼 초안, 특허 보완 작업 진행 중
  • 도커 이미지 로드 시 시간대별 제약(6시 이후 권장) 등 환경적 이슈 발견

그래프 뷰

백링크