AncomWiki

일본어 Neural ITN 및 4090 환경 빌드 시도

Properties1
description2023 년 9 월 20 일, 일본어 Neural ITN(Inverse Text Normalization) 모델의 4090 GPU 환경 빌드 및 추론 성능 테스트를 진행함. 64 토큰 제한 시 BLS 없이 spacing/ITN ensemble 구성을 검토하고, 기존 triton-itn 빌드 오류 (max_batch_size 문제) 를 해결하며 재빌드 시도함. OmegaSynced 모델의 추론 결과 (CER 약 19%, SER…

39 min read

일본어 Neural ITN 및 4090 환경 빌드 시도

Source

  • Field Notes/ReturnZero/Daily Notes/Day 812. 2023-09-20.md

Summary

2023 년 9 월 20 일, 일본어 Neural ITN(Inverse Text Normalization) 모델의 4090 GPU 환경 빌드 및 추론 성능 테스트를 진행함. 64 토큰 제한 시 BLS 없이 spacing/ITN ensemble 구성을 검토하고, 기존 triton-itn 빌드 오류 (max_batch_size 문제) 를 해결하며 재빌드 시도함. OmegaSynced 모델의 추론 결과 (CER 약 19%, SER 99-100%) 를 기록하고, 한글 숫자 제거 및 하이브리드 방식 적용을 다음 단계로 설정함.

Key Points

  • 일본어 Neural ITN 모델의 4090 GPU 호환 빌드 및 triton 이미지 재생성 시도
  • 64 토큰 제한 시 BLS 제거 및 spacing/ITN ensemble 구성 검토
  • 기존 triton-itn 빌드 오류 (max_batch_size: 0) 해결 및 재빌드 완료
  • OmegaSynced 모델 추론 성능 평가: CER 19.21-19.95%, SER 99.69-100.0%
  • 후속 작업: cassidy 에서 4090 용 빌드 확인, 한글 숫자 제거, 하이브리드 방식 적용

그래프 뷰

백링크