AncomWiki

2024-07-22 업무 및 회고: 일본어 ASR 모델 평가 및 인프라 구축

Properties1
description2024년 7월 22일의 업무 기록으로, 일본어 ASR(Automatic Speech Recognition) 모델의 T4 GPU 변환 및 ONNX/TensorRT 최적화 진행 상황을 다룹니다. 주요 성과로 Conformer 모델의 TensorRT Dynamic Shape 변환 성공 및 ONNX 대비 속도 향상, Python 3.12 기반 Triton Server 빌드 성공이 있습니다. 반면, 일본어 유튜브 데이터셋 수집 시…

40 min read

2024-07-22 업무 및 회고: 일본어 ASR 모델 평가 및 인프라 구축

Source

  • Field Notes/ReturnZero/Daily Notes/Day 1117. 2024-07-22.md

Summary

2024년 7월 22일의 업무 기록으로, 일본어 ASR(Automatic Speech Recognition) 모델의 T4 GPU 변환 및 ONNX/TensorRT 최적화 진행 상황을 다룹니다. 주요 성과로 Conformer 모델의 TensorRT Dynamic Shape 변환 성공 및 ONNX 대비 속도 향상, Python 3.12 기반 Triton Server 빌드 성공이 있습니다. 반면, 일본어 유튜브 데이터셋 수집 시 IP 밴 대응 실패, 추가 학습 모델의 성능 저하, 원주 출장 중 Xeon 4세대 CPU 호환성 문제 미인식 등 여러 기술적·운영적 어려움이 기록되어 있습니다. 또한 Helm 차트, K8s 설치 등 인프라 학습과 일상적인 회고 사항이 혼재되어 있습니다.

Key Points

  • 일본어 ASR 모델(T4_N2302_PRONAIA)의 T4 GPU 환경 변환 및 ONNX 모델 복사 작업 진행
  • Conformer 모델의 TensorRT Dynamic Shape 변환 성공으로 ONNX 모델 대비 추론 속도 향상 확인
  • Python 3.12 백엔드를 탑재한 Triton Server 빌드 시도 및 성공
  • 일본어 유튜브 데이터셋 수집 과정에서 IP 밴 발생 시 폴백 로직 부재로 인한 문제 발생
  • 유튜브 데이터셋 추가 학습 모델의 성능이 기대에 미치지 못함
  • 원주 출장 중 라이선스 설치 및 전사 테스트 시 Xeon 4세대 CPU 호환성 문제 발생 (당일 늦은 인지)
  • Helm 차트(helm template, k8s job, affinity), Kubespray를 통한 K8s 설치 등 인프라 기술 학습
  • 안드로이드 라이브러리 빌드 및 VITO SDK를 이용한 마이크 온라인 서버 테스트 진행

그래프 뷰

백링크