AncomWiki

SIMS 기능 점검 및 MWW 학습/배포 테스트 (2024-09-11)

Properties1
description본 노트는 2024 년 9 월 11 일의 업무 기록으로, Go 언어 슬라이스 메모리 관리 팁 공유, SIMS(Speech Inference Management System) 의 학습 - 검증 - 배포 파이프라인 점검, MWW(Multi-Word Whisper?) 모델의 학습 및 성능 평가 결과를 포함한다. 특히 SIMS 의 eval 실패 원인 (evalModelRoot 마운트 경로 충돌) 을 분석하고, 일본어 주소 모델의 O…

40 min read

SIMS 기능 점검 및 MWW 학습/배포 테스트 (2024-09-11)

Source

  • Field Notes/ReturnZero/Daily Notes/Day 1169. 2024-09-11.md

Summary

본 노트는 2024 년 9 월 11 일의 업무 기록으로, Go 언어 슬라이스 메모리 관리 팁 공유, SIMS(Speech Inference Management System) 의 학습 - 검증 - 배포 파이프라인 점검, MWW(Multi-Word Whisper?) 모델의 학습 및 성능 평가 결과를 포함한다. 특히 SIMS 의 eval 실패 원인 (evalModelRoot 마운트 경로 충돌) 을 분석하고, 일본어 주소 모델의 ONNX 변환 및 GPU 환경 (3090 vs 2080) 호환성 문제를 다루며, 최종적으로 여러 테스트셋에 대한 CER/WER/SER 성능 지표를 기록한다.

Key Points

  • Go 언어: SliceTricks 를 활용한 메모리 누수 방지 코드 패턴 공유
  • SIMS 점검: 학습 (train), 검증 (evaluate), 배포 (deploy) API 호출 흐름 및 EFS 결과물 확인 절차 기록
  • SIMS 버그 분석: eval 실패 원인으로 triton 과 sims backend 간 evalModelRoot 마운트 경로 충돌 (e2e 디렉토리 조작 필요) 식별
  • MWW 모델 학습: 일본어 주소 모델 vocab 변경으로 인한 TLG 재빌드 필요성 및 3090 GPU 에서의 ONNX 추론 속도 저하 문제
  • 대응 방안: efi 에서 2080 용으로 변환 후 sims k8s 에서 테스트 진행
  • 성능 평가 결과: mww_test_0911_kanji, mww_test_0915_kanji 등 다양한 테스트셋에 대한 CER(문자 오류율), WER(단어 오류율), SER(문장 오류율) 지표 기록
  • 기타: 수명업무 (신한카드 자바) 지원 및 grpc 채널 보안 설정 변경 (InsecureChannelCredentials) 기록

그래프 뷰

백링크