AncomWiki

ReturnZero Day 860: STT 모델 수정 및 성능 벤치마크

Properties1
description2023-11-08 일지. STT 모델(stt_model, decoder, greedy_entropy) 및 sommers_e2e triton 예제 코드 수정 작업 진행. Confidence 변경에 따른 모델 재변환(conformer_2 등) 및 버저닝 관리. AWS CloudTrail를 통한 인스턴스 실행자 추적. rtbench.bmt를 활용한 mww_test_0915 시리즈(한자, 영숫자, 숫자) 성능 평가 결과 기록(CE…

36 min read

ReturnZero Day 860: STT 모델 수정 및 성능 벤치마크

Source

  • Field Notes/ReturnZero/Daily Notes/Day 860. 2023-11-08.md

Summary

2023-11-08 일지. STT 모델(stt_model, decoder, greedy_entropy) 및 sommers_e2e triton 예제 코드 수정 작업 진행. Confidence 변경에 따른 모델 재변환(conformer_2 등) 및 버저닝 관리. AWS CloudTrail를 통한 인스턴스 실행자 추적. rtbench.bmt를 활용한 mww_test_0915 시리즈(한자, 영숫자, 숫자) 성능 평가 결과 기록(CER, SER, RTFx 지표 포함).

Key Points

  • STT 모델 아키텍처 및 디코더 로직(greedy_entropy) 수정
  • sommers_e2e triton 예제 코드 수정
  • Confidence 임계값 변경(active_threshold: 0.95) 대응을 위한 모델 재변환 및 버저닝(conformer_2, relpos_8k 등)
  • AWS CloudTrail을 이용한 리소스 사용 추적(인스턴스 켠 사람 찾기)
  • rtbench.bmt를 통한 다양한 테스트셋(mww_test_0915_kanji/alphanumber/number) 성능 벤치마크 수행 및 결과 로깅

그래프 뷰

백링크