AncomWiki

Greedy Confidence 및 Entropy 기반 신뢰도 추론 아키텍처

Properties1
descriptionWFST 및 Prefix decoder에서 greedy decoding 후 신뢰도(confidence)를 산출하는 모델 설계안. 핵심은 decoder의 argmax 결과와 logit을 활용해 entropy를 계산하고, 이를 0.5~1.0 범위의 confidence 값으로 변환하는 것. 실시간 처리를 위해 최근 100개 샘플의 entropy를 평균화하여 inversion하는 방식을 제안하며, 락(lock) 문제를 피하기 위한…

37 min read

Greedy Confidence 및 Entropy 기반 신뢰도 추론 아키텍처

Source

  • Field Notes/ReturnZero/confidence.md

Summary

WFST 및 Prefix decoder에서 greedy decoding 후 신뢰도(confidence)를 산출하는 모델 설계안. 핵심은 decoder의 argmax 결과와 logit을 활용해 entropy를 계산하고, 이를 0.5~1.0 범위의 confidence 값으로 변환하는 것. 실시간 처리를 위해 최근 100개 샘플의 entropy를 평균화하여 inversion하는 방식을 제안하며, 락(lock) 문제를 피하기 위한 주기적 수집 및 초기값(0.5/1.0) 폴백 전략을 포함함.

Key Points

  • WFST/Prefix decoder에서 greedy decoding 후 confidence 산출 모델 도입
  • decoder에서 argmax를 취한 결과와 logit을 입력으로 entropy 계산
  • 산출된 entropy를 confidence로 변환: 최근 100개 샘플 평균 후 inversion (범위 0.5~1.0)
  • 실시간 성능 고려: 100개 갱신 시 락 발생 방지를 위한 주기적 수집 방식 검토
  • 샘플 부족 시(100개 미만) confidence를 0.5 또는 1.0으로 고정하는 폴백 로직
  • 모델 구성: model1(greedy_entropy), model2(decoder_timestamp), ensemble model(미완)

그래프 뷰

백링크