AncomWiki

ITN 벤치마크 방법론 재고 및 키위(Kiwi) 형태소 분석 한계 분석

Properties1
descriptionITN(Inverse Text Normalization) 벤치마크 시, 기존 'ITN 대상과 조사 사이 띄어쓰기' 기준이 키위(Kiwi)와 같은 다른 모델과 비교할 때 불합리할 수 있음을 지적하며, 검증 방법의 통일성 문제를 제기함. 키위의 영문자 이니셜 및 숫자 처리 오류(예: '엠에스'를 고유명사로 오인)와 단문자 형태소 학습 데이터 부족 문제를 확인하고, 이를 해결하기 위한 스페이서 개량이나 점수 보정 시도보다는 버리는…

39 min read

ITN 벤치마크 방법론 재고 및 키위(Kiwi) 형태소 분석 한계 분석

Source

  • Field Notes/ReturnZero/Daily Notes/Day 560. 2023-01-11.md

Summary

ITN(Inverse Text Normalization) 벤치마크 시, 기존 ‘ITN 대상과 조사 사이 띄어쓰기’ 기준이 키위(Kiwi)와 같은 다른 모델과 비교할 때 불합리할 수 있음을 지적하며, 검증 방법의 통일성 문제를 제기함. 키위의 영문자 이니셜 및 숫자 처리 오류(예: ‘엠에스’를 고유명사로 오인)와 단문자 형태소 학습 데이터 부족 문제를 확인하고, 이를 해결하기 위한 스페이서 개량이나 점수 보정 시도보다는 버리는 방향을 고려함. 또한, Triton 기반 배포 시 Transformer 토크나이저 의존성으로 인한 이미지 빌드 복잡성 문제를 논의함.

Key Points

  • ITN 벤치마크 기준 재정의: 키위 등 타 모델과의 공정한 비교를 위해 ‘ITN 대상-조사 사이 띄어쓰기’ 규칙을 완화하거나 검증 방법을 모델별로 조정할 필요성 제기.
  • 키위(Kiwi) 형태소 분석 한계: 영문자 이니셜(예: MS, BMS)을 고유명사(NNP)로 오인식하며, 숫자와 일반 명사를 구분하지 못하는 치명적 오류 확인.
  • 데이터 부족 문제: 키위류 모델이 단문자 한글 형태소에 대해 학습할 라벨링된 데이터가 부족해 성능 향상이 어려움.
  • 배포 아키텍처 고민: Triton Ensemble 모델 배포 시, 토크나이저를 위해 전체 Transformer 의존성을 포함해야 하는지, 이미지 빌드 복잡성(Triton 이미지 기반 재빌드)에 대한 논의.
  • ITN 후처리 아이디어: ITN 결과에 대해 추가 교정 단계 도입 또는 조사 붙여쓰기 처리 고려.

그래프 뷰

백링크