AncomWiki

다듬이 및 일본어 모델 처리 논의 (Day 642)

Properties1
description텍스트 처리 시 길이 제한 전략(A: 턴 단위 제한, B: 전처리 절단, C: 프로세서 내부 절단) 중 A 방식을 우선 적용하기로 함. 또한 띄어쓰기 오류 원인 분석(torch vs onnx) 및 공백문자 처리 이슈를 확인. 일본어 관련해서는 VAD 설정 조정, 이름/주소 모델의 ONNX 변환 및 후처리 로직(히라가나→가타카나→알파벳 등), 그리고 Incremental Learning 진행 사항을 논의함.

37 min read

다듬이 및 일본어 모델 처리 논의 (Day 642)

Source

  • Field Notes/ReturnZero/Daily Notes/Day 642. 2023-04-03.md

Summary

텍스트 처리 시 길이 제한 전략(A: 턴 단위 제한, B: 전처리 절단, C: 프로세서 내부 절단) 중 A 방식을 우선 적용하기로 함. 또한 띄어쓰기 오류 원인 분석(torch vs onnx) 및 공백문자 처리 이슈를 확인. 일본어 관련해서는 VAD 설정 조정, 이름/주소 모델의 ONNX 변환 및 후처리 로직(히라가나→가타카나→알파벳 등), 그리고 Incremental Learning 진행 사항을 논의함.

Key Points

  • 텍스트 길이 제한: 프로세서별 절단(C)보다 턴 단위 제한(A)을 우선 적용 결정.
  • 띄어쓰기 이슈: Torch 모델은 정상 동작하나 ONNX 변환 시 문제 발생 가능성 확인.
  • 일본어 VAD: 초반 3초는 1.0s, 이후 0.3s로 min_sec_off 설정 조정.
  • 일본어 모델 후처리: 이름 모델(‘데스’ 변환) 및 주소/코드 모델(히라가나→가타카나→알파벳 변환) 로직 정의.
  • 모델 학습: 주소/코드 모델에 Incremental Learning 적용 예정.

그래프 뷰

백링크