일본어 ITN 테스트 및 데이터 문제 확인

Source

  • Field Notes/ReturnZero/Daily Notes/Day 826. 2023-10-05.md

Summary

2023 년 10 월 5 일 작업 기록으로, 일본어 ITN(Inverse Text Normalization) 결과에서 ‘데이터 문제’가 의심되어 확인 중임. mww_test_0911_kanji 데이터를 사용하여 PRONAIA 온라인 테스트를 실행하고, ITN 모듈을 통해 ‘code’ 도메인 변환 결과를 검증함. 출력 예시 (シーエス-403ディーエイチエックス 2) 를 통해 현재 변환 상태를 점검하고 있음.

Key Points

  • 일본어 ITN 처리 과정에서 데이터 관련 이슈 가능성 확인
  • mww_test_0911_kanji 데이터셋을 활용한 PRONAIA 온라인 테스트 실행
  • ITN 모듈의 ‘code’ 도메인 변환 결과 검증 (예: CS-403DHX2 형태)
  • NFS 경로 조정 및 코드 복사 등 환경 설정 작업 포함