일본어 ASR/ITN 개발 및 에이전트 아키텍처 논의 (Day 680)

Source

  • Field Notes/ReturnZero/Daily Notes/Day 680. 2023-05-11.md

Summary

2023-05-11 일지. 일본어 ASR 성능 개선(레반슈타인 거리 기반 얼라인먼트 구현, Code 모델의 숫자/전화번호 인식 오류 분석)과 ITN 테스트 진행. 일본어 에이전트 구축을 위한 E2E 구조에서 고객 주도 추가학습(Fine-tuning)의 실현 가능성과 유지보수 플랜(AWS 환경 활용, 자동화 파이프라인, 평가 기준) 논의. 신한은행(데이터 격리, 온프레임 선호)과 MWW(모던 E2E 자동화 지향)의 요구사항 차이 및 라이센스/모델 관리 이슈 확인.

Key Points

  • 일본어 ASR: 레반슈타인 거리 기반 얼라인먼트 로직 구현 시도 및 기존 알고리즘 검토. Code 모델에서 전화번호/숫자 인식 성능 저하 이슈 발견 (기존 모델 대비).
  • ITN: T4 환경에서의 성능 테스트 및 IAC 코드 작성 진행.
  • 에이전트 아키텍처: E2E 구조 내 고객 주도 추가학습의 용이성 검토. AWS 환경에서의 파인튜닝, 모델 관리, WFST 대체 옵션 논의.
  • 유지보수 및 학습: 연 2회 추가 학습 시나리오, 도메인 데이터(400h) 기반 자동화 파이프라인(k8s job, TRT 변환) 구축 계획. 6월 중순 시험 예정.
  • 고객별 요구사항: 신한은행(데이터 교환 불가로 인한 모델 분리, 온프레임/라이센스 관리 중요) vs MWW(모던 E2E 자동화, 레거시 탈피).
  • 기술적 제약: Kaldi 방식 하위호환성 추가학습 미지원(MWW 정책).