AncomWiki

WFST 기반 화행 인식(질문/요청/약속) 성능 분석 및 정제 전략

Properties1
descriptionWFST(Wilderness Finite State Transducer) 룰을 보완하여 비즈니스 통화에서 화행(질문, 요청, 약속)을 추출하는 작업의 진행 상황과 고민점을 기록한 일지이다. 질문(question)은 비교적 잘 잡히지만, 요청(request)과 약속(commitment)은 불완전하며, 특히 '중요도'와 '맥락'에 따른 정량적 관리가 핵심 과제임을 지적한다. 단순 키워드 추출보다는 패턴 기반 접근과 고객 정의 키…

26 min read

WFST 기반 화행 인식(질문/요청/약속) 성능 분석 및 정제 전략

Source

  • Field Notes/ReturnZero/Daily Notes/Day 405. 2022-08-09.md

Summary

WFST(Wilderness Finite State Transducer) 룰을 보완하여 비즈니스 통화에서 화행(질문, 요청, 약속)을 추출하는 작업의 진행 상황과 고민점을 기록한 일지이다. 질문(question)은 비교적 잘 잡히지만, 요청(request)과 약속(commitment)은 불완전하며, 특히 ‘중요도’와 ‘맥락’에 따른 정량적 관리가 핵심 과제임을 지적한다. 단순 키워드 추출보다는 패턴 기반 접근과 고객 정의 키워드 지원을 고려하며, KK 및 마이클에게 정답지(ground truth) 제작을 요청했다.

Key Points

  • WFST 룰 보완 중: 구두점 및 suffix 룰 개선 진행.
  • 화행 인식 성능: 질문(question)은 F1 0.85로 양호하나, 요청(request)은 F1 0.80, 약속(commitment)은 F1 0.93으로 편차 존재.
  • 핵심 문제: 단순 추출이 아닌 ‘중요한 화행’ 선별이 어려움. 맥락과 회사 상황에 따라 중요도가 달라지며, 패턴이 명확하지 않음.
  • 전략적 고민: 추출 후 중요 키워드로 정제하는 방식(Vex 제안) vs 초기 단계에서 필터링. 질문은 거시적 인사이트, 요청/약속은 미시적 To-do로 매핑 고려.
  • 다음 단계: KK, 마이클에게 정답지 제작 요청. 고객 정의 키워드(가격, 약속, 제안 등) 지원 기능 검토.
  • 정량적 관리: 전화 통화별 추출량 모니터링 및 모델 성능의 정량적 관리 방안 모색.

그래프 뷰

백링크