AncomWiki

대화 발화 병합 및 규칙 기반 분류 파이프라인 설계

Properties1
description구어체 대화에서 패턴이 여러 발화에 걸쳐 분산되어 있는 문제를 해결하기 위해, 시간 인접성과 화자 정보를 기준으로 단편적 발화(Fragment)를 문장 단위로 병합하는 전처리 방식을 제안함. 병합된 문장에 대해 WFST 기반의 아토믹 클래스 분류 및 중요 문장 패턴 검출을 수행한 후, 결과를 다시 발화 단위로 매핑하여 출력하는 전체 파이프라인과 구체적인 규칙 세트를 정의함.

31 min read

대화 발화 병합 및 규칙 기반 분류 파이프라인 설계

Source

  • Field Notes/ReturnZero/Daily Notes/Day 434. 2022-09-07.md

Summary

구어체 대화에서 패턴이 여러 발화에 걸쳐 분산되어 있는 문제를 해결하기 위해, 시간 인접성과 화자 정보를 기준으로 단편적 발화(Fragment)를 문장 단위로 병합하는 전처리 방식을 제안함. 병합된 문장에 대해 WFST 기반의 아토믹 클래스 분류 및 중요 문장 패턴 검출을 수행한 후, 결과를 다시 발화 단위로 매핑하여 출력하는 전체 파이프라인과 구체적인 규칙 세트를 정의함.

Key Points

  • 문제 의식: 구어체/대화 상황에서는 핵심 패턴이 단일 발화가 아닌 여러 발화에 걸쳐 존재할 수 있어, 발화 단위 처리 시 누락 가능성 존재.
  • 전처리 전략: 화자 동일성 및 시간 인접성(5~10초 슬라이딩 윈도우)을 기준으로 단편적 발화들을 하나의 문장으로 병합.
  • 처리 파이프라인: 1) 발화 병합 -> 2) 아토믹 클래스 분류(WFST) -> 3) 중요 문장 패턴 검출(규칙 기반) -> 4) 발화 단위 메타데이터 매핑.
  • 분류 체계: ‘아토믹 클래스’(미래시간, 연락수단, 금액 등 기본 요소)와 이를 조합한 ‘컴포짓 패턴’(일정확정, 금액요구, 언약 등 중요 발화)으로 구성.
  • 출력 형태: 입력 레코드의 발화 단위로 중요 문장 패턴 메타데이터를 부착하여 반환.

그래프 뷰

백링크