AncomWiki

Day 471. 2022-10-14

Properties1
description이 노트는 규칙 기반 분류기의 예측 결과를 비교하는 스크립트(`run_compare_result.py`)의 사용법과, 실제 비즈니스 통화 데이터에서 발생한 명백한 False Positive(FP) 사례를 분석한 내용이다. 특히 `<SC>`, `<QD>`, `<AB>` 등의 태그가 문맥을 끊거나 오인식하여 분류 오류를 유발하는 패턴(예: '드*라서' 이후 문장 구조 붕괴)을 지적하고 있다.

36 min read

Day 471. 2022-10-14

Source

  • Field Notes/ReturnZero/Daily Notes/Day 471. 2022-10-14.md

Summary

이 노트는 규칙 기반 분류기의 예측 결과를 비교하는 스크립트(run_compare_result.py)의 사용법과, 실제 비즈니스 통화 데이터에서 발생한 명백한 False Positive(FP) 사례를 분석한 내용이다. 특히 <SC>, <QD>, <AB> 등의 태그가 문맥을 끊거나 오인식하여 분류 오류를 유발하는 패턴(예: ‘드*라서’ 이후 문장 구조 붕괴)을 지적하고 있다.

Key Points

  • 예측 결과 비교 도구: 동일한 TSV 입력에 대해 두 가지 다른 예측 결과(JSON)를 비교하여 클래스별 차이(diff)를 JSON으로 출력하는 스크립트 제공.
  • FP(False Positive) 사례 분석: 비즈니스 통화 데이터에서 규칙 기반 분류기가 잘못 분류한 명확한 예시들을 제시.
  • 오류 원인 가설: 특정 태그(<SC>, <QD>, <AB>)가 삽입되거나 문장 구조가 복잡해짐에 따라 분류 규칙이 오작동하는 현상 관찰 (예: ‘문의드려’ 이후 문맥 손실).
  • 데이터 예시: ‘크레딧 손실’, ‘고발’, ‘보상 문의’ 등 실제 대화 문맥에서 규칙이 의도와 다르게 적용된 사례.

그래프 뷰

백링크