AncomWiki

Approximate Recall Confidence Intervals

Properties1
description이 논문은 정보 검색(IR)에서 리콜(Recall) 신뢰구간을 추정하는 방법을 분석한다. 특히 법률, 특허, 의료 등 대규모 문서 집합에서 무작위 표본을 통해 리콜을 추정할 때, 기존에 사용되던 정규 근사(Normal approximation) 방법이 많은 상황에서 신뢰구간 포함률(coverage)이 낮고 부적절한 대칭성을 보임을 지적한다. 이에 대해 이항분포의 비율(ratio of binomials)을 기반으로 한 해석적(…

6 min read

Approximate Recall Confidence Intervals

Source

  • Evernote/Papers/Approximate Recall Confidence Intervals.md

Summary

이 논문은 정보 검색(IR)에서 리콜(Recall) 신뢰구간을 추정하는 방법을 분석한다. 특히 법률, 특허, 의료 등 대규모 문서 집합에서 무작위 표본을 통해 리콜을 추정할 때, 기존에 사용되던 정규 근사(Normal approximation) 방법이 많은 상황에서 신뢰구간 포함률(coverage)이 낮고 부적절한 대칭성을 보임을 지적한다. 이에 대해 이항분포의 비율(ratio of binomials)을 기반으로 한 해석적(Analytic) 및 베이지안(Bayesian) 방법이 일반적으로 더 정확하지만, 모집단이 작을 때는 부정확할 수 있음을 발견했다.

Key Points

  • 대규모 문서 집합에서 리콜 추정을 위한 무작위 표본 기반 방법의 신뢰성 평가 필요성 제기
  • 기존 정규 근사(Normal approximation) 방법의 한계: 많은 상황에서 신뢰구간 포함률이 낮고 대칭성 보정에도 불구하고 부정확함
  • 이항분포 비율 기반의 해석적 및 베이지안 방법이 일반적으로 더 정확함
  • 소규모 모집단에서는 이항분포 기반 방법도 부정확할 수 있음

그래프 뷰

백링크