AncomWiki

Pay by the Bit: 집단 인간 판단을 위한 정보 이론적 지표

Properties1
description이 논문은 정답이 사전에 알려지지 않은 상황에서 인간 기여자의 판단 성능을 평가하는 방법을 제안합니다. 기여자의 판단이 정답 발견의 엔트로피를 얼마나 감소시키는지를 '점별 상호 정보량(Pointwise Mutual Information)'으로 측정합니다. 이 지표는 정답 자체를 알 필요 없이 사전 확률과 기여자의 조건부 확률만으로 계산 가능하며, 기여자 보상 체계, 판단 수집 효율성 측정, 기여자 스케줄링 최적화 등에 활용될…

7 min read

Pay by the Bit: 집단 인간 판단을 위한 정보 이론적 지표

Source

  • Evernote/Papers/Pay by the Bit An Information-Theoretic Metric for Collective Human Judgment.md

Summary

이 논문은 정답이 사전에 알려지지 않은 상황에서 인간 기여자의 판단 성능을 평가하는 방법을 제안합니다. 기여자의 판단이 정답 발견의 엔트로피를 얼마나 감소시키는지를 ‘점별 상호 정보량(Pointwise Mutual Information)‘으로 측정합니다. 이 지표는 정답 자체를 알 필요 없이 사전 확률과 기여자의 조건부 확률만으로 계산 가능하며, 기여자 보상 체계, 판단 수집 효율성 측정, 기여자 스케줄링 최적화 등에 활용될 수 있습니다.

Key Points

  • 정답이 알려지지 않은 작업에서 인간 기여자의 판단 성능을 정보 이론적 관점에서 평가
  • 기여자의 판단이 정답 엔트로피를 감소시키는 정도를 점별 상호 정보량(PMI)으로 정의
  • 정답을 알지 못해도 사전 확률과 조건부 확률만으로 기대 상호 정보량을 계산 가능
  • 조건부 상호 정보량 등을 통해 기여자 간 상호작용 측정 가능
  • 적용 분야: 기여자 성과 평가 및 인센티브, 판단 수집 프로세스 효율성 측정, 기여자 할당 스케줄링 최적화

그래프 뷰

백링크