Human Computation Must Be Reproducible
Source
Evernote/Papers/Human Computation Must Be Reproducible.md
Summary
이 논문은 인간 컴퓨팅(Human Computation)의 결과가 유의미하려면 재현성(reproducibility)이 필수적이라고 주장합니다. 사회과학에서 인간을 측정 도구로 사용할 때 재현성이 실험 설계와 평가의 기준이 되듯, 인간 컴퓨팅도 유효성(validity)이나 유용성(utility)을 측정하기 위해서는 최소한 재현성이 보장되어야 합니다. 또한 재현성에 대한 초점은 작업 및 지침 설계와 결과 보고 방식에 중요한 시사점을 제공하며, 초기 작업 이해도와 가이드라인이 종종 재현성을 결여하고 있음을 지적합니다. 따라서 인간 컴퓨팅 작업의 재현성을 보장하고 측정하며 소통하는 것이 필요합니다.
Key Points
- 인간 컴퓨팅의 결과는 재현되어야만 유의미한 정보로 간주될 수 있습니다.
- 유효성이나 유용성을 평가하려면 재현성이 선행 조건입니다.
- 재현성 확보는 작업(task)과 지침(instruction) 설계 및 결과 보고 방식에 영향을 미칩니다.
- 초기 작업 이해도와 가이드라인은 종종 재현성이 부족하므로 이를 검증하고 소통해야 합니다.