온라인 설문에서 응답 옵션 순서가 Running Tally에 미치는 영향

Source

  • Evernote/Inbox/How the Order of Response Options in a Running Tally Can Affect Online Survey Estimates.md

Summary

온라인 설문에서 응답자가 비율을 합산해야 하는 ‘Running Tally’ 방식에서, 항목 제시 순서가 응답 분포에 미치는 영향을 분석한 연구입니다. 연구진은 먼저 제시된 항목에 더 높은 비율이 할당되는 ‘선점 효과(Primacy Effect)‘가 있을 것으로 가정했습니다. 그러나 TV 시청 시간(아침/오후/저녁)을 대상으로 한 실험 결과, 순서에 따른 차이는 매우 미미했으며 통계적으로 유의하지 않았습니다. 이는 TV 시청과 같은 일상적인 활동은 기억에 잘 각인되어 있어 응답이 순서 효과에 덜 민감하기 때문으로 해석됩니다.

Key Points

  • 연구 주제: 온라인 설문에서 Running Tally(누적 합산) 방식의 응답 옵션 순서가 결과에 미치는 영향
  • 가설: 먼저 제시된 항목에 더 높은 비율이 할당되는 선점 효과(Primacy Effect) 존재
  • 실험 방법: 일반 성인 표본을 대상으로 TV 시청 시간(평일/주말, 아침/오후/저녁)의 비율을 순서 회전(Rotation)하여 조사
  • 결과: 순서에 따른 차이가 관찰되었으나 매우 작고 통계적으로 유의미하지 않음
  • 해석: TV 시청과 같은 규칙적이고 일상적인 활동은 기억 인코딩이 잘 되어 있어 순서 효과에 덜 취약함