Dynamic Time Warping for Music Conducting Gestures Evaluation

Source

  • Evernote/Inbox/Dynamic Time Warping for Music Conducting Gestures Evaluation.md

Summary

초보 지휘자의 기본 지휘 동작(박자 모방 동작)을 평가하기 위한 도구를 제시합니다. RGB-D 카메라로 추적된 손 동작을 분석하여 음악적 박자를 자동 감지하며, 동적 시간 왜곡(DTW) 기반 확률적 프레임워크를 통해 패턴을 인식하고 평가합니다. 주요 기여는 명시적 극대점 없이도 두 동작 간 정렬을 개선하는 새로운 DTW 메트릭 제안과, 왜곡 경로(warping path)에서 직접 시간 정밀도를 추출하여 신뢰도 측정으로 평가하는 것입니다. 실험 결과 기존 접근법보다 분류 성능이 향상되었습니다.

Key Points

  • 초보 지휘자의 기본 지휘 동작(박자 모방) 평가 도구 제안
  • RGB-D 카메라 기반 손 동작 추적 및 음악적 박자 자동 감지
  • 동적 시간 왜곡(DTW) 기반 확률적 프레임워크 활용
  • 명시적 극대점 없이 동작 정렬을 개선하는 새로운 DTW 메트릭 제안
  • 왜곡 경로(warping path)에서 시간 정밀도 직접 추출 및 신뢰도 평가
  • 기존 관련 접근법 대비 분류 성능 향상 확인