구글 연구진은 리소스 집약적인 사용자 실험을 대체할 수 있는 'Remulation' 기법과 이를 구현한 평가 도구 'Octopus'를 제안합니다. Octopus는 과거 사용자 연구 데이터를 실시간으로 시뮬레이션하여, 알고리즘 변경의 영향을 효율적으로 측정하고 검토했습니다. 이 도구는 소스 코드 접근이 불가능한 서드파티 키보드도 '블랙박스' 방식으로 평가할 수 있으며, 터치 키보드와 워드 제스처 키보드 모두 지원됩니다. 또한…
7 min read
Octopus: 터치스크린 키보드 알고리즘 평가 도구
Source
Evernote/IFTTT Feedly/Octopus Evaluating Touchscreen Keyboard Correction and Recognition Algorithms via “Remulation”.md
Summary
구글 연구진은 리소스 집약적인 사용자 실험을 대체할 수 있는 ‘Remulation’ 기법과 이를 구현한 평가 도구 ‘Octopus’를 제안합니다. Octopus는 과거 사용자 연구 데이터를 실시간으로 시뮬레이션하여, 알고리즘 변경의 영향을 효율적으로 측정하고 검토했습니다. 이 도구는 소스 코드 접근이 불가능한 서드파티 키보드도 ‘블랙박스’ 방식으로 평가할 수 있으며, 터치 키보드와 워드 제스처 키보드 모두 지원됩니다. 또한 단어 수준의 정확도를 측정하기 위한 두 가지 새로운 지표인 RER(Ratio of Error Reduction)와 Word Score 를 제안했습니다.
Key Points
Remulation: 기존 사용자 연구 데이터를 실시간 온디바이스 시뮬레이션으로 복제하여 키보드 교정 및 인식 알고리즘을 평가하는 방법론
Octopus: Remulation을 구현한 평가 도구로, 고비용 사용자 실험 없이 알고리즘 변경의 영향을 효율적으로 측정
블랙박스 평가: 알고리즘이나 소스 코드에 접근하지 않고도 서드파티 키보드를 평가 가능
지원 범위: 터치 키보드 및 워드 제스처 키보드 모두 평가 가능
새로운 지표: 단어 수준 정확도 측정을 위한 RER(Ratio of Error Reduction) 및 Word Score 제안