데이터 파이프라인 문제점 및 해결 방안
Source
Google Keep/a2019-12-26-19-24-07-1.md
Summary
레코더 데이터의 결측치(mixed type)로 인한 Pandas 처리 오류, Macport 삭제 필요성, 그리고 Arctic 압축으로 인한 MongoDB feature 가시성 부족 문제를 지적함. 이에 Recorder 및 gettickhistory를 참고하여 리플레이어를 직접 구축하는 방향으로 전환.
Key Points
- 레코더 데이터에 ‘none’ 값이 많아 Pandas가 mixed type으로 판단하여 bucketing 실패
- Macport 삭제 계획
- Arctic 압축으로 인해 MongoDB 저장 feature 확인 불가
- 해결책: Recorder 및 gettickhistory 기반 리플레이어 직접 제작