데이터 분석 및 머신러닝 오픈소스 기술 12종 (2015)

Source

  • Evernote/Inbox/‘데이터’를 똑똑하게 만드는 오픈소스 기술 12종.md

Summary

2015년 기준, 데이터 분석, 머신러닝, 실시간 처리, 모니터링 분야에서 주목받던 주요 오픈소스 프로젝트 12종을 소개한 문서입니다. 추천 알고리즘(Seldon, PredictionIO), 데이터 분석(AeroSolve, Pinot, Pulsar), 데이터 파이프라인 관리(Airflow) 등 기업(Airbnb, LinkedIn, eBay 등)에서 개발하거나 오픈소스화한 도구들의 용도와 특징을 설명합니다.

Key Points

  • 문서는 2015년 시점의 오픈소스 생태계를 반영하며, 현재 기술 상태와는 차이가 있을 수 있습니다.
  • 추천 시스템: Seldon(캠브리지대 연구진, 예측 플랫폼), PredictionIO(스칼라 기반, e커머스 템플릿 제공)
  • 데이터 분석/처리: AeroSolve(Airbnb, 가격 예측 및 이미지 분류), Pinot(LinkedIn, 실시간 대규모 분석), Pulsar(eBay, 스트림 프로세싱 및 CEP)
  • 데이터 파이프라인: Airflow(Airbnb, 데이터 워크플로우 관리 및 모니터링)
  • 각 도구들은 Apache 2.0 등 오픈소스 라이선스를 따르며, GitHub에서 소스 코드를 확인할 수 있습니다.