데이터 분석 및 머신러닝 오픈소스 기술 12종 (2015)
Source
Evernote/Inbox/‘데이터’를 똑똑하게 만드는 오픈소스 기술 12종.md
Summary
2015년 기준, 데이터 분석, 머신러닝, 실시간 처리, 모니터링 분야에서 주목받던 주요 오픈소스 프로젝트 12종을 소개한 문서입니다. 추천 알고리즘(Seldon, PredictionIO), 데이터 분석(AeroSolve, Pinot, Pulsar), 데이터 파이프라인 관리(Airflow) 등 기업(Airbnb, LinkedIn, eBay 등)에서 개발하거나 오픈소스화한 도구들의 용도와 특징을 설명합니다.
Key Points
문서는 2015년 시점의 오픈소스 생태계를 반영하며, 현재 기술 상태와는 차이가 있을 수 있습니다.
추천 시스템: Seldon(캠브리지대 연구진, 예측 플랫폼), PredictionIO(스칼라 기반, e커머스 템플릿 제공)
데이터 분석/처리: AeroSolve(Airbnb, 가격 예측 및 이미지 분류), Pinot(LinkedIn, 실시간 대규모 분석), Pulsar(eBay, 스트림 프로세싱 및 CEP)
데이터 파이프라인: Airflow(Airbnb, 데이터 워크플로우 관리 및 모니터링)
각 도구들은 Apache 2.0 등 오픈소스 라이선스를 따르며, GitHub에서 소스 코드를 확인할 수 있습니다.
데이터 사이언티스트 면접 질문 66 가지
MIT Technology Review 선정 2013년 돌파구 기술 10선
2012년 비즈니스 및 마케팅 트렌드 예측 자료 12선 (슬라이드쉐어)
비즈니스 방식을 변화시키는 8가지 SaaS 앱 (2013)
프로그래밍 실력 향상을 위한 8 가지 추천 프로젝트
실시간 데이터 스트리밍 기술 개요
Pipelined Workflow Scheduling: Models and Algorithms (Survey)
Facebook, 일부 딥러닝 도구 오픈소스화
페이스북, Torch용 딥러닝 기술 오픈소스 공개
Quora 기술 스택 및 아키텍처 분석
예측 모델링에 대한 실용서
Quora 기술 스택 및 아키텍처 분석 (Phil Whelan)
트위터, ‘스톰-하둡’ 연동 기술 OSS로 공개
LinkedIn SNA 팀 오픈소스 프로젝트 및 연구 자료 아카이브
2014-10-15 기술 뉴스 요약
Buddy.com, 모바일 분석 서비스 진출
기술 뉴스 #23 (2015-01-15)
2014 년 11 월 1 일 기술 뉴스 요약
KamitaniLab DeepImageReconstruction 데이터 및 데모 코드
UC Berkeley BDD100K 데이터셋 공개
다음(Daum)의 빅데이터 전략: 오픈소스 내재화와 데이터 개발자
2014 년 10 월 1 일 기술 뉴스 요약
Howl (소셜러닝 플랫폼) 개요 및 분석 노트
IBM, 인간뇌처럼 연산하는 기술 개발
아카마이, TCP 최적화 기술 ‘패스트TCP’ 공개
Tumblr 아키텍처 분석 (2013)
2014년 3월 15일 기술 뉴스 дайджест (웹개발, IT 업계, 프로젝트)
2014-01-15 기술 뉴스 모음 (Outsider’s Dev Story)
2015년 3월 1일 웹개발 및 IT 기술 뉴스 요약
2014 년 6 월 15 일 기술 뉴스 요약
2014 년 3 월 1 일 기술 뉴스 요약 (웹개발, IT 업계, 업데이트)
2014 년 7 월 2 일 기술 뉴스 요약 (웹개발, IT 업계, 프로젝트)
2014-09-15 기술 뉴스 요약
구루의 기술뉴스: 페이스북의 PHP 사랑과 Hack 언어
2014 년 4 월 15 일 기술 뉴스 요약 (Outsider’s Dev Story)
구글플러스 기술 FAQ
구루의 기술뉴스 80회차: DevOps 문화 및 주요 기술 동향
2014 년 4 월 15 일 기술 뉴스 요약 (웹개발, 보안, 업계 동향)
구루의 기술뉴스: GitHub Atom 에디터 소개 (2014)
2013년 주목할 오픈 소스 프로젝트
스마트가전 발표자료 구성 및 기술 방향
Carrier IQ 개인정보 수집 논란 및 2011년 12월 기술 동향
2013년 10월 기술 분야 추천 읽을거리 (Engadget)
Deview 2020: AI 기술 세션 요약 (폰트, 로봇, TTS)
2013 년 3 월 4 일 업무 및 개인 할 일 목록
2015년 기술 트렌드 요약: 중국 모바일 UI, 구글 계획, 인터넷 패러다임
구루의 기술뉴스 81회차 요약
B급 프로그래머 10월 3주 소식 (2014)
DB)
MIT가 주목한 6대 혁신 기술 (2013)
OCW 및 오픈 교육 자원 목록
AI 벤처기업 투자 열기 (2014)
2013년 자바스크립트 프레임워크 인기 동향 (Caliper Blog)
음성 AI 비즈니스 및 기술 전략 메모 (2021-07)
2012년 1,2월 브라우저 기술 동향
기술 발전에 의한 일자리 소멸과 양극화
크로스 플랫폼 SSO 기술 (Cross-Platform SSO)
신규 웹 서비스 뒷조사 방법론 및 urigit.com 사례 분석
2015년 주목받을 기술 전망 (가트너)
2012 만화 서비스 오픈 후기: 인프라 및 기술 스택
엑소브레인(Exobrain) 프로젝트 개요
O 2013 핵심 요약 및 분석
기술 기업 슬로건의 영향력과 사례 분석
오프라인 웹 애플리케이션 만들기 (Mozilla 웹 기술 블로그)
미래 기술 현실화의 핵심: 시대적 트렌드와 인프라
Popular convention 개발기 참관 후기
카프카-스파크 및 인덱스 기술 논의 요약
Google+ Hangouts 기술 아키텍처 및 전망
페이스북 뉴스피드 알고리즘 변화 분석 (2013-2014)
Popular Convention on Github 프로젝트 회고
러스트(Rust) 1.0 정식 버전 출시 임박 및 프로젝트 현황
DevOps 인터뷰 질문 목록 (B급 프로그래머)
React Navigation V1 출시 준비 및 프로젝트 관리 방향성 (2017)
페이스북 뉴스피드 알고리즘 변화 분석 (2013-2014)
Google SyntaxNet 오픈소스 공개 및 원리
Wise.io: 기업용 머신러닝 서비스 출시
Earth Reader: 오픈소스 로컬 RSS 리더
JSWhiz: JavaScript 메모리 누수 정적 분석 도구
버즈피드 트래픽 시스템 분석 (2014)
데이터 과학 무료 학습 가이드 (10 가지)
머신러닝 입문 학습 로드맵 및 강의 추천
AXA의 머신러닝 기반 보험 가격 최적화 사례
Agentive Tools 및 SAUNa 기술: 다음 인터페이스의 방향
미드 Almost Human으로 엿보는 미래 기술
미래산업을 바꿀 7 대 파괴적 혁신기술