AncomWiki

트위터, '스톰-하둡' 연동 기술 OSS로 공개

Properties1
description트위터가 스톰(Storm)과 하둡(Hadoop)을 결합한 스트리밍 맵리듀스 시스템 '서밍버드(Summingbird)'를 오픈소스로 공개했다. 서밍버드는 배치 처리(하둡)와 실시간 스트리밍 처리(스톰)를 단일 시스템 내에서 통합하여 애플리케이션 복잡도를 낮추고 트레이드오프를 완화하는 기술이다. 특히 애그리게이션 작업에 최적화되어 있으며, 트위터의 실시간 트렌드 생성 및 검색 서비스와 같이 실시간 데이터 처리와 대용량 배치 처리…

7 min read

트위터, ‘스톰-하둡’ 연동 기술 OSS로 공개

Source

  • Evernote/IFTTT Feedly/트위터, '스톰-하둡' 연동 기술 OSS로 공개.md

Summary

트위터가 스톰(Storm)과 하둡(Hadoop)을 결합한 스트리밍 맵리듀스 시스템 ‘서밍버드(Summingbird)‘를 오픈소스로 공개했다. 서밍버드는 배치 처리(하둡)와 실시간 스트리밍 처리(스톰)를 단일 시스템 내에서 통합하여 애플리케이션 복잡도를 낮추고 트레이드오프를 완화하는 기술이다. 특히 애그리게이션 작업에 최적화되어 있으며, 트위터의 실시간 트렌드 생성 및 검색 서비스와 같이 실시간 데이터 처리와 대용량 배치 처리가 모두 필요한 환경에서 유용하다. 이 기술은 하둡의 실시간 처리 한계를 보완하기 위한 산업계의 노력 중 하나로 평가된다.

Key Points

  • 트위터가 ‘서밍버드(Summingbird)‘를 오픈소스로 기증함
  • 서밍버드는 하둡(배치)과 스톰(스트리밍)을 통합한 스트리밍 맵리듀스 시스템임
  • 배치와 스트리밍 작업을 단일 시스템에서 처리하여 복잡도 감소 및 트레이드오프 완화
  • 실시간 트렌드 분석 및 검색 등 애그리게이션 작업에 특화됨
  • 하둡의 실시간 처리 한계를 극복하기 위한 기술적 시도임

그래프 뷰