AncomWiki

Omega: 대규모 컴퓨팅 클러스터를 위한 유연하고 확장 가능한 스케줄러

Properties1
description기존의 단일(monolithic) 클러스터 스케줄러 아키텍처는 규모 증가와 빠른 요구사항 변경에 대응하기 어렵습니다. 본 논문은 병렬성, 공유 상태, 그리고 락 없는 낙관적 동시성 제어(lock-free optimistic concurrency control)를 활용하여 이러한 문제를 해결하는 새로운 접근법인 'Omega'를 제시합니다. 실제 Google 프로덕션 워크로드를 기반으로 기존 설계와의 비교, 스케줄러 간 간섭 분…

16 min read

Omega: 대규모 컴퓨팅 클러스터를 위한 유연하고 확장 가능한 스케줄러

Source

  • Evernote/IFTTT Feedly/Omega flexible, scalable schedulers for large compute clusters.md

Summary

기존의 단일(monolithic) 클러스터 스케줄러 아키텍처는 규모 증가와 빠른 요구사항 변경에 대응하기 어렵습니다. 본 논문은 병렬성, 공유 상태, 그리고 락 없는 낙관적 동시성 제어(lock-free optimistic concurrency control)를 활용하여 이러한 문제를 해결하는 새로운 접근법인 ‘Omega’를 제시합니다. 실제 Google 프로덕션 워크로드를 기반으로 기존 설계와의 비교, 스케줄러 간 간섭 분석 및 완화 기법, 그리고 실제 사용 사례를 통해 Omega의 장점을 입증합니다.

Key Points

  • 기존 단일 스케줄러 아키텍처의 확장성 및 기능 배포 속도 한계 지적
  • 병렬성, 공유 상태, 락 없는 낙관적 동시성 제어를 활용한 Omega 아키텍처 제안
  • 실제 Google 프로덕션 워크로드를 통한 성능 평가 및 스케줄러 간 간섭 분석
  • 스케줄러 간 간섭을 완화하는 기법 및 실제 사용 사례 제시

그래프 뷰