Adaptive Speculative Processing of Out-of-Order Event Streams

Source

• Evernote/IFTTT Feedly/Adaptive Speculative Processing of Out-of-Order Event Streams.md

Summary

분산 이벤트 기반 시스템에서 순서가 바뀐 이벤트(out-of-order) 처리 시 발생하는 지연 및 시스템 과부하 문제를 해결하기 위한 적응형 추측 처리(adaptive speculative processing) 기법을 제안합니다. 기존 버퍼링 방식의 지연 문제와 스트림 수정 방식의 무한 재traction 연쇄 반응을 개선하기 위해, 이벤트 검출기를 캡슐화하고 버퍼링과 부분적 추측 처리를 결합하여 시스템 리소스에 따라 실시간으로 추측 정도를 조절함으로써 검출 지연을 최소화합니다.

Key Points

• 분산 이벤트 기반 시스템에서 순서가 바뀐 이벤트 처리의 두 가지 기존 접근법(버퍼링, 스트림 수정)의 한계 지적
• 버퍼링 방식: 이벤트 순서 정렬로 인한 지연 발생
• 스트림 수정 방식: 무한 재traction 연쇄 반응으로 인한 시스템 과부하 가능성
• 제안된 적응형 추측 처리 기법: 이벤트 검출기 캡슐화, 버퍼링과 부분적 추측 처리 결합
• 런타임 시 시스템 리소스에 따라 추측 정도를 적응적으로 조절하여 검출 지연 최소화

Related

• 스트림 처리 최적화 카탈로그 (A catalog of stream processing optimizations)

• MCEP: 이동성 기반 복합 이벤트 처리 시스템

• Efficient Stream Provenance via Operator Instrumentation

• 지연 허용 비동기 분산 온라인 학습 알고리즘

• 적응형 스트리밍 표현의 최적 선택

• CDN 부하 분산을 위한 분산 제어 법칙

• 지연 민감형 애플리케이션을 위한 다중 사용자 모바일 컴퓨팅 오프로딩 및 전송 스케줄링 메커니즘

• Scheduling in a Random Environment: Stability and Asymptotic Optimality

• Decentralized Fault-Tolerant Event Correlation (FAIDECS)

• 오류 허용 멀티미디어 스트림 처리: 시스템 스택 상단의 가능성

• 인터넷 혼잡 제어기의 버퍼링 동역학 및 안정성

• Cost-Sensitive Decision Tree Induction Algorithms Survey

• Model-Driven Optimization of Opportunistic Routing

• Robust and Energy Efficient Multimedia Systems via Likelihood Processing

• Multi-Armed Recommendation Bandits for Selecting State Machine Policies for Robotic Systems

• M2M 통신에서 무작도 도착 시 처리량 최대화의 기본 원리

• Loose Couplings (IEEE Internet Computing)

• Congestion Control With Multipacket Feedback (BMCC)

• A systematic approach to classify design-time global scheduling techniques

• 이웃 커버리지 기반 확률적 재전송을 통한 MANET 라우팅 오버헤드 감소

• The Tail at Scale

• Reducing Web Latency: the Virtue of Gentle Aggression

• Markov Decision Process Based Energy-Efficient On-Line Scheduling for Slice-Parallel Video Decoders on Multicore Systems

• Context-Aware Nanoscale Modeling of Multicast Multihop Cellular Networks

• Is the Price of Anarchy the Right Measure for Load-Balancing Games

• 전용 네트워크의 선진 대역폭 스케줄링: 복잡도 분석 및 알고리즘 설계

• Beyond 1Mbps Global Overlay Live Streaming: The Case of Proxy Helpers

• ffmpeg + ffserver 오토믹싱 스트리밍 개발 기록

• 무선 네트워크의 기회적 라우팅 (Opportunistic Routing): 모델, 알고리즘 및 분류

• Uplink Multi-Cell Networks에서의 Multiuser Diversity 달성 가능성

• EStreamer: 모바일 스트리밍 에너지 효율화 교차 계층 접근법

• Optimal multiuser spectrum management for digital subscriber lines

• 하드웨어 패러다임 특집 에디토리얼

• 지연 기반 네트워크 유틸리티 최대화 (Delay-Based Network Utility Maximization)

• Socket.IO 사용 시 폴링(Polling) 방식의 오버헤드 주의

• A Framework for Network Aware Caching for Video on Demand Systems - Errata

• ALP: 상수 오버헤드를 가진 적응형 패킷 손실 보호 기법

• Multiuser OFDM 시스템의 Dual Optimization Methods

• Intralayer Network Coding 기반 다중 속도 멀티캐스팅

• Online Graph Edge-Coloring in the Random-Order Arrival Model

• Amplify-and-Forward 릴레이 시스템의 SER 최소화 및 진화 알고리즘 적용

• 광섬유보다 빠른 위성 인터넷 중계기 발사

• GRaTIS: 네트워크 내 무료 비트 활용

• Joint consideration of energy-efficiency and coverage-preservation in microsensor networks

• 인턴십 발표: LB 성능 측정

• IEEE Intelligent Systems 편집장 취임 및 미래 계획

• 가역 회로의 합성과 최적화: 서베이

• 동영상 트랜스코딩 서버의 에너지 절약을 위한 스케줄링

• 다중 네트워크 클라이언트를 위한 왜곡 인식 확장형 비디오 스트리밍

• Developing Parallel Control and Management for Urban Traffic Systems

• Pipelined Workflow Scheduling: Models and Algorithms (Survey)

• MPLS(Multiprotocol Label Switching) 개요

• 지연 시간 및 신뢰성 기반 MEC 워크로드 할당

• 다중 사용자 및 헬퍼가 있는 무선 네트워크를 위한 적응형 비디오 스트리밍

• 인지 무선 메시 네트워크에서의 VOD 스트리밍

• Autonomous spectrum balancing for digital subscriber lines

• Underlay D2D 통신을 위한 모드 선택 및 전력 제어 분석 모델

• Oculus Rift 지연 시간 측정기 사전 주문 개시

• 패킷 네트워크에서의 네트워크 오류 정정 코드 구성

• Generalized Optimal Response Time Retrieval of Replicated Data from Storage Arrays

• 분산 Mirror-Prox 최적화를 통한 MEC 네트워크 지연 최소화

• Spark Streaming 기반 유실 없는 스트림 처리 인프라 구축

• RSS 기반 비장치 위치추적(DFLT)을 위한 지수-레이리 모델

• A Prediction-Based User Selection Framework for Heterogeneous Mobile CrowdSensing

• On Big Data Algorithmics

• Network-Wide Local Unambiguous Failure Localization (NWL-UFL) via Monitoring Trails

• 메모리 분기 감소 기법

• 김정윤 박사 세미나: 5G 네트워크 슬라이싱 및 표준화

• 다중 채널 P2P 라이브 비디오 스트리밍 시스템의 설계 공간 탐색

• Ergodic Sources의 Feed-Forward Rate Distortion 계산 가능 경계

• 다중 사용자 통신 네트워크를 위한 조정된 다중 팔 슬롯머신 접근법

• Edge-Cloud Video Analytics Computation Offloading Framework

• 응용 프로그램 기반 인터넷 가격 책정 접근법 (Application-Driven Pricing)

• 2013년 Gmail 지연 사고 원인: 중복 네트워크 동시 장애

• 제한된 합리성 사용자의 지향점 기반 학습을 통한 네트워크 기술 확산 동역학

• 자율주행차의 사이버-물리적 보안 및 안전: 최적 제어와 다중 팔 슬롯머신 학습의 결합

• xDSL 시스템의 최적 스펙트럼 밸런싱을 위한 효율적 라그랑주 승수 탐색 알고리즘

• 대규모 모바일 크라우드 센싱을 위한 동적 참여자 선택

• Efficient Time-Stamped Event Sequence Anonymization

• 디지털 맵 처리 기술 조사 (A Survey of Digital Map Processing Techniques)

• Peer-Assisted VoD의 서버 대역폭 최소화 모델링 및 분석

• Kubernetes 로드 밸런싱 전략 비교 (L4, L7, Ring Hash, Maglev)

• 다중 카테고리 크라우드소싱: 작업 난이도, 작업자 숙련도 및 의도 고려

• Backward Path Growth for Efficient Mobile Sequential Recommendation

• A survey on concept drift adaptation

• A term-based inverted index partitioning model for efficient distributed query processing

• Eureka: Edge-Based Discovery of Training Data for Machine Learning

• D2D 강화 셀룰러 네트워크의 분산 자원 할당

• Checker Architectures Survey

• Algebraic Optimization for Processing Graph Pattern Queries in the Cloud

• A Model for Context in the Design of Open Production Communities

• Distributed Web Worker 개발 중 Promise 및 이벤트 처리 이슈

• A Scalable Precision Analysis Framework

• 모바일 엣지-클라우드 네트워크에서의 네트워크 기능 요구사항 기반 작업 오프로딩

• 금융 데이터 모델 교차 검증을 위한 점근적 메타러닝 (Asymptotic Meta Learning)

• P2P 기반 시장 유도형 분산 라우팅 메커니즘 (MDR)

• Survey of local algorithms

• Unsupervised Spatial Event Detection in Targeted Domains with Applications to Civil Unrest Modeling

• Two-Hop Wireless Communication Systems의 Effective Capacity 분석

• Truthful Mobile Crowdsensing for Strategic Users With Private Data Quality

• D2D 통신을 위한 결합 모드 선택 및 자원 할당

• 모바일 크라우드센싱의 데이터 신뢰성 및 사용자 프라이버시 보장 방안