Algebraic Optimization for Processing Graph Pattern Queries in the Cloud

Source

• Evernote/Papers/Algebraic Optimization for Processing Graph Pattern Queries in the Cloud.md

Summary

대규모 데이터 처리 표준인 MapReduce(Hadoop)는 시맨틱 웹 처리에서 일반적인 조인 집약적 워크로드에 한계가 있다. 본 문서는 Nested TripleGroup Data Model 및 대수(NTGA) 기반의 대수적 최적화 접근법을 소개하며, 이는 MapReduce 사이클 수를 줄여 전체 처리 비용을 최소화한다. 또한 Apache Pig에 NTGA 기반 그래프 패턴 쿼리 처리를 통합하는 방법과 관계형 스타일 대수 연산자를 사용한 실행 계획과의 비교를 제시한다.

Key Points

• MapReduce 플랫폼은 시맨틱 웹의 조인 집약적 워크로드 처리에 한계가 있음.
• Nested TripleGroup Data Model 및 대수(NTGA)를 활용한 대수적 최적화 제안.
• MapReduce 사이클 감소를 통한 전체 처리 비용 최소화.
• Apache Pig와의 통합 및 관계형 대수 연산자 기반 실행 계획과의 비교 분석.

Related

• Fast Data Processing with Spark (도서 소개)

• Edge-Cloud Video Analytics Computation Offloading Framework

• 분산 엣지 클라우드 (Decentralized Edge Clouds)

• Peer-Assisted VoD의 서버 대역폭 최소화 모델링 및 분석

• Fluent 2016 - 그래프 이론을 활용한 추천 엔진 구축

• Clonecloud: 모바일-클라우드 오프로딩 최적화 프레임워크

• 분산 상호작용 애플리케이션을 위한 클라이언트 할당 최적화

• Pipelined Workflow Scheduling: Models and Algorithms (Survey)

• Science in the Cloud

• Read-Performance Optimization for Deduplication-Based Storage Systems in the Cloud

• 지연 민감형 애플리케이션을 위한 다중 사용자 모바일 컴퓨팅 오프로딩 및 전송 스케줄링 메커니즘

• Cost-Aware Cloud Bursting for Enterprise Applications

• Online Graph Edge-Coloring in the Random-Order Arrival Model

• 종량제 계약 모델 및 엣지 컴퓨팅 스케줄링 논의

• Cloud Federations Economics, Games and Benefits

• Edge Computing 최적화 및 가격 계약 문제

• 계산 오프로드 문제 (Computation Offloading)

• MCC Offloading 연구일지

• Context Awareness as a Service for Cloud Resource Optimization

• 엣지-클라우드 하이브리드 시스템의 자원 할당 및 데드라인 모델링 고민

• 클라이언트 유틸리티 시간 계산 로직 검토

• FAST CLOUD: 클라우드 스토리지 지연 성능 개선을 위한 코딩 기법

• Xbox One 클라우드 컴퓨팅 아키텍처 및 게임 성능 향상 방안

• Economic Model-Driven Cloud Service Composition

• MCC 오프로딩: 파셜 오프로딩 및 맥스-민 페어니스 스케줄링

• MCC Offloading 연구 진행 상황 및 전략 수정 (2016)

• Eureka: Edge-Based Discovery of Training Data for Machine Learning

• Verifying Cloud Services: Present and Future

• 분산 및 효율적인 객체 탐지를 위한 디바이스, 엣지, 클라우드 간 상호작용

• Toward Portable Cloud Manufacturing Services

• Interconnected Cloud Computing Environments: Challenges, Taxonomy, and Survey

• Ursa: 클라우드 스토리지 시스템의 확장 가능한 부하 및 전력 관리

• Cloud Pricing Models Taxonomy, Survey, and Interdisciplinary Challenges

• AGILE: IaaS용 탄력적 분산 리소스 스케일링

• 동맹 환경에서 ISR 자산의 민첩한 임무 할당

• Edge Computing에서의 프라이버시 아키텍처 고려사항

• Azure Edge Zones: 5G 및 엣지 컴퓨팅 시나리오 지원 (Private Preview)

• CloudScale: 다중 테넌트 클라우드 시스템의 탄력적 리소스 스케일링

• Plug into the Supercloud

• 삼성 클라우드 플랫폼 개요

• NVIDIA GRID 클라우드 게이밍 오픈 베타 (2013)

• CometCloud: 소프트웨어 정의 연계를 통한 종단간 애플리케이션 워크플로우 지원

• 안상홍 박사 자기소개 및 경력 요약

• 엣지 플랫폼을 위한 서비스 정의형 오케스트레이션 접근법

• CSB(Cloud Services Brokerage)의 필요성과 역할

• Cloud Computing: Survey on Energy Efficiency

• DepSky: Cloud-of-Clouds 기반의 신뢰성 및 보안 강화 저장 시스템

• 엣지컴퓨팅, 자동차산업의 중심으로 떠오르다

• EventWave: 긴밀하게 결합된 탄력적 클라우드 애플리케이션을 위한 프로그래밍 모델 및 런타임 지원

• SKT, 5G 모바일 엣지 컴퓨팅(MEC) 기술 확산 및 ‘초엣지’ 기술 공개

• 동적 재구성 가능한 IoT 카메라 가상화를 위한 에지 클라우드 서비스

• 클라우드 구축 및 운영에 필요한 IT 기술직 6선

• HTAF: 하이브리드 테스트 자동화 프레임워크

• 드론을 위한 엣지 기반 실시간 비디오 분석

• 오버워치 넷코드 아키텍처: ECS 구조와 서버 중심 설계

• PRESS: 클라우드 시스템용 예측 기반 탄력적 자원 스케일링

• 엣지컴퓨팅 부상과 통신-클라우드 기업 간 전략적 제휴 가속화

• TensorTrade SAC 에이전트 디버깅 및 거래 로직 개선

• Augmented Intelligence (증강 지능)

• AXA의 머신러닝 기반 보험 가격 최적화 사례

• 개인 연구개발 방향: 분산 컴퓨팅 및 그룹 렌더링

• Kubernetes 로드 밸런싱 전략 비교 (L4, L7, Ring Hash, Maglev)

• 지연 허용 비동기 분산 온라인 학습 알고리즘

• Casebook: 사례 관리를 위한 클라우드 기반 참여 시스템

• S2S 논문 전개 개요

• 분산 웹 UI 및 모바일 클라우드 컴퓨팅 연구 개요

• 모바일 엣지-클라우드 네트워크에서의 네트워크 기능 요구사항 기반 작업 오프로딩

• 응용 프로그램 기반 인터넷 가격 책정 접근법 (Application-Driven Pricing)

• QoE 기반 자원 할당 및 수요 조절 메커니즘

• 카카오 개발자가 본 ‘요즘 클라우드 흐름’ 세 가지

• 엣지 컴퓨팅 주요 오픈소스 프로젝트 (2019)

• 클라우드 환경에 부합하는 앱 모빌리티 확보 방안

• 지연 시간 및 신뢰성 기반 MEC 워크로드 할당

• Burst: 더 나은 파라미터화된 테스트 프레임워크

• MCEP: 이동성 기반 복합 이벤트 처리 시스템

• Sequential Pattern Mining: Approaches and Algorithms

• 대규모 모바일 크라우드 센싱을 위한 동적 참여자 선택

• The Datacenter as a Computer (2nd Ed.) - 핵심 요약

• 분산 제약 만족 문제 (Decentralized CSP) 솔버

• 을미년 2주차 랩 논문 미팅 요약

• 클라우드 컴퓨팅이 계산 과학에 가져오는 변화와 주의사항

• 모바일 데이터 오프로딩: WiFi의 실제 기여도 분석

• 시뮬레이션을 활용한 전술 임무용 다중 에이전트 알고리즘 개발

• A Model for Context in the Design of Open Production Communities

• 하모닉 멀티캐스트 기반 캐시 할당 최적화 전략

• A Scalable Precision Analysis Framework

• 미군 생체정보 클라우드 저장 및 관련 쟁점

• 분산 네트워크 슬라이싱: 대규모 IoT 및 LoRaWAN 환경에서의 연합 게임 이론 적용

• 분산 Mirror-Prox 최적화를 통한 MEC 네트워크 지연 최소화

• DART: IoT를 위한 스펙트럼 인식 엣지 컴퓨팅 서비스 배치

• ALP: 상수 오버헤드를 가진 적응형 패킷 손실 보호 기법

• 아카마이, TCP 최적화 기술 ‘패스트TCP’ 공개

• 인턴십 발표: LB 성능 측정

• 카프카-스파크 및 인덱스 기술 논의 요약

• Byzantine-Resistant DHTs에서의 실용적 통신 프로토콜

• Go 기반 우버식 지도 애니메이션 차량 백엔드 구축

• 에너지 수확 네트워크의 유틸리티 최적 스케줄링

• P2P VoD 환경에서의 복제 알고리즘 분석 (On Replication Algorithm in P2P VoD)

• Scheduling in a Random Environment: Stability and Asymptotic Optimality

• 클라우드 서비스 비용 분석 및 AWS 사용 팁 (2012)

• D2D 통신을 위한 결합 모드 선택 및 자원 할당

• Model-Driven Optimization of Opportunistic Routing

• 대체 돌연변이 하의 DNA 데이터 임베딩 용량

• 이웃 커버리지 기반 확률적 재전송을 통한 MANET 라우팅 오버헤드 감소

• CDN 부하 분산을 위한 분산 제어 법칙

• A Prediction-Based User Selection Framework for Heterogeneous Mobile CrowdSensing

• 사회기술 시스템 프로그래밍을 위한 커밋먼트 기반 인프라

• The Tail at Scale

• k-원자성 검증 문제 (k-atomicity-verification problem) 연구

• Network-Wide Local Unambiguous Failure Localization (NWL-UFL) via Monitoring Trails

• 일관된 멀티스트림 스토리지의 대역폭 효율성 개선 (Wasteless Journaling)

• 동영상 트랜스코딩 서버의 에너지 절약을 위한 스케줄링

• IoT 실시간 애플리케이션을 위한 QoS 및 강건성 기반 자원 프로비저닝

• Theseus: 모바일 크라우드 센싱을 위한 데이터 기반 인센티브 메커니즘

• Oculus Rift 지연 시간 측정기 사전 주문 개시

• Decentralized Fault-Tolerant Event Correlation (FAIDECS)

• Adaptive Speculative Processing of Out-of-Order Event Streams

• NDC2017: VAE를 이용한 게임 콘텐츠 생성 기법 연구 사례

• NFV 기반 엣지 컴퓨팅을 위한 IoT 서비스 프레임워크 (VLH)

• 네트워크 가상화 환경의 장애 관리: 과제와 해결책

• Social-Network-Sourced Big Data Analytics

• 분산 가상 환경의 관심사 관리(Iinterest Management)에 대한 서베이

• 동일 아키텍처 실시간 시스템의 내결함성 스케줄링

• VoD 시스템용 네트워크 인지형 캐싱 프레임워크

• HyperLogLog in Practice: Algorithmic Engineering of a State of The Art Cardinality Estimation Algorithm

• Privacy- and Integrity-Preserving Range Queries in Sensor Networks

• 디지털 맵 처리 기술 조사 (A Survey of Digital Map Processing Techniques)

• Socket.IO 사용 시 폴링(Polling) 방식의 오버헤드 주의

• 다중 사용자 통신 네트워크를 위한 조정된 다중 팔 슬롯머신 접근법

• Depth-Image-Based Rendering 기반 모바일 다중 뷰 3D 비디오의 효율적 자원 할당

• Efficient Stream Provenance via Operator Instrumentation

• 실시간 분산 미들웨어 표준에 대한 조사