카프카-스파크 및 인덱스 기술 논의 요약

Source

• Google Keep/a2018-07-19-14-48-27-1.md

Summary

본 문서는 카프카-스파크 연동 시 메시지큐 기능 지원 및 프레임워크 레버리지 방식, 플랫폼 개발 현황, 그리고 인덱스 개발의 정확성과 신뢰성(삼자모델, 자동차 산업 적용 사례 등)에 대한 논의 내용을 기록한 것이다. 또한 해당 과제가 단발성이 아닌 지속성을 가져야 한다는 참관자 의견이 포함되어 있다.

Key Points

• 카프카-스파크 연동 시 메시지큐 기능 및 프레임워크 레버리지 방식 논의
• 플랫폼으로서의 개발 현황 및 데모 사례(회사별 개발물) 검토
• 인덱스 개발의 정확성/신뢰성 논의: 삼자모델(윤태성 교수), 자동차 산업 적용(학생)
• 참관자 의견: 3년 단위 과제가 아닌 지속성 있는 과제 필요성 제기

Related

• Quora 기술 스택 및 아키텍처 분석

• ‘맥락(Context)’ 커뮤니케이션이 필요하다

• 품질을 생각하는 임베디드 소프트웨어 설계 (서평)

• Knapsack Problem 정리 (CANUYES)

• 동일 아키텍처 실시간 시스템의 내결함성 스케줄링

• 지연 민감형 애플리케이션을 위한 다중 사용자 모바일 컴퓨팅 오프로딩 및 전송 스케줄링 메커니즘

• 2014-10-15 기술 뉴스 요약

• Locust 데모 및 아키텍처 논의 (SRPOL)

• 대규모 분산 시스템의 에너지 효율성 향상 기술 조사

• 실시간 분산 미들웨어 표준에 대한 조사

• Checker Architectures Survey

• 분산 네트워크 슬라이싱: 대규모 IoT 및 LoRaWAN 환경에서의 연합 게임 이론 적용

• 종량제 계약 모델 및 엣지 컴퓨팅 스케줄링 논의

• 사이버-물리 시스템(CPS) 침입 탐지 기술 조사

• 분산 가상 환경의 관심사 관리(Iinterest Management)에 대한 서베이

• 개인 연구개발 방향: 분산 컴퓨팅 및 그룹 렌더링

• 분산 환경에서의 검색 확장성 및 클러스터링 역설 연구

• MCC Offloading 연구일지

• SKT, 5G 모바일 엣지 컴퓨팅(MEC) 기술 확산 및 ‘초엣지’ 기술 공개

• 계산 오프로드 문제 (Computation Offloading)

• 분산 웹 UI 및 모바일 클라우드 컴퓨팅 연구 개요

• PyTorch를 이용한 딥러닝 모델의 분산 학습 개요

• 분산 제약 만족 문제 (Decentralized CSP) 솔버

• 분산 엣지 클라우드 (Decentralized Edge Clouds)

• S2S 논문 전개 개요

• 분산 시스템 설계 소개: 마이크로서비스 아키텍처에서의 분할 (CodeProject)

• 시뮬레이션을 활용한 전술 임무용 다중 에이전트 알고리즘 개발

• CDN 부하 분산을 위한 분산 제어 법칙

• 1980 년대 기술 환경에서의 위키백과 가상의 모습

• P2P 환경에서의 분산 컴퓨팅을 위한 탈중앙화 자원 발견 메커니즘

• 브라우저 앙상블을 활용한 분산 컴퓨팅 (WeevilScout)

• 분산 구성 문제의 모델링 및 해결: CSP 기반 접근법

• Run:ai - 쿠버네티스 딥러닝 워크로드 분산 밸런싱

• 대규모 소프트웨어의 정밀한 의존성 추출 도구

• 을미년 2주차 랩 논문 미팅 요약

• QoE 기반 자원 할당 및 수요 조절 메커니즘

• DIP: P2P 라이브 스트리밍의 오염자 분산 식별

• k-원자성 검증 문제 (k-atomicity-verification problem) 연구

• APRICOD: 접근 패턴 기반 분산 캐싱 미들웨어

• TensorTrade SAC 에이전트 디버깅 및 거래 로직 개선

• 조건부 도메인 제약 하의 손실 없는 선택 뷰

• 분산 상호작용 애플리케이션을 위한 클라이언트 할당 최적화

• Dissecting Darknets: Measurement and Performance Analysis

• NDC2017: VAE를 이용한 게임 콘텐츠 생성 기법 연구 사례

• MCC Offloading 연구 진행 상황 및 전략 수정 (2016)

• The Green Abstraction Layer: A Standard Power-Management Interface for Next-Generation Network Devices

• 동맹 환경에서 ISR 자산의 민첩한 임무 할당

• IPFS: 분산 웹의 핵심 개념과 활용

• 클라이언트 유틸리티 시간 계산 로직 검토

• IoT 실시간 애플리케이션을 위한 QoS 및 강건성 기반 자원 프로비저닝

• 네트워크 가상화 환경의 장애 관리: 과제와 해결책

• P2P 기반 시장 유도형 분산 라우팅 메커니즘 (MDR)

• 분산 RESTful 서비스 구성을 위한 제어 흐름 패턴

• DSLabs: 분산 시스템 교육용 모델 체킹 프레임워크

• DART: IoT를 위한 스펙트럼 인식 엣지 컴퓨팅 서비스 배치

• Cloud Federations Economics, Games and Benefits

• 스마트 그리드 예측 모델의 전방위적 평가 지표

• 무선 네트워크 가상화를 위한 확률 게임 프레임워크

• 아카마이, TCP 최적화 기술 ‘패스트TCP’ 공개

• Depth-Image-Based Rendering 기반 모바일 다중 뷰 3D 비디오의 효율적 자원 할당

• 메모리 암호화 기술 조사 (Memory Encryption Survey)

• 페이스북, Torch용 딥러닝 기술 오픈소스 공개

• Xbox One 클라우드 컴퓨팅 아키텍처 및 게임 성능 향상 방안

• D2D 강화 셀룰러 네트워크의 분산 자원 할당

• P2P 네트워크 시뮬레이터의 현황 및 재현성 문제

• G-RCA: 대규모 IP 네트워크를 위한 서비스 품질 관리용 일반화된 근본 원인 분석 플랫폼

• Edge Computing에서의 프라이버시 아키텍처 고려사항

• 엣지 플랫폼을 위한 서비스 정의형 오케스트레이션 접근법

• Edge Computing 최적화 및 가격 계약 문제

• 대규모 MANET을 위한 DHT 기반 라우팅 서베이

• VoD 시스템용 네트워크 인지형 캐싱 프레임워크

• 안상홍 박사 자기소개 및 경력 요약

• 분산 및 효율적인 객체 탐지를 위한 디바이스, 엣지, 클라우드 간 상호작용

• 기술 뉴스 #23 (2015-01-15)

• 엣지-클라우드 하이브리드 시스템의 자원 할당 및 데드라인 모델링 고민

• Clonecloud: 모바일-클라우드 오프로딩 최적화 프레임워크

• 가상화 기술의 역할 및 IEEE Internet Computing 특집호 개요

• 드론을 위한 엣지 기반 실시간 비디오 분석

• Fog Computing 환경의 Object Store 데이터 위치 관리 프로토콜

• GPU 에너지 효율성 분석 및 개선 방법론 조사

• 분산 합의 재검토 (Part I): Paxos 의 일반화 및 안전성 증명

• P2P VoD 환경에서의 복제 알고리즘 분석 (On Replication Algorithm in P2P VoD)

• D2D 통신을 위한 결합 모드 선택 및 자원 할당

• 2014 년 10 월 1 일 기술 뉴스 요약

• MCC 오프로딩: 파셜 오프로딩 및 맥스-민 페어니스 스케줄링

• 오버워치 넷코드 아키텍처: ECS 구조와 서버 중심 설계

• 대규모 분산 음향 모델링 및 백오프 N-그램

• 2014 년 11 월 1 일 기술 뉴스 요약

• 김정윤 박사 세미나: 5G 네트워크 슬라이싱 및 표준화

• Edge-Cloud Video Analytics Computation Offloading Framework

• Algebraic Optimization for Processing Graph Pattern Queries in the Cloud

• Truthful Mobile Crowdsensing for Strategic Users With Private Data Quality

• NFV 기반 엣지 컴퓨팅을 위한 IoT 서비스 프레임워크 (VLH)

• 데이터센터의 그린 에너지 기반 전력 관리 조사

• 사회기술 시스템 프로그래밍을 위한 커밋먼트 기반 인프라

• LTE 및 LTE-Advanced 기반 에너지 효율적 무선 액세스 네트워크 설계

• ERP 시스템의 핵심 성공 요인(CSFs): 지난 10 년간 연구 리뷰

• CloudScale: 다중 테넌트 클라우드 시스템의 탄력적 리소스 스케일링

• 2014-09-15 기술 뉴스 요약

• 트위터, ‘스톰-하둡’ 연동 기술 OSS로 공개

• 엣지 컴퓨팅 주요 오픈소스 프로젝트 (2019)

• TSFS: IoT 스마트홈의 ADL 감지를 위한 통합 이벤트 분할 접근법

• 에너지 수확 네트워크의 유틸리티 최적 스케줄링

• 데이터 분석 및 머신러닝 오픈소스 기술 12종 (2015)

• 구글플러스 기술 FAQ

• 2014 년 6 월 15 일 기술 뉴스 요약

• 무선 메시 네트워크에서의 다중 소스 VoD 스트리밍

• Extending Net-Centricity to Coalition Operations

• CommonBond, P2P 학자금 대출 플랫폼 확장

• AGILE: IaaS용 탄력적 분산 리소스 스케일링

• VoIP 스테고그래피 및 탐지 기술 조사

• 2015년 3월 1일 웹개발 및 IT 기술 뉴스 요약

• 오프라인 웹 애플리케이션 만들기 (Mozilla 웹 기술 블로그)

• Ursa: 클라우드 스토리지 시스템의 확장 가능한 부하 및 전력 관리

• 엣지컴퓨팅 부상과 통신-클라우드 기업 간 전략적 제휴 가속화

• Xunlei Kankan: 하이브리드 CDN-P2P VoD 스트리밍 분석

• Azure Edge Zones: 5G 및 엣지 컴퓨팅 시나리오 지원 (Private Preview)

• FAST CLOUD: 클라우드 스토리지 지연 성능 개선을 위한 코딩 기법

• Eureka: Edge-Based Discovery of Training Data for Machine Learning

• 스마트가전 발표자료 구성 및 기술 방향

• 2014 년 4 월 15 일 기술 뉴스 요약 (Outsider’s Dev Story)

• 크로스 플랫폼 SSO 기술 (Cross-Platform SSO)

• IETF 미러 포럼: CoAP 및 IoT 프로토콜 논의

• 인지 브로드캐스트 채널에서의 사용자 선택 성능 분석

• P2P 그룹 관리 시스템의 개념적 분석

• 대체 돌연변이 하의 DNA 데이터 임베딩 용량

• 인프라 시스템 구성 기본 패턴

• 모바일 엣지-클라우드 네트워크에서의 네트워크 기능 요구사항 기반 작업 오프로딩

• Go 기반 우버식 지도 애니메이션 차량 백엔드 구축

• 동시 제공 IPTV 시스템의 사용자 행동 분석

• 디지털 맵 처리 기술 조사 (A Survey of Digital Map Processing Techniques)

• Google+ Hangouts 기술 아키텍처 및 전망

• HP ‘더 머신(The Machine)’ 및 멤리스터 기술 개요

• P2P 시스템의 유틸리티 최대화 및 화상 회의 적용

• Plug into the Supercloud

• FSR: 안전한 인터도메인 라우팅을 위한 형식 분석 및 구현 툴킷

• A Scalable Precision Analysis Framework

• 엣지컴퓨팅, 자동차산업의 중심으로 떠오르다

• 동적 재구성 가능한 IoT 카메라 가상화를 위한 에지 클라우드 서비스

• 다중 사용자 통신 네트워크를 위한 조정된 다중 팔 슬롯머신 접근법

• P2P VoD 스트리밍 시스템에서 사용자 상호작용의 영향 모델링

• Kubernetes 로드 밸런싱 전략 비교 (L4, L7, Ring Hash, Maglev)

• HTAF: 하이브리드 테스트 자동화 프레임워크

• 분산 Mirror-Prox 최적화를 통한 MEC 네트워크 지연 최소화

• Theseus: 모바일 크라우드 센싱을 위한 데이터 기반 인센티브 메커니즘

• CometCloud: 소프트웨어 정의 연계를 통한 종단간 애플리케이션 워크플로우 지원

• 멀티 액션 게임 소개

• 실시간 데이터 스트리밍 기술 개요