Entropic Inequalities and Marginal Problems

Source

• Evernote/Papers/Entropic Inequalities and Marginal Problems.md

Summary

이 논문은 주어진 주변 분포(marginal distributions)가 어떤 결합 분포(joint distribution)에서 유래하는지 묻는 ‘주변 문제(marginal problem)‘를 정보 이론적 관점에서 다룹니다. 결합 분포의 존재는 주변 분포들의 섀넌 엔트로피(Shannon entropy)에 대해 비자명한 부등식(entropic inequalities)을 부과하며, 이는 결합 분포 존재의 필요조건입니다. 이러한 부등식은 푸리에-모츠킨 소거법(Fourier-Motzkin elimination)을 통해 계산할 수 있으며, 관련 소프트웨어 인터페이스를 제공합니다. 사이클 그래프(cycle graph) 형태의 하이퍼그래프에 대해서는 완전한 해석적 해를 제시하고, 이를 확률 과정의 상관관계 감쇠(correlation decay)의 경계 설정에 적용합니다. 또한, 연속 변수의 경우 미분 엔트로피에 대한 섀넌형 부등식은 관련성이 없으며, 이산 및 연속 경우 모두 비섀넌형(non-Shannon-type) 부등식이 필요함을 보입니다. 이 프레임워크는 그래픽 모델과 같은 조건부 독립성 요구사항이 있는 상황에도 쉽게 적용 가능합니다.

Key Points

• 주변 문제(marginal problem)에서 결합 분포 존재는 주변 분포의 엔트로피에 대한 부등식을 필요로 함.
• 푸리에-모츠킨 소거법을 통해 섀넌형 엔트로피 부등식 계산 가능.
• 사이클 그래프 구조에 대한 완전한 해석적 분류 및 상관관계 감쇠 경계 적용.
• 연속 변수 주변 문제에서는 섀넌형 부등식보다 비섀넌형 부등식이 중요함.
• 조건부 독립성(그래픽 모델 등)이 있는 경우에도 확장 가능한 일반 프레임워크 제공.

Related

• 최소 일관 부분집합 커버 문제 (MCSC): 데이터 마이닝의 최소화 관점

• 분산 환경에서의 검색 확장성 및 클러스터링 역설 연구

• 무선 센서 네트워크 최적 배치 패턴의 변이 현상

• Streaming Balanced Graph Partitioning for Random Graphs

• Moment-Based Spectral Analysis of Large-Scale Networks Using Local Structural Information

• Rolling Up Random Variables in Data Cubes

• 소셜 기반 멀티미디어 콘텐츠 분산 프레임워크

• Information-Theoretic Outlier Detection for Large-Scale Categorical Data

• 가시성 그래프의 미해결 문제들 (Unsolved problems in visibility graphs)

• 데이터 공급망의 투명성과 신뢰성

• 대규모 희소 네트워크의 커뮤니티 검출을 위한 의사 가능도 방법

• 대규모 네트워크에서의 멀웨어 전파 모델

• Classification of Homogeneous Data With Large Alphabets

• Approximation Algorithms for the Directed k-Tour and k-Stroll Problems

• Anomaly Extraction in Backbone Networks Using Association Rules

• 중첩 커뮤니티 탐지 알고리즘 비교 연구 요약

• Protecting Sensitive Labels in Social Network Data Anonymization

• 대형 및 느슨한 커뮤니티의 압축 (Compacting Large and Loose Communities)

• GRE 모델: 무작위 도로 네트워크 모델 및 모바일 DTN 토폴로지 특성 영향

• Robust Localization From Incomplete Local Information

• Hoeffding 경계 기반 온라인 및 비모수 드리프트 탐지 방법

• 신뢰 전파를 통한 신뢰 예측 (Trust Prediction via Belief Propagation)

• 불신 모델링: 확장된 구조적 균형 이론

• 온라인 소셜 네트워크 샘플링 알고리즘

• Classifying with Confidence From Incomplete Test Data

• Image Annotation in Presence of Noisy Labels

• Efficient Multiview Maintenance under Insertion in Huge Social Networks

• Revealing the City That We Cannot See

• 동적 스타 네트워크에서 다중 유형 객체의 공진화 (Co-Evolution of Multi-Typed Objects in Dynamic Star Networks)

• LBSN에서 다중모드 하이퍼그래프를 활용한 커뮤니티 탐지 및 프로파일링

• A survey of trust in social networks

• 불신 전파 및 대상 차별화

• 문제 - 일렬 연결망

• 멀티미디어 공유 웹사이트에서의 사회적 영향력 분석 및 적용

• Data Enriched Linear Regression

• An Unsupervised Feature Selection Framework for Social Media Data

• 게임 이론을 통한 테러 네트워크 격파