Data Enriched Linear Regression

Source

• Evernote/Papers/Data Enriched Linear Regression.md

Summary

소규모 데이터셋의 예측 성능을 향상시키기 위해, 편향(bias)이 있을 수 있지만 규모가 큰 보조 데이터셋을 활용하는 선형 회귀 방법을 제안합니다. 두 모델 간 예측 차이를 패널티로 부과하여 추정하며, 이는 소지역 추정(small area estimation)의 수축(shrinkage) 방법과 유사합니다. 가우시안 응답 변수에서 계수가 5개 이상이고 오차 자유도가 10 이상일 경우, 편향 크기와 무관하게 소규모 데이터셋만 사용하는 것은 통계적으로 비허용(inadmissible)임을 보였습니다. 패널티 파라미터 튜닝을 위한 플러그인 및 AICc 기반 방법을 제시하며, 주로 L2 패널티를 사용하되 위치(location) 설정에서는 L1 패널티 공식도 유도했습니다.

Key Points

• 소규모 데이터셋 예측 시 대규모(편향 가능) 보조 데이터셋 활용
• 두 모델 간 예측 차이 패널티를 통한 수축(shrinkage) 추정
• 특정 조건(계수≥5, 오차 자유도≥10)에서 소규모 데이터 단독 사용의 비허용성(inadmissibility) 증명
• L2 패널티 중심, 위치 설정 시 L1 패널티 지원
• 페널티 파라미터 튜닝: 플러그인 및 AICc 기반 방법

Related

• Reversible Data Hiding With Optimal Value Transfer

• Information-Theoretic Outlier Detection for Large-Scale Categorical Data

• A Scalable Precision Analysis Framework

• Similarity Preserving Feature Selection (SPFS)

• 대규모 저장소에서의 효율적인 비디오 스트림 모니터링 및 유사 중복 탐지

• Neighborhood Preserving Codes for Assigning Point Labels: Applications to Stochastic Search

• k-Order Statistic Loss 를 활용한 추천 시스템의 Learning to Rank

• Patch-Based Image Warping for Content-Aware Retargeting

• 다양성의 데이터: 공정성 이상의 가치

• Classification of Homogeneous Data With Large Alphabets

• Rolling Up Random Variables in Data Cubes

• Similarity-based Clustering by Left-Stochastic Matrix Factorization

• Query-Adaptive Image Search With Hash Codes

• λ-Diverse Nearest Neighbors Browsing for Multidimensional Data

• iVector-based Acoustic Data Selection

• Fast Near-Duplicate Image Detection Using Uniform Randomized Trees

• 대규모 다중 라벨 전파를 위한 효율적인 희소 그래프 구성

• Classifying with Confidence From Incomplete Test Data

• Point Representation for Local Optimization: Towards Multi-Dimensional Gray Codes

• An Unsupervised Feature Selection Framework for Social Media Data

• Sparse Hashing (SH) for Fast Multimedia Search

• Protecting Sensitive Labels in Social Network Data Anonymization

• Efficient Closed-Form Solution to Generalized Boundary Detection

• 대형 및 느슨한 커뮤니티의 압축 (Compacting Large and Loose Communities)

• 음식점명 군집화를 위한 문자열 유사도 계산 (Cosine Similarity)

• Robust Module-Based Data Management

• 시간적 이미지 시퀀스를 위한 최적화된 만화 스토리텔링 시스템

• Continuous Birdsong Recognition Using Gaussian Mixture Modeling of Image Shape Features

• 대용량 텍스트 컬렉션에서의 효율적 퍼지 검색

• 대규모 희소 네트워크의 커뮤니티 검출을 위한 의사 가능도 방법

• Fast, Accurate Detection of 100,000 Object Classes on a Single Machine (Technical Supplement)

• Moment-Based Spectral Analysis of Large-Scale Networks Using Local Structural Information

• Image Annotation in Presence of Noisy Labels

• Recursive Sparse Spatiotemporal Coding

• A Hamming Embedding Kernel with Informative Bag-of-Visual Words for Video Semantic Indexing

• K-RBMs를 이용한 다중 비선형 부분공간 학습

• Incremental Text Indexing for Fast Disk-Based Search

• Supervised Robust Discrete Multimodal Hashing (SRDMH)

• A Top-Down Approach for Video Summarization

• Cross-Media Tag Transfer (CMTT): 이미지에서 비디오로 태그 지식 이전

• Generalized Optimal Response Time Retrieval of Replicated Data from Storage Arrays

• Social Event Classification via Boosted Multimodal Supervised Latent Dirichlet Allocation

• 다중 특징 분석 및 시맨틱 컨텍스트 학습을 통한 이미지 분류

• 대규모 네트워크에서의 멀웨어 전파 모델

• 3D 객체 검색을 위한 시맨틱 시그니처 학습

• Social-Network-Sourced Big Data Analytics

• Smooth Nonnegative Matrix Factorization for Unsupervised Audiovisual Document Structuring

• Entropic Inequalities and Marginal Problems

• 대규모 그래프 및 라벨 세트에서의 효율적이고 정확한 라벨 전파

• Attribute-Augmented Semantic Hierarchy (A2SH) for CBIR

• Efficient Inference and Structured Learning for Semantic Role Labeling

• Interactive Image Tagging을 위한 인간 라벨링 최적화

• Localized Tensor Completion (LTC) for Network Data Recovery