Latent Mixture of Discriminative Experts (LMDE)

Source

• Evernote/Papers/Latent Mixture of Discriminative Experts.md

Summary

본 논문은 다양한 모달리티 간의 시간적 관계를 자동으로 학습할 수 있는 ‘Latent Mixture of Discriminative Experts(LMDE)’ 모델을 제안합니다. 각 모달리티별로 별도의 전문가(expert)를 학습하여 데이터가 제한적일 때도 예측 성능을 향상시킵니다. 청자의 백채널(머리 끄덕임 등) 예측 작업을 통해 검증되었으며, 5가지 다중모달리티 특징(어휘, 구문, 품사, 시각, 운율)의 결합이 중요함을 확인했습니다. 또한 개인별 반응 차이를 고려한 ‘User-adaptive Prediction Accuracy’라는 새로운 평가 지표를 도입하고, $L_1$ 정규화를 활용한 희소 특징 순위 알고리즘을 통해 모델 해석 가능성을 제시합니다.

Key Points

• LMDE 모델 제안: 모달리티 간 시간적 관계 자동 학습
• 데이터 효율성: 모달리티별 독립 학습으로 소량 데이터에서도 성능 향상
• 응용 분야: 청자 백채널(Head nod) 예측
• 다중모달리티 통합: 어휘, 구문, 품사, 시각, 운율 5가지 특징 결합의 중요성 입증
• 새로운 평가 지표: 개인별 반응 차이를 반영한 User-adaptive Prediction Accuracy
• 모델 해석: $L_1$ 정규화를 이용한 희소 특징 순위 알고리즘 제시

Related

• 언어 독립적 시간 표현 판별적 파싱 (Language-Independent Discriminative Parsing of Temporal Expressions)

• Social Event Classification via Boosted Multimodal Supervised Latent Dirichlet Allocation

• Nonlinear Latent Factorization by Embedding Multiple User Interests

• Transfer Learning In MIR: Sharing Learned Latent Representations For Music Audio Classification And Similarity

• 다중 특징 분석 및 시맨틱 컨텍스트 학습을 통한 이미지 분류

• Coordinated Multi-Device Presentations: Ambient-Audio Identification

• Speaker Adaptation of Context Dependent Deep Neural Networks

• Defunctionalized Interpreters for Call-by-Need Evaluation

• Data Enriched Linear Regression

• Weakly Supervised Learning of Object Segmentations from Web-Scale Video

• Target Language Adaptation of Discriminative Transfer Parsers

• Stock Selection Model Based on Machine Learning with Wisdom of Experts and Crowds

• Cross-Domain Feature Learning in Multimedia

• Cross-Domain Multi-Event Tracking via CO-PMHT

• Continuous Birdsong Recognition Using Gaussian Mixture Modeling of Image Shape Features

• Language Modeling Capitalization

• Efficient Estimation of Word Representations in Vector Space

• Image Annotation in Presence of Noisy Labels

• Improved Domain Adaptation for Statistical Machine Translation

• Feature Ensemble Plus Sample Selection: Domain Adaptation for Sentiment Classification

• Transfer Joint Embedding for Cross-Domain NER

• Discriminative Segment Annotation in Weakly Labeled Video

• Active Learning through Adaptive Heterogeneous Ensembling (AHE)

• Supervised Robust Discrete Multimodal Hashing (SRDMH)

• Enlisting the Ghost: Modeling Empty Categories for Machine Translation

• TPCKT: Two-Level Progressive Cross-Media Knowledge Transfer

• Cross-Media Tag Transfer (CMTT): 이미지에서 비디오로 태그 지식 이전

• 심층 신경망을 이용한 통계적 파라미터 음성 합성

• DurIAN_4S: 말하기 데이터로부터 노래 합성 학습

• 음성 피드백 고려)

• Multiprotocol Label Switching (MPLS)

• 시간적 이미지 시퀀스를 위한 최적화된 만화 스토리텔링 시스템

• Efficient Closed-Form Solution to Generalized Boundary Detection

• K-RBMs를 이용한 다중 비선형 부분공간 학습

• Smooth Nonnegative Matrix Factorization for Unsupervised Audiovisual Document Structuring

• Accurate and Compact Large Vocabulary Speech Recognition on Mobile Devices

• A Hamming Embedding Kernel with Informative Bag-of-Visual Words for Video Semantic Indexing

• 자동화에 대한 신뢰 (Trust in Automation)

• 대규모 그래프 및 라벨 세트에서의 효율적이고 정확한 라벨 전파

• Attribute-Augmented Semantic Hierarchy (A2SH) for CBIR

• 예측 모델링에 대한 실용서

• 대규모 다중 라벨 전파를 위한 효율적인 희소 그래프 구성

• Query-Adaptive Image Search With Hash Codes

• A Top-Down Approach for Video Summarization

• Sparse Hashing (SH) for Fast Multimedia Search

• 심층 피처 합성 (Deep Feature Synthesis) 개요

• Universal Dependency Annotation for Multilingual Parsing

• An Unsupervised Feature Selection Framework for Social Media Data

• Recurrent Neural Networks for Voice Activity Detection

• Deep Learning in Speech Synthesis (Google Research Talk)

• Supporting Flexible, Efficient, and User-Interpretable Retrieval of Similar Time Series

• HyperLogLog in Practice: Algorithmic Engineering of a State of The Art Cardinality Estimation Algorithm

• 3D 객체 검색을 위한 시맨틱 시그니처 학습

• SOINN (Self-Organizing Incremental Neural Network)

• 영어 책 코퍼스 기반 시계열 구문 N-그램 데이터셋

• Speech and Natural Language: Where Are We Now And Where Are We Headed

• AGC 및 다중 스타일 학습을 통한 소형 키워드 스포팅

• iVector-based Acoustic Data Selection

• Video Snippets

• Fast, Accurate Detection of 100,000 Object Classes on a Single Machine (Technical Supplement)

• Token and Type Constraints for Cross-Lingual Part-of-Speech Tagging

• Similarity Preserving Feature Selection (SPFS)

• 다중 모드 특징 표현 및 시간 피라미드 매칭을 통한 콘텐츠 기반 복제 탐지

• KamitaniLab DeepImageReconstruction 데이터 및 데모 코드

• 내가 찾은 Deep Learning 공부 최단경로(?)

• A survey of trust in social networks

• Moment-Based Spectral Analysis of Large-Scale Networks Using Local Structural Information

• Language Model Verbalization for Automatic Speech Recognition

• Interactive Image Tagging을 위한 인간 라벨링 최적화

• MOWL: 웹 기반 멀티미디어 애플리케이션을 위한 온톨로지 표현 언어

• 웹 데이터베이스 검색 결과 자동 주석 처리 (Automatic Annotation of Web Database Search Results)

• Facebook, 일부 딥러닝 도구 오픈소스화

• 이미지 주석 및 검색을 위한 Feature-Word-Topic 모델

• 음성 품질 지표의 배경 소음 및 네트워크 열화에 대한 강건성 비교 (VISQOL, PESQ, POLQA)

• Online Estimation of Evolving Human Visual Interest

• 오프라인 아랍어 손글씨 인식 기술 동향 (A Survey)

• YouTube 채널 분류를 위한 실용적 시스템

• Spatiotemporal Deformable Part Models for Action Detection

• Semantic Queries by Example

• Query Reformulation Modeling using Query Distributions

• Efficient Inference and Structured Learning for Semantic Role Labeling

• 베이지언 계산 방법 정리 (Grid Approximation 등)

• Fast Near-Duplicate Image Detection Using Uniform Randomized Trees

• 웹 페이지의 시각적 복잡성 측정 (Measuring the Visual Complexities of Web Pages)