Smooth Nonnegative Matrix Factorization for Unsupervised Audiovisual Document Structuring

Source

• Evernote/Papers/Smooth Nonnegative Matrix Factorization for Unsupervised Audiovisual Document Structuring.md

Summary

본 논문은 비지도 오디오비주얼 문서 구조화를 위한 새로운 패러다임을 제시한다. 특징의 백(bag of features) 표현인 히스토그램 카운트에 대해 Kullback-Leibler 발산을 비용 함수로 사용하고 활성화에 시간적 매끄러움(temporal smoothness) 제약을 가한 새로운 비음수 행렬 분해(NMF) 알고리즘을 제안한다. 이 방법은 시간적으로 겹치는 구조 패턴을 발견하는 데 적합하며, 정치 토론 영상 데이터베이스를 사용하여 시각 및 오디오 모달리티 기반의 화자 구조화 작업에서 은닉 마르코프 모델(HMM) 기반 방법보다 우수한 성능을 보였다. 또한 오디오 화자 diarization 에 대한 잠재력을 입증했다.

Key Points

• 비지도 오디오비주얼 문서 구조화를 위한 새로운 NMF 알고리즘 제안
• 비용 함수로 KL 발산 사용, 활성화에 시간적 매끄러움 제약 적용
• Majorization-minimization 기법으로 해결
• 시간적으로 겹치는 구조 패턴 발견에 적합
• 정치 토론 영상 데이터베이스에서 시각/오디오 화자 구조화 평가
• 기존 HMM 기반 방법 대비 성능 우위 입증
• 오디오 화자 diarization 적용 가능성 제시

Related

• Similarity-based Clustering by Left-Stochastic Matrix Factorization

• Nonlinear Latent Factorization by Embedding Multiple User Interests

• 심층 신경망을 이용한 통계적 파라미터 음성 합성

• vlHMM 기반 컨텍스트 인식 검색

• K-RBMs를 이용한 다중 비선형 부분공간 학습

• 대규모 분산 음향 모델링 및 백오프 N-그램

• Logical Itemset Mining (LISM)

• 움직이며 소리를 내는 객체의 식별 및 분할을 위한 다중모달 분석

• A Hamming Embedding Kernel with Informative Bag-of-Visual Words for Video Semantic Indexing

• Latent Mixture of Discriminative Experts (LMDE)

• A Top-Down Approach for Video Summarization

• 다중 특징 분석 및 시맨틱 컨텍스트 학습을 통한 이미지 분류

• The Intervalgram: 대규모 커버송 인식을 위한 오디오 특징

• 위키백과 링크 의미소거를 위한 토픽 모델링

• 다중 모드 특징 표현 및 시간 피라미드 매칭을 통한 콘텐츠 기반 복제 탐지

• Supervised Robust Discrete Multimodal Hashing (SRDMH)

• Query-Adaptive Image Search With Hash Codes

• Efficient Closed-Form Solution to Generalized Boundary Detection

• 시간적 이미지 시퀀스를 위한 최적화된 만화 스토리텔링 시스템

• 대규모 다중 라벨 전파를 위한 효율적인 희소 그래프 구성

• Attribute-Augmented Semantic Hierarchy (A2SH) for CBIR

• 3D 객체 검색을 위한 시맨틱 시그니처 학습

• Weakly Supervised Learning of Object Segmentations from Web-Scale Video

• Cross-Media Tag Transfer (CMTT): 이미지에서 비디오로 태그 지식 이전

• Sparse Hashing (SH) for Fast Multimedia Search

• Discriminative Segment Annotation in Weakly Labeled Video

• Cross-Domain Feature Learning in Multimedia

• Interactive Image Tagging을 위한 인간 라벨링 최적화

• 언어 독립적 시간 표현 판별적 파싱 (Language-Independent Discriminative Parsing of Temporal Expressions)

• 정보 기하학을 통한 순수 고차 단어 연관성 마이닝

• Transfer Joint Embedding for Cross-Domain NER

• 이미지 주석 및 검색을 위한 Feature-Word-Topic 모델

• Continuous Birdsong Recognition Using Gaussian Mixture Modeling of Image Shape Features

• Spatiotemporal Deformable Part Models for Action Detection

• Fast Near-Duplicate Image Detection Using Uniform Randomized Trees

• YouTube 채널 분류를 위한 실용적 시스템

• Transfer Learning In MIR: Sharing Learned Latent Representations For Music Audio Classification And Similarity

• Point Representation for Local Optimization: Towards Multi-Dimensional Gray Codes

• 음성 피드백 고려)

• Content vs. Context: Video Landmark Retrieval

• 화자 추적 기반 영상 자막 배치 (Speaker-Following Video Subtitles)

• Efficient Estimation of Word Representations in Vector Space

• Efficient Inference and Structured Learning for Semantic Role Labeling

• Neighborhood Preserving Codes for Assigning Point Labels: Applications to Stochastic Search

• Script-to-Movie: 스크립트 기반 자동 영화 생성 프레임워크

• Patch-Based Image Warping for Content-Aware Retargeting

• Video Snippets

• Recursive Sparse Spatiotemporal Coding

• Fast, Accurate Detection of 100,000 Object Classes on a Single Machine (Technical Supplement)

• Active Learning through Adaptive Heterogeneous Ensembling (AHE)

• 대규모 저장소에서의 효율적인 비디오 스트림 모니터링 및 유사 중복 탐지

• Social Event Classification via Boosted Multimodal Supervised Latent Dirichlet Allocation

• Image Annotation in Presence of Noisy Labels

• Reversible Data Hiding With Optimal Value Transfer

• Regularized Latent Semantic Indexing (RLSI): 대규모 토픽 모델링을 위한 새로운 접근법

• Cross-Domain Multi-Event Tracking via CO-PMHT

• 대규모 그래프 및 라벨 세트에서의 효율적이고 정확한 라벨 전파

• Rolling Up Random Variables in Data Cubes

• TPCKT: Two-Level Progressive Cross-Media Knowledge Transfer

• Incremental Text Indexing for Fast Disk-Based Search

• Effective and Robust Query-Based Stemming

• 불신 정보를 활용한 사회적 추천 시스템 (Matrix Factorization)

• Recurrent Neural Networks for Voice Activity Detection

• Feature Ensemble Plus Sample Selection: Domain Adaptation for Sentiment Classification

• 다중 Kinect 기반 실시간 3D 재구성

• 모바일 음성 검색을 위한 Google 쿼리 스트림의 언어 모델링 경험적 탐색

• 대용량 텍스트 컬렉션에서의 효율적 퍼지 검색

• YouTube 영상 음향 분석을 통한 유망 음악가 자동 발견

• 다중 사용자 생성 영상 기반 미적 가이드 요약 (Aesthetics-Guided Summarization)

• Data Enriched Linear Regression

• 유전 알고리즘(GP)을 활용한 햅틱 기반 서명 인증

• iVector-based Acoustic Data Selection

• 훈련 레이블 정제를 통한 텍스트 분류 정확도 향상

• Unsupervised Spatial Event Detection in Targeted Domains with Applications to Civil Unrest Modeling

• An Unsupervised Feature Selection Framework for Social Media Data

• Similarity Preserving Feature Selection (SPFS)

• All Smiles: 얼굴 표정 분석을 통한 자동 사진 보정