Cross-Domain Feature Learning in Multimedia

Source

• Evernote/Inbox/Cross-Domain Feature Learning in Multimedia.md

Summary

본 논문은 Web 2.0 환경에서 생성된 다중 모달리티(텍스트, 이미지/비디오 등) 및 다중 도메인(Flickr, YouTube 등) 특성을 가진 멀티미디어 데이터의 효과적인 특징 표현을 위해 ‘Cross-Domain Feature Learning (CDFL)’ 알고리즘을 제안합니다. CDFL은 스택드 노이즈 오토인코더(Stacked Denoising Auto-Encoders)를 기반으로 하며, 모달리티 간 상관관계 제약과 도메인 간 제약을 도입하여 서로 다른 모달리티 간의 상관관계를 최대화하고 도메인 불변의 의미적 특징을 동시에 추출합니다. 감정 분류, 스팸 필터링, 이벤트 분류 등 세 가지 응용 분야에 적용하여 제안된 접근법의 성능을 검증했습니다.

Key Points

• 문제 정의: Web 2.0 멀티미디어 데이터의 다중 모달리티 및 다중 도메인 특성으로 인한 효과적인 특징 표현의 어려움
• 제안 방법: 스택드 노이즈 오토인코더 기반의 Cross-Domain Feature Learning (CDFL) 알고리즘
• 핵심 기법: 모달리티 상관관계 제약(Modal Correlation Constraint) 및 도메인 간 제약(Cross-Domain Constraint) 도입
• 목표: 모달리티 간 상관관계 최대화 및 도메인 불변 의미적 특징 추출
• 평가: 감정 분류, 스팸 필터링, 이벤트 분류 응용 분야에서의 성능 검증

Related

• Cross-Domain Multi-Event Tracking via CO-PMHT

• 마이크로블로그 스트림의 소셜 이벤트 멀티미디어 요약

• Social Event Classification via Boosted Multimodal Supervised Latent Dirichlet Allocation

• 위키백과 반달리즘 탐지를 위한 크로스-러닝 (봇 vs 사용자)

• 다중 특징 분석 및 시맨틱 컨텍스트 학습을 통한 이미지 분류

• MOWL: 웹 기반 멀티미디어 애플리케이션을 위한 온톨로지 표현 언어

• Similarity Preserving Feature Selection (SPFS)

• 다중 모드 특징 표현 및 시간 피라미드 매칭을 통한 콘텐츠 기반 복제 탐지

• Cross-Media Tag Transfer (CMTT): 이미지에서 비디오로 태그 지식 이전

• Web browsing behavior analysis and interactive hypervideo

• Transfer Joint Embedding for Cross-Domain NER

• Transfer Learning In MIR: Sharing Learned Latent Representations For Music Audio Classification And Similarity

• Feature Ensemble Plus Sample Selection: Domain Adaptation for Sentiment Classification

• Attribute-Augmented Semantic Hierarchy (A2SH) for CBIR

• Unsupervised Spatial Event Detection in Targeted Domains with Applications to Civil Unrest Modeling

• TPCKT: Two-Level Progressive Cross-Media Knowledge Transfer

• A Hamming Embedding Kernel with Informative Bag-of-Visual Words for Video Semantic Indexing

• Latent Mixture of Discriminative Experts (LMDE)

• Supervised Robust Discrete Multimodal Hashing (SRDMH)

• Discriminative Segment Annotation in Weakly Labeled Video

• Active Learning through Adaptive Heterogeneous Ensembling (AHE)

• K-RBMs를 이용한 다중 비선형 부분공간 학습

• Sparse Hashing (SH) for Fast Multimedia Search

• Weakly Supervised Learning of Object Segmentations from Web-Scale Video

• 음성 피드백 고려)

• 시간적 이미지 시퀀스를 위한 최적화된 만화 스토리텔링 시스템

• A Top-Down Approach for Video Summarization

• Smooth Nonnegative Matrix Factorization for Unsupervised Audiovisual Document Structuring

• An Unsupervised Feature Selection Framework for Social Media Data

• 대규모 그래프 및 라벨 세트에서의 효율적이고 정확한 라벨 전파

• 대규모 다중 라벨 전파를 위한 효율적인 희소 그래프 구성

• Query-Adaptive Image Search With Hash Codes

• Efficient Closed-Form Solution to Generalized Boundary Detection

• Enlisting the Ghost: Modeling Empty Categories for Machine Translation

• 정보 기하학을 통한 순수 고차 단어 연관성 마이닝

• Image Annotation in Presence of Noisy Labels

• Multiprotocol Label Switching (MPLS)

• 언어 독립적 시간 표현 판별적 파싱 (Language-Independent Discriminative Parsing of Temporal Expressions)

• Script-to-Movie: 스크립트 기반 자동 영화 생성 프레임워크

• YouTube 채널 분류를 위한 실용적 시스템

• Interactive Image Tagging을 위한 인간 라벨링 최적화

• 멀티미디어 마이크로블로그의 단어-이미지 연관성 모델링

• 이미지 주석 및 검색을 위한 Feature-Word-Topic 모델

• Efficient Inference and Structured Learning for Semantic Role Labeling

• Video Snippets

• 3D 객체 검색을 위한 시맨틱 시그니처 학습

• Efficient Estimation of Word Representations in Vector Space

• Content vs. Context: Video Landmark Retrieval

• 자동화에 대한 신뢰 (Trust in Automation)

• Spatiotemporal Deformable Part Models for Action Detection

• 화자 추적 기반 영상 자막 배치 (Speaker-Following Video Subtitles)

• Fast Near-Duplicate Image Detection Using Uniform Randomized Trees

• 이미지 기반 추천 시스템에서의 정서적 라벨링 (Affective Labeling)

• 예측 모델링에 대한 실용서

• 심층 피처 합성 (Deep Feature Synthesis) 개요

• Improved Domain Adaptation for Statistical Machine Translation

• Protecting Sensitive Labels in Social Network Data Anonymization

• CNY 환율 예측

• Deep Learning in Speech Synthesis (Google Research Talk)

• Feature Diagram Languages 에서의 관심사 분리: 체계적 문헌 고찰

• Continuous Birdsong Recognition Using Gaussian Mixture Modeling of Image Shape Features

• Recursive Sparse Spatiotemporal Coding

• All Smiles: 얼굴 표정 분석을 통한 자동 사진 보정

• 소셜 미디어 데이터를 활용한 위키백과 문서 지리참조

• 유전 알고리즘(GP)을 활용한 햅틱 기반 서명 인증

• Topsy: 트위터 전량 데이터 검색 서비스

• Point Representation for Local Optimization: Towards Multi-Dimensional Gray Codes

• Fast, Accurate Detection of 100,000 Object Classes on a Single Machine (Technical Supplement)

• Structured Streaming Skeleton (SSS): 온라인 인간 제스처 인식용 새로운 특징 추출 방법

• Semantic content-based recommendation of software services using context

• Neighborhood Preserving Codes for Assigning Point Labels: Applications to Stochastic Search

• Efficient Multiview Maintenance under Insertion in Huge Social Networks

• Rolling Up Random Variables in Data Cubes

• Statistical Approaches to Concept-Level Sentiment Analysis

• Meta-Learning 기반 Instance Selection을 위한 복잡도 측정 지표

• Neighbor Selection and Weighting in User-Based Collaborative Filtering: A Performance Prediction Approach

• A Multimedia Recommender System

• 금융 데이터 모델 교차 검증을 위한 점근적 메타러닝 (Asymptotic Meta Learning)

• A survey of trust in social networks

• Anomaly Extraction in Backbone Networks Using Association Rules

• 다중 사용자 생성 영상 기반 미적 가이드 요약 (Aesthetics-Guided Summarization)

• 훈련 레이블 정제를 통한 텍스트 분류 정확도 향상

• Dynamic Programming in Python: Bayesian Blocks

• Semantic Queries by Example

• Patch-Based Image Warping for Content-Aware Retargeting

• FNED: 소셜 미디어 가짜 뉴스 조기 탐지를 위한 심층 신경망

• 대규모 이질적 멀티미디어 데이터에 대한 정서 컴퓨팅(Affective Computing) 서베이

• Efficient Time-Stamped Event Sequence Anonymization