Cross-Media Tag Transfer (CMTT): 이미지에서 비디오로 태그 지식 이전

Source

• Evernote/Inbox/Effective transfer tagging from image to video.md

Summary

본 논문은 웹상의 사용자 생성 비디오에 대한 효율적인 검색을 위해, 비디오 자체의 학습 데이터 부족 문제를 해결하고자 한다. 이를 위해 풍부하게 태그된 이미지 데이터를 활용하여 비디오에 의미 있는 키워드를 자동으로 부여하는 ‘Cross-Media Tag Transfer (CMTT)’ 프레임워크를 제안한다. 핵심 기법은 이미지와 비디오 간에 ‘크로스 미디어 터널(cross-media tunnel)‘을 구축하여 이미지의 태그 지식을 비디오로 이전하는 것이다.

Key Points

• 비디오 검색 엔진의 자동 태그 부여 성능 향상을 위한 연구
• 비디오 학습 데이터 부족 문제 해결을 위해 잘 태그된 이미지 데이터 활용
• Cross-Media Tag Transfer (CMTT) 프레임워크 제안
• 이미지에서 비디오로의 지식 이전을 위한 ‘크로스 미디어 터널’ 구축

Related

• TPCKT: Two-Level Progressive Cross-Media Knowledge Transfer

• A Hamming Embedding Kernel with Informative Bag-of-Visual Words for Video Semantic Indexing

• Twitter 기반 YouTube 동영상 추천: 시간 인식 및 개인화

• Interactive Image Tagging을 위한 인간 라벨링 최적화

• 그래프 전파를 통한 개인화 비디오 추천

• Cross-Domain Multi-Event Tracking via CO-PMHT

• Query-Adaptive Image Search With Hash Codes

• Cross-Domain Feature Learning in Multimedia

• Attribute-Augmented Semantic Hierarchy (A2SH) for CBIR

• Discriminative Segment Annotation in Weakly Labeled Video

• 소셜 네트워크에서의 비디오 공유 전파 이해: 측정 및 분석

• Transfer Joint Embedding for Cross-Domain NER

• Image Annotation in Presence of Noisy Labels

• Script-to-Movie: 스크립트 기반 자동 영화 생성 프레임워크

• 다중 특징 분석 및 시맨틱 컨텍스트 학습을 통한 이미지 분류

• K-RBMs를 이용한 다중 비선형 부분공간 학습

• Supervised Robust Discrete Multimodal Hashing (SRDMH)

• Transfer Learning In MIR: Sharing Learned Latent Representations For Music Audio Classification And Similarity

• 시간적 이미지 시퀀스를 위한 최적화된 만화 스토리텔링 시스템

• 정보 기하학을 통한 순수 고차 단어 연관성 마이닝

• Weakly Supervised Learning of Object Segmentations from Web-Scale Video

• A Top-Down Approach for Video Summarization

• 대규모 다중 라벨 전파를 위한 효율적인 희소 그래프 구성

• 대규모 그래프 및 라벨 세트에서의 효율적이고 정확한 라벨 전파

• Sparse Hashing (SH) for Fast Multimedia Search

• Efficient Closed-Form Solution to Generalized Boundary Detection

• Smooth Nonnegative Matrix Factorization for Unsupervised Audiovisual Document Structuring

• 이미지 주석 및 검색을 위한 Feature-Word-Topic 모델

• Social Event Classification via Boosted Multimodal Supervised Latent Dirichlet Allocation

• 3D 객체 검색을 위한 시맨틱 시그니처 학습

• 음성 피드백 고려)

• YouTube 채널 분류를 위한 실용적 시스템

• Feature Ensemble Plus Sample Selection: Domain Adaptation for Sentiment Classification

• 언어 독립적 시간 표현 판별적 파싱 (Language-Independent Discriminative Parsing of Temporal Expressions)

• Active Learning through Adaptive Heterogeneous Ensembling (AHE)

• Latent Mixture of Discriminative Experts (LMDE)

• Fast Near-Duplicate Image Detection Using Uniform Randomized Trees

• Enlisting the Ghost: Modeling Empty Categories for Machine Translation

• Multiprotocol Label Switching (MPLS)

• 다중 모드 특징 표현 및 시간 피라미드 매칭을 통한 콘텐츠 기반 복제 탐지

• 멀티미디어 마이크로블로그의 단어-이미지 연관성 모델링

• 훈련 레이블 정제를 통한 텍스트 분류 정확도 향상

• An Unsupervised Feature Selection Framework for Social Media Data

• Efficient Inference and Structured Learning for Semantic Role Labeling

• Reversible Data Hiding With Optimal Value Transfer

• All Smiles: 얼굴 표정 분석을 통한 자동 사진 보정

• Video Snippets

• Content vs. Context: Video Landmark Retrieval

• Point Representation for Local Optimization: Towards Multi-Dimensional Gray Codes

• 화자 추적 기반 영상 자막 배치 (Speaker-Following Video Subtitles)

• Neighborhood Preserving Codes for Assigning Point Labels: Applications to Stochastic Search

• Spatiotemporal Deformable Part Models for Action Detection

• Fast, Accurate Detection of 100,000 Object Classes on a Single Machine (Technical Supplement)

• 이미지 기반 추천 시스템에서의 정서적 라벨링 (Affective Labeling)

• Recursive Sparse Spatiotemporal Coding

• Patch-Based Image Warping for Content-Aware Retargeting

• Similarity Preserving Feature Selection (SPFS)

• Similarity-based Clustering by Left-Stochastic Matrix Factorization

• Continuous Birdsong Recognition Using Gaussian Mixture Modeling of Image Shape Features

• 예측 모델링에 대한 실용서

• Regularized Latent Semantic Indexing (RLSI): 대규모 토픽 모델링을 위한 새로운 접근법

• 트위터 다면적 토픽 모델링을 위한 사회적 및 보조 의미 통합

• 인터넷 TV를 위한 콘텐츠 및 사회적 관련성 기반 개인화 광고 추천

• CNY 환율 예측

• 실시간 트윗 검색을 위한 블룸 필터 체인(Bloom Filter Chains) 기반 후보 생성

• Classifying with Confidence From Incomplete Test Data

• Efficient Estimation of Word Representations in Vector Space

• 유전 알고리즘(GP)을 활용한 햅틱 기반 서명 인증

• 위키백과 링크 의미소거를 위한 토픽 모델링

• Improved Domain Adaptation for Statistical Machine Translation

• 웹 데이터베이스 검색 결과 자동 주석 처리 (Automatic Annotation of Web Database Search Results)

• 마이크로블로그 스트림의 소셜 이벤트 멀티미디어 요약

• 다중 사용자 생성 영상 기반 미적 가이드 요약 (Aesthetics-Guided Summarization)

• Universal Dependency Annotation for Multilingual Parsing

• 멀티미디어 공유 웹사이트에서의 사회적 영향력 분석 및 적용

• 온라인 소셜 태깅 시스템에서의 소셜 링크 예측

• Unsupervised Spatial Event Detection in Targeted Domains with Applications to Civil Unrest Modeling

• 관계 추출을 위한 원거리 감독에서 지식 베이스의 간극 메우기

• 자동화에 대한 신뢰 (Trust in Automation)

• 대규모 저장소에서의 효율적인 비디오 스트림 모니터링 및 유사 중복 탐지

• DOM 구조 지식 기반 모델을 이용한 반구조화 웹 레코드 강건한 탐지

• Data Enriched Linear Regression

• YouTube 영화 리뷰의 오디오-비주얼 맥락 기반 감정 분석

• Rolling Up Random Variables in Data Cubes

• Incremental Text Indexing for Fast Disk-Based Search

• 심층 신경망을 이용한 통계적 파라미터 음성 합성

• 대형 및 느슨한 커뮤니티의 압축 (Compacting Large and Loose Communities)

• Protecting Sensitive Labels in Social Network Data Anonymization

• Neighbor Selection and Weighting in User-Based Collaborative Filtering: A Performance Prediction Approach

• 음악 컨텍스트 데이터 기반 음악 유사도 및 추천 방법론 조사

• FNED: 소셜 미디어 가짜 뉴스 조기 탐지를 위한 심층 신경망

• 음악 플레이리스트 자동 생성: 서베이 및 실험

• 비디오 검색 결과의 의미론적 계층 구조화

• 인간 동작 분석을 위한 특이값 분해(SVD) 기반 지식 획득 방법

• Entity-Annotation 시스템 벤치마킹 프레임워크

• 대용량 텍스트 컬렉션에서의 효율적 퍼지 검색

• 온라인 리뷰 요약: Starlet 접근법

• Near-duplicate video retrieval: Current research and future trends

• 소셜 미디어 데이터를 활용한 위키백과 문서 지리참조