Weakly Supervised Learning of Object Segmentations from Web-Scale Video

Source

• Evernote/Papers/Weakly Supervised Learning of Object Segmentations from Web-Scale Video.md

Summary

이 논문은 사전 학습된 객체 탐지기를 사용하지 않고, 노이즈가 있을 수 있는 태그가 붙은 대규모 YouTube 영상(약 20,000개)을 통해 객체의 픽셀 레벨 분할(segmentation)을 학습하는 방법을 제안합니다. 공간-시간적 세그먼트에 대한 약하게 지도된 분류기를 학습하여 객체 시드를 추출한 후, Graphcuts를 통해 정밀한 객체 마스크를 생성합니다. 50,000 프레임의 ground truth 데이터셋으로 평가한 결과, 웹 스케일 영상만으로도 양질의 객체 마스크를 자동으로 추출할 수 있음을 확인했습니다.

Key Points

• 사전 학습된 객체 탐지기 없이 약한 라벨(태그)만으로 픽셀 레벨 객체 분할 학습
• 공간-시간적 세그먼트 기반 분류기 학습 및 Graphcuts 기반 마스크 정제
• 20,000개 YouTube 영상(15 클래스) 학습 및 50,000 프레임 ground truth로 검증
• 웹 스케일 영상 데이터만으로도 자동 객체 마스크 추출 가능함 입증

Related

• Discriminative Segment Annotation in Weakly Labeled Video

• Fast, Accurate Detection of 100,000 Object Classes on a Single Machine (Technical Supplement)

• A Top-Down Approach for Video Summarization

• DOM 구조 지식 기반 모델을 이용한 반구조화 웹 레코드 강건한 탐지

• Nonlinear Latent Factorization by Embedding Multiple User Interests

• TRECVID 기반 콘텐츠 기반 비디오 복사 탐지 벤치마킹

• Query-Adaptive Image Search With Hash Codes

• YouTube 채널 분류를 위한 실용적 시스템

• Recursive Sparse Spatiotemporal Coding

• Latent Mixture of Discriminative Experts (LMDE)

• A Hamming Embedding Kernel with Informative Bag-of-Visual Words for Video Semantic Indexing

• Stock Selection Model Based on Machine Learning with Wisdom of Experts and Crowds

• Image Annotation in Presence of Noisy Labels

• Video Snippets

• Spatiotemporal Deformable Part Models for Action Detection

• 웹 데이터베이스 검색 결과 자동 주석 처리 (Automatic Annotation of Web Database Search Results)

• 시간적 이미지 시퀀스를 위한 최적화된 만화 스토리텔링 시스템

• Supervised Robust Discrete Multimodal Hashing (SRDMH)

• Cross-Media Tag Transfer (CMTT): 이미지에서 비디오로 태그 지식 이전

• 언어 독립적 시간 표현 판별적 파싱 (Language-Independent Discriminative Parsing of Temporal Expressions)

• 다중 특징 분석 및 시맨틱 컨텍스트 학습을 통한 이미지 분류

• Cross-Domain Feature Learning in Multimedia

• K-RBMs를 이용한 다중 비선형 부분공간 학습

• Sparse Hashing (SH) for Fast Multimedia Search

• Attribute-Augmented Semantic Hierarchy (A2SH) for CBIR

• Efficient Closed-Form Solution to Generalized Boundary Detection

• Smooth Nonnegative Matrix Factorization for Unsupervised Audiovisual Document Structuring

• Content vs. Context: Video Landmark Retrieval

• Interactive Image Tagging을 위한 인간 라벨링 최적화

• 화자 추적 기반 영상 자막 배치 (Speaker-Following Video Subtitles)

• 대규모 다중 라벨 전파를 위한 효율적인 희소 그래프 구성

• 3D 객체 검색을 위한 시맨틱 시그니처 학습

• 다중 모드 특징 표현 및 시간 피라미드 매칭을 통한 콘텐츠 기반 복제 탐지

• Transfer Joint Embedding for Cross-Domain NER

• 이미지 주석 및 검색을 위한 Feature-Word-Topic 모델

• 정보 기하학을 통한 순수 고차 단어 연관성 마이닝

• Active Learning through Adaptive Heterogeneous Ensembling (AHE)

• Fast Near-Duplicate Image Detection Using Uniform Randomized Trees

• Continuous Birdsong Recognition Using Gaussian Mixture Modeling of Image Shape Features

• Transfer Learning In MIR: Sharing Learned Latent Representations For Music Audio Classification And Similarity

• Point Representation for Local Optimization: Towards Multi-Dimensional Gray Codes

• 음성 피드백 고려)

• Efficient Estimation of Word Representations in Vector Space

• Social Event Classification via Boosted Multimodal Supervised Latent Dirichlet Allocation

• Script-to-Movie: 스크립트 기반 자동 영화 생성 프레임워크

• Neighborhood Preserving Codes for Assigning Point Labels: Applications to Stochastic Search

• Efficient Inference and Structured Learning for Semantic Role Labeling

• Patch-Based Image Warping for Content-Aware Retargeting

• 대규모 그래프 및 라벨 세트에서의 효율적이고 정확한 라벨 전파

• All Smiles: 얼굴 표정 분석을 통한 자동 사진 보정

• TPCKT: Two-Level Progressive Cross-Media Knowledge Transfer

• Similarity-based Clustering by Left-Stochastic Matrix Factorization

• 인간 동작 분석을 위한 특이값 분해(SVD) 기반 지식 획득 방법

• 다중 사용자 생성 영상 기반 미적 가이드 요약 (Aesthetics-Guided Summarization)

• 훈련 레이블 정제를 통한 텍스트 분류 정확도 향상

• Structured Streaming Skeleton (SSS): 온라인 인간 제스처 인식용 새로운 특징 추출 방법

• 지오태그 이미지로부터 장면 위치 식별 (Identification of scene locations from geotagged images)

• Cross-Domain Multi-Event Tracking via CO-PMHT

• Semantic Queries by Example

• 움직이며 소리를 내는 객체의 식별 및 분할을 위한 다중모달 분석

• HyperLogLog in Practice: Algorithmic Engineering of a State of The Art Cardinality Estimation Algorithm

• Near-duplicate video retrieval: Current research and future trends

• Multiprotocol Label Switching (MPLS)

• Video Resumer: YouTube 시청 위치 기억 확장 프로그램

• Feature Ensemble Plus Sample Selection: Domain Adaptation for Sentiment Classification

• k-Order Statistic Loss 를 활용한 추천 시스템의 Learning to Rank

• Reversible Data Hiding With Optimal Value Transfer

• Rolling Up Random Variables in Data Cubes

• MOWL: 웹 기반 멀티미디어 애플리케이션을 위한 온톨로지 표현 언어

• Learning Semantic Representations Of Objects And Their Parts

• Classification of Homogeneous Data With Large Alphabets

• 실내 장면의 의미적 및 기하학적 상호작용 학습을 위한 판별 모델

• PRIME: 단입자 Cryo-EM을 위한 확률적 초기 3D 모델 생성

• Semantic content-based recommendation of software services using context

• 비디오 스트림에서 음향 및 시각적 단서를 이용한 광고 탐지