다중 모드 특징 표현 및 시간 피라미드 매칭을 통한 콘텐츠 기반 복제 탐지

Source

• Evernote/IFTTT Feedly/Content-based copy detection through multimodal feature representation and temporal pyramid matching.md

Summary

본 논문은 워터마킹의 대안으로 부상하는 콘텐츠 기반 복제 탐지(CBCD) 기술에 대해 다룹니다. 복잡한 변환을 거친 영상 복제본을 탐지하기 위해 오디오, 전역/국소 시각 특징의 상호 보완성을 활용하는 다중 모드 특징 표현 기법을 제안합니다. 또한, 시간 피라미드 매칭 알고리즘을 통해 프레임 수준의 유사도 검색 결과를 다양한 시간 해상도에서 평가하여 시퀀스 수준의 매칭 결과로 통합합니다. 검색 속도 향상을 위해 역색인(Inverted Indexing)과 로컬리티 센시티브 해싱(LSH)을 적용했습니다.

Key Points

• 콘텐츠 기반 복제 탐지(CBCD)는 영상 식별 및 저작권 보호를 위한 워터마킹의 대안 기술로 주목받고 있음
• 오디오 및 시각(전역/국소) 특징의 다중 모드 표현을 통해 복잡한 변형에 대한 강인성(Robustness) 확보
• 시간 피라미드 매칭(Temporal Pyramid Matching) 알고리즘을 사용하여 프레임 유사도를 시퀀스 수준으로 통합
• 역색인 및 LSH 기법을 도입하여 유사도 검색 속도 최적화

Related

• 다중 특징 분석 및 시맨틱 컨텍스트 학습을 통한 이미지 분류

• TRECVID 기반 콘텐츠 기반 비디오 복사 탐지 벤치마킹

• Supervised Robust Discrete Multimodal Hashing (SRDMH)

• Content vs. Context: Video Landmark Retrieval

• APRICOD: 접근 패턴 기반 분산 캐싱 미들웨어

• Attribute-Augmented Semantic Hierarchy (A2SH) for CBIR

• 적응형 온톨로지 규칙을 이용한 보상-처벌 기반 개념 탐지

• Near-duplicate video retrieval: Current research and future trends

• 다중 Kinect 기반 실시간 3D 재구성

• The Intervalgram: 대규모 커버송 인식을 위한 오디오 특징

• SafeVchat: 온라인 영상 채팅 서비스의 음란 콘텐츠 탐지 시스템

• 웹 기반 분산 콘텐츠 큐레이션 연구

• PhishStorm: 스트리밍 분석을 통한 피싱 탐지

• A Hamming Embedding Kernel with Informative Bag-of-Visual Words for Video Semantic Indexing

• 화자 추적 기반 영상 자막 배치 (Speaker-Following Video Subtitles)

• 다중 사용자 생성 영상 기반 미적 가이드 요약 (Aesthetics-Guided Summarization)

• K-RBMs를 이용한 다중 비선형 부분공간 학습

• 대규모 저장소에서의 효율적인 비디오 스트림 모니터링 및 유사 중복 탐지

• 언어 독립적 시간 표현 판별적 파싱 (Language-Independent Discriminative Parsing of Temporal Expressions)

• 온라인 비디오 서비스의 가짜 조회수 분석 및 탐지

• A Top-Down Approach for Video Summarization

• Script-to-Movie: 스크립트 기반 자동 영화 생성 프레임워크

• Smooth Nonnegative Matrix Factorization for Unsupervised Audiovisual Document Structuring

• YouTube 영화 리뷰의 오디오-비주얼 맥락 기반 감정 분석

• Video Resumer: YouTube 시청 위치 기억 확장 프로그램

• CPCDN: Context 및 User Intelligence 기반 콘텐츠 전달

• Weakly Supervised Learning of Object Segmentations from Web-Scale Video

• 온라인 정확한 문자열 매칭 문제: 최근 결과 리뷰

• Cross-Media Tag Transfer (CMTT): 이미지에서 비디오로 태그 지식 이전

• Query-Adaptive Image Search With Hash Codes

• 게임용 절차적 콘텐츠 생성(PCG-G) 개요

• 대규모 다중 라벨 전파를 위한 효율적인 희소 그래프 구성

• 시간적 이미지 시퀀스를 위한 최적화된 만화 스토리텔링 시스템

• Video Snippets

• Discriminative Segment Annotation in Weakly Labeled Video

• YouTube 영상 음향 분석을 통한 유망 음악가 자동 발견

• 비디오 스트림에서 음향 및 시각적 단서를 이용한 광고 탐지

• Sparse Hashing (SH) for Fast Multimedia Search

• 정보 기하학을 통한 순수 고차 단어 연관성 마이닝

• 3D 객체 검색을 위한 시맨틱 시그니처 학습

• 영화 ‘비긴 어게인’에서 도출한 콘텐츠 성공 공식

• Cross-Domain Feature Learning in Multimedia

• Spatiotemporal Deformable Part Models for Action Detection

• Efficient Closed-Form Solution to Generalized Boundary Detection

• 비디오 디스커버리 서비스의 한계와 표준화 플랫폼의 가능성

• 오디오의 역할

• MOWL: 웹 기반 멀티미디어 애플리케이션을 위한 온톨로지 표현 언어

• YouTube 채널 분류를 위한 실용적 시스템

• 사이버-물리 시스템(CPS) 침입 탐지 기술 조사

• 감정 콘텐츠 기반 적응형 스트리밍 최적화 (ACAA)

• URL 기반 웹 페이지 언어 분류 기술 종합 연구

• Interactive Image Tagging을 위한 인간 라벨링 최적화

• DOM 구조 지식 기반 모델을 이용한 반구조화 웹 레코드 강건한 탐지

• Transfer Joint Embedding for Cross-Domain NER

• Double Music Player: 두 개의 이어폰에 다른 음악 재생

• 온라인 비디오 전달: 과거, 현재, 미래

• 이미지 주석 및 검색을 위한 Feature-Word-Topic 모델

• 마크애니, 자동 콘텐츠 인식(ACR) 솔루션 ‘미디어플러스’ 출시

• Twitter 기반 YouTube 동영상 추천: 시간 인식 및 개인화

• All Smiles: 얼굴 표정 분석을 통한 자동 사진 보정

• 음악 플레이리스트 자동 생성: 서베이 및 실험

• 그래프 전파를 통한 개인화 비디오 추천

• 소셜 기반 멀티미디어 콘텐츠 분산 프레임워크

• 실시간 트윗 검색을 위한 블룸 필터 체인(Bloom Filter Chains) 기반 후보 생성

• 이공계적 사고로 분유통 이물질(개구리) 탐지 방법 고찰

• Semantic Queries by Example

• 이미지 기반 추천 시스템에서의 정서적 라벨링 (Affective Labeling)

• 디지털 이미지의 콘텐츠 무결성 보호 및 충실도 유지: 개선된 버전

• Latent Mixture of Discriminative Experts (LMDE)

• Fast Near-Duplicate Image Detection Using Uniform Randomized Trees

• 고객 리뷰에서 제품 특징 및 의견 추출 방법론

• NDC2017: VAE를 이용한 게임 콘텐츠 생성 기법 연구 사례

• 토론토대 연구진의 실시간 HDR 비디오 기술 (2013)

• Knotch: 색상을 통한 감정 온도계

• A Framework for Network Aware Caching for Video on Demand Systems - Errata

• Transfer Learning In MIR: Sharing Learned Latent Representations For Music Audio Classification And Similarity

• 온라인 건강 검색의 콘텐츠 편향성

• 인터넷 TV를 위한 콘텐츠 및 사회적 관련성 기반 개인화 광고 추천

• Structured Streaming Skeleton (SSS): 온라인 인간 제스처 인식용 새로운 특징 추출 방법

• iVector-based Acoustic Data Selection

• 음악 컨텍스트 데이터 기반 음악 유사도 및 추천 방법론 조사

• Feature Ensemble Plus Sample Selection: Domain Adaptation for Sentiment Classification

• VoIP 스테고그래피 및 탐지 기술 조사

• 훈련 레이블 정제를 통한 텍스트 분류 정확도 향상

• Social Event Classification via Boosted Multimodal Supervised Latent Dirichlet Allocation

• 유전 알고리즘(GP)을 활용한 햅틱 기반 서명 인증

• Intralayer Network Coding 기반 다중 속도 멀티캐스팅

• 무선 메시 네트워크에서의 다중 소스 VoD 스트리밍

• 스케치 기반 비디오 클립 상호작용 조직화 접근법

• 대용량 텍스트 컬렉션에서의 효율적 퍼지 검색

• Point Representation for Local Optimization: Towards Multi-Dimensional Gray Codes

• Swarming 시스템의 콘텐츠 가용성 및 번들링 분석