시간적 이미지 시퀀스를 위한 최적화된 만화 스토리텔링 시스템

Source

• Evernote/Inbox/Optimized Comics-Based Storytelling for Temporal Image Sequences.md

Summary

이 논문은 시간적 이미지 시퀀스(예: 비디오 프레임)를 만화 형식의 스토리텔링으로 변환하는 시스템을 제안합니다. 시스템은 페이지 할당, 레이아웃 선택, 말풍선 배치의 세 가지 주요 구성 요소를 최적화 문제로 공식화하여 해결합니다. 구체적으로 페이지 할당은 유전 알고리즘(Genetic Algorithm)을 통해 라벨링 문제로, 레이아웃 선택은 이미지 중요도와 미리 정의된 레이아웃의 벡터 매칭을 통해, 말풍선 배치는 입자 군집 최적화(Particle Swarm Optimization) 알고리즘을 통해 최적 위치를 찾습니다. 제안된 시스템의 유효성과 우수성은 객관적 및 주관적 평가를 통해 입증되었습니다.

Key Points

• 시간적 이미지 시퀀스를 만화 기반 프레젠테이션으로 자동 변환하는 시스템 제안
• 페이지 할당: 유전 알고리즘을 적용한 라벨링 문제로 최적화
• 레이아웃 선택: 이미지 중요도 벡터와 레이아웃 벡터 간의 최적 매칭
• 말풍선 배치: 입자 군집 최적화(PSO) 알고리즘을 통한 전역 최적 위치 탐색
• 객관적/주관적 평가를 통한 시스템 유효성 검증

Related

• 이미지 주석 및 검색을 위한 Feature-Word-Topic 모델

• Point Representation for Local Optimization: Towards Multi-Dimensional Gray Codes

• 다중 특징 분석 및 시맨틱 컨텍스트 학습을 통한 이미지 분류

• Model-Driven Optimization of Opportunistic Routing

• Neighborhood Preserving Codes for Assigning Point Labels: Applications to Stochastic Search

• K-RBMs를 이용한 다중 비선형 부분공간 학습

• A Top-Down Approach for Video Summarization

• Patch-Based Image Warping for Content-Aware Retargeting

• Query-Adaptive Image Search With Hash Codes

• YouTube 채널 분류를 위한 실용적 시스템

• 3D 객체 검색을 위한 시맨틱 시그니처 학습

• Efficient Closed-Form Solution to Generalized Boundary Detection

• 대규모 다중 라벨 전파를 위한 효율적인 희소 그래프 구성

• A Hamming Embedding Kernel with Informative Bag-of-Visual Words for Video Semantic Indexing

• HTML 자동 테이블 레이아웃 알고리즘

• Interactive Image Tagging을 위한 인간 라벨링 최적화

• 유전 알고리즘(GP)을 활용한 햅틱 기반 서명 인증

• 음성 피드백 고려)

• Cross-Media Tag Transfer (CMTT): 이미지에서 비디오로 태그 지식 이전

• Recursive Sparse Spatiotemporal Coding

• Sparse Hashing (SH) for Fast Multimedia Search

• Attribute-Augmented Semantic Hierarchy (A2SH) for CBIR

• Supervised Robust Discrete Multimodal Hashing (SRDMH)

• Weakly Supervised Learning of Object Segmentations from Web-Scale Video

• Discriminative Segment Annotation in Weakly Labeled Video

• Smooth Nonnegative Matrix Factorization for Unsupervised Audiovisual Document Structuring

• Cross-Domain Feature Learning in Multimedia

• Transfer Joint Embedding for Cross-Domain NER

• 언어 독립적 시간 표현 판별적 파싱 (Language-Independent Discriminative Parsing of Temporal Expressions)

• Fast, Accurate Detection of 100,000 Object Classes on a Single Machine (Technical Supplement)

• Fast Near-Duplicate Image Detection Using Uniform Randomized Trees

• 다중 모드 특징 표현 및 시간 피라미드 매칭을 통한 콘텐츠 기반 복제 탐지

• 정보 기하학을 통한 순수 고차 단어 연관성 마이닝

• Spatiotemporal Deformable Part Models for Action Detection

• Continuous Birdsong Recognition Using Gaussian Mixture Modeling of Image Shape Features

• All Smiles: 얼굴 표정 분석을 통한 자동 사진 보정

• Transfer Learning In MIR: Sharing Learned Latent Representations For Music Audio Classification And Similarity

• Image Annotation in Presence of Noisy Labels

• Reversible Data Hiding With Optimal Value Transfer

• Latent Mixture of Discriminative Experts (LMDE)

• Similarity-based Clustering by Left-Stochastic Matrix Factorization

• Content vs. Context: Video Landmark Retrieval

• 대규모 그래프 및 라벨 세트에서의 효율적이고 정확한 라벨 전파

• Script-to-Movie: 스크립트 기반 자동 영화 생성 프레임워크

• Rolling Up Random Variables in Data Cubes

• 훈련 레이블 정제를 통한 텍스트 분류 정확도 향상

• 화자 추적 기반 영상 자막 배치 (Speaker-Following Video Subtitles)

• Active Learning through Adaptive Heterogeneous Ensembling (AHE)

• Cross-Domain Multi-Event Tracking via CO-PMHT

• 멀티미디어 마이크로블로그의 단어-이미지 연관성 모델링

• Data Enriched Linear Regression

• Efficient Inference and Structured Learning for Semantic Role Labeling

• TPCKT: Two-Level Progressive Cross-Media Knowledge Transfer

• 이미지 기반 추천 시스템에서의 정서적 라벨링 (Affective Labeling)

• The Intervalgram: 대규모 커버송 인식을 위한 오디오 특징

• Multiprotocol Label Switching (MPLS)

• Efficient Estimation of Word Representations in Vector Space

• Video Snippets

• Feature Ensemble Plus Sample Selection: Domain Adaptation for Sentiment Classification

• Social Event Classification via Boosted Multimodal Supervised Latent Dirichlet Allocation

• PRIME: 단입자 Cryo-EM을 위한 확률적 초기 3D 모델 생성

• Similarity Preserving Feature Selection (SPFS)

• CNY 환율 예측

• Regularized Latent Semantic Indexing (RLSI): 대규모 토픽 모델링을 위한 새로운 접근법

• 움직이며 소리를 내는 객체의 식별 및 분할을 위한 다중모달 분석

• 음식점명 군집화를 위한 문자열 유사도 계산 (Cosine Similarity)

• MOWL: 웹 기반 멀티미디어 애플리케이션을 위한 온톨로지 표현 언어

• 인터넷 TV를 위한 콘텐츠 및 사회적 관련성 기반 개인화 광고 추천

• 실시간 트윗 검색을 위한 블룸 필터 체인(Bloom Filter Chains) 기반 후보 생성

• Incremental Text Indexing for Fast Disk-Based Search

• GeoVisNews: 뉴스 조직 및 검색 시스템

• Structured Streaming Skeleton (SSS): 온라인 인간 제스처 인식용 새로운 특징 추출 방법

• 모바일 앱 랭킹 사기 탐지 시스템

• 웹 데이터베이스 검색 결과 자동 주석 처리 (Automatic Annotation of Web Database Search Results)

• Entity-Annotation 시스템 벤치마킹 프레임워크

• 다중 채널 오디오 압축을 위한 레이트-디스토션 최적화

• 사회기술 시스템 프로그래밍을 위한 커밋먼트 기반 인프라

• Semantic Queries by Example

• An Unsupervised Feature Selection Framework for Social Media Data

• 모바일 햅틱 전자책 시스템: 3D 몰입형 독서를 위한 연구

• 개인 사진 컬렉션에서의 공동 노이즈 레벨 추정

• Enlisting the Ghost: Modeling Empty Categories for Machine Translation