AncomWiki

Script-to-Movie: 스크립트 기반 자동 영화 생성 프레임워크

Properties1
description본 논문은 전문적인 장비와 인력이 필요한 기존 영화 제작의 장벽을 낮추기 위해, 사용자가 작성한 스크립트를 기반으로 기존 영상 자료로부터 자동으로 영화를 생성하는 'Script-to-Movie(S2M)' 프레임워크를 제안합니다. 핵심 기술로는 다양한 상황과 등장인물을 포함하는 영상 자료库를 구축하기 위한 계층적 정렬 방법(hierarchical alignment method)과, 스크립트의 의미적 스토리 플롯과 시각적 문법적…

9 min read

Script-to-Movie: 스크립트 기반 자동 영화 생성 프레임워크

Source

  • Evernote/Papers/Script-to-Movie A Computational Framework for Story Movie Composition.md

Summary

본 논문은 전문적인 장비와 인력이 필요한 기존 영화 제작의 장벽을 낮추기 위해, 사용자가 작성한 스크립트를 기반으로 기존 영상 자료로부터 자동으로 영화를 생성하는 ‘Script-to-Movie(S2M)’ 프레임워크를 제안합니다. 핵심 기술로는 다양한 상황과 등장인물을 포함하는 영상 자료库를 구축하기 위한 계층적 정렬 방법(hierarchical alignment method)과, 스크립트의 의미적 스토리 플롯과 시각적 문법적 내용을 종합적으로 고려하여 최적의 영상 클립을 선택하는 제약 최적화 문제(constrained optimization problem)로 S2M 구성을 모델링하는 것입니다. 이를 통해 복잡한 촬영 및 편집 과정을 생략하고 아이디어를 즉시 영상으로 구현하는 ‘What You Dream Is What You See(WYDIWYS)’ 제작 모드를 지원합니다.

Key Points

  • 기존 영화 제작의 높은 진입 장벽(시간, 비용, 전문성)을 해소하기 위한 자동화 솔루션 제안
  • 사용자 스크립트에 맞춰 기존 영상 데이터베이스에서 최적의 영상 세그먼트를 추출하여 영화 자동 생성
  • 영상 자료의 상세한 시맨틱 설명을 위한 계층적 정렬 방법(Hierarchical Alignment Method) 제안
  • 의미적 스토리 플롯과 시각적 내용을 결합한 제약 최적화 문제를 통한 영상 클립 선택 알고리즘
  • 복잡한 편집 없이 아이디어를 즉시 영상화하는 WYDIWYS(What You Dream Is What You See) 모드 구현

그래프 뷰

백링크