YouTube 영화 리뷰의 오디오-비주얼 맥락 기반 감정 분석

Source

• Evernote/IFTTT Feedly/YouTube Movie Reviews Sentiment Analysis in an Audio-Visual Context.md

Summary

이 연구는 온라인 영화 리뷰 영상에서 화자의 감정을 자동으로 분석하는 방법을 다룹니다. 텍스트 정보 외에도 음성 기반 감정 인식에 사용되는 오디오 특징과 화자가 전달하는 가치(valence) 정보를 인코딩하는 비디오 특징을 함께 고려합니다. 실험 결과는 텍스트 기반 영화 리뷰로 학습하는 것이 음성 도메인 데이터만 사용하는 것보다 유망한 대안이며, 언어에 독립적인 오디오-비주얼 분석이 언어적 분석과 경쟁할 수 있음을 보여줍니다.

Key Points

• 온라인 영화 리뷰 영상의 화자 감정 자동 분석
• 텍스트, 오디오(음성 특징), 비디오(화자 가치 정보) 특징의 통합 활용
• 텍스트 리뷰 학습이 음성 도메인 데이터 전용 학습 대비 유망한 대안
• 언어 독립적 오디오-비주얼 분석이 언어적 분석과 경쟁력 있음

Related

• 스페인어 온라인 비디오의 다중모달 감정 분석

• YouTube 영상 음향 분석을 통한 유망 음악가 자동 발견

• 움직이며 소리를 내는 객체의 식별 및 분할을 위한 다중모달 분석

• Twitter 기반 YouTube 동영상 추천: 시간 인식 및 개인화

• 화자 추적 기반 영상 자막 배치 (Speaker-Following Video Subtitles)

• 고객 리뷰에서 제품 특징 및 의견 추출 방법론

• URL 기반 웹 페이지 언어 분류 기술 종합 연구

• 이미지 기반 추천 시스템에서의 정서적 라벨링 (Affective Labeling)

• 소셜 웹의 댓글 및 댓글 평가 분석과 마이닝

• YouTube Audio Library 출시

• iVector-based Acoustic Data Selection

• 웹 검색 쿼리의 감정 분석 및 활용

• YouTube, Google+ 기반 새 댓글 시스템 발표 (2013)

• 다중 Kinect 기반 실시간 3D 재구성

• 카카오톡 이모티콘을 통한 남녀 감정 분석 (2013)

• Knotch: 색상을 통한 감정 온도계

• Kinect 기반 고객 쇼핑 행동 분석 도구

• YouTube 채널 분류를 위한 실용적 시스템

• 다중 모드 특징 표현 및 시간 피라미드 매칭을 통한 콘텐츠 기반 복제 탐지

• 음악 컨텍스트 데이터 기반 음악 유사도 및 추천 방법론 조사

• 다중 사용자 생성 영상 기반 미적 가이드 요약 (Aesthetics-Guided Summarization)

• Video Resumer: YouTube 시청 위치 기억 확장 프로그램

• Statistical Approaches to Concept-Level Sentiment Analysis

• 대규모 이질적 멀티미디어 데이터에 대한 정서 컴퓨팅(Affective Computing) 서베이

• 마크애니, 자동 콘텐츠 인식(ACR) 솔루션 ‘미디어플러스’ 출시

• 온라인 리뷰 요약: Starlet 접근법

• 디지털 네이티브 세대와 웹툰을 통한 전자문서 분석

• 색상이 전환율에 미치는 영향 (인포그래픽)

• Script-to-Movie: 스크립트 기반 자동 영화 생성 프레임워크

• CPCDN: Context 및 User Intelligence 기반 콘텐츠 전달

• 감성 분석 중심 웹 크롤링 (Sentiment-Focused Web Crawling)

• Feature Diagram Languages 에서의 관심사 분리: 체계적 문헌 고찰

• TRECVID 기반 콘텐츠 기반 비디오 복사 탐지 벤치마킹

• 웹 기반 분산 콘텐츠 큐레이션 연구

• Feature Ensemble Plus Sample Selection: Domain Adaptation for Sentiment Classification

• Ontology-Based Query Answering with Group Preferences

• Semantic content-based recommendation of software services using context

• Semantic contextual advertising based on the open directory project

• The Semantic Web and End Users: What’s Wrong and How to Fix It

• Video Snippets

• Double Music Player: 두 개의 이어폰에 다른 음악 재생

• 오디오의 역할

• SafeVchat: 온라인 영상 채팅 서비스의 음란 콘텐츠 탐지 시스템

• 의미적 궤적 모델링 및 분석 (Semantic Trajectories Modeling and Analysis)

• 게임용 절차적 콘텐츠 생성(PCG-G) 개요

• 영화 ‘비긴 어게인’에서 도출한 콘텐츠 성공 공식

• Near-duplicate video retrieval: Current research and future trends

• 비디오 스트림에서 음향 및 시각적 단서를 이용한 광고 탐지

• 감정 콘텐츠 기반 적응형 스트리밍 최적화 (ACAA)

• 웹상 어린이의 검색 및 브라우징 행동 분석

• MOWL: 웹 기반 멀티미디어 애플리케이션을 위한 온톨로지 표현 언어

• 소셜 기반 멀티미디어 콘텐츠 분산 프레임워크

• 음악 플레이리스트 자동 생성: 서베이 및 실험

• 온라인 비디오 서비스의 가짜 조회수 분석 및 탐지

• 인터넷 TV를 위한 콘텐츠 및 사회적 관련성 기반 개인화 광고 추천

• 다중 특징 분석 및 시맨틱 컨텍스트 학습을 통한 이미지 분류

• Form-Based Web Service Composition for Domain Experts

• All Smiles: 얼굴 표정 분석을 통한 자동 사진 보정

• Deep Web 소스의 관련성 및 신뢰도 평가 (Inter-source Agreement 기반)

• 360도 영상 시청자 시선 분석

• 비디오 디스커버리 서비스의 한계와 표준화 플랫폼의 가능성

• Howl (소셜러닝 플랫폼) 개요 및 분석 노트

• Microsoft, Kinect 기반 고객 인식 기술 제안

• 실시간 트윗 검색을 위한 블룸 필터 체인(Bloom Filter Chains) 기반 후보 생성

• 스케치 기반 비디오 클립 상호작용 조직화 접근법

• 온톨로지 작성에서의 위키 협업 기능 평가

• 적응형 온톨로지 규칙을 이용한 보상-처벌 기반 개념 탐지

• 온라인 정확한 문자열 매칭 문제: 최근 결과 리뷰

• 사용자 생성 콘텐츠의 순위 기반 메커니즘에 대한 게임 이론적 분석

• 온라인 건강 검색의 콘텐츠 편향성

• Attribute-Augmented Semantic Hierarchy (A2SH) for CBIR

• 유전 알고리즘(GP)을 활용한 햅틱 기반 서명 인증

• 소셜 네트워크에서의 비디오 공유 전파 이해: 측정 및 분석

• Weavly: Tumblr GIF 및 YouTube 영상 매시업 도구

• A Top-Down Approach for Video Summarization

• Cross-Media Tag Transfer (CMTT): 이미지에서 비디오로 태그 지식 이전

• DOM 구조 지식 기반 모델을 이용한 반구조화 웹 레코드 강건한 탐지

• 온라인 게임 치팅의 소셜 네트워크 관점 분석

• vlHMM 기반 컨텍스트 인식 검색

• The Creative AI Landscape (2017)

• Face.com: 무드 감지 API 출시 및 무료 정책

• 지향적 엔티티-관계 기반 1차 확률 언어(FOPL) 조사

• The Intervalgram: 대규모 커버송 인식을 위한 오디오 특징

• HTTP 기반 애플리케이션 방화벽 정책 분석

• Friendbook: 의미 기반 소셜 네트워크 친구 추천 시스템

• Sight: 이미지 캡처 기반 콘텐츠 스크랩 서비스

• 인간 동작 분석을 위한 특이값 분해(SVD) 기반 지식 획득 방법

• Small-Document Approaches to Resource Selection 분석

• 드론을 위한 엣지 기반 실시간 비디오 분석

• 버즈피드 트래픽 시스템 분석 (2014)

• PhishStorm: 스트리밍 분석을 통한 피싱 탐지

• Fan TV: IPTV 기반 통합 스트리밍 셋톱박스

• 페이스북 뉴스피드 알고리즘 변화 분석 (2013-2014)

• 중국 교통 체증과 소셜 미디어 분석

• 웹 애플리케이션 모델 저장소의 텍스트 및 내용 기반 검색

• Entity-Annotation 시스템 벤치마킹 프레임워크

• 웹 검색에서 소셜 주석의 인식 및 이해

• 진단 검색에서의 캡션과 편향

• A Hamming Embedding Kernel with Informative Bag-of-Visual Words for Video Semantic Indexing