All Smiles: 얼굴 표정 분석을 통한 자동 사진 보정

Source

• Evernote/Papers/All Smiles Automatic Photo Enhancement by Facial Expression Analysis.md

Summary

이 논문은 그룹 사진에서 눈 감기, 시선 이탈, 미소 부재 등의 결함을 자동으로 보정하는 프레임워크를 제안합니다. 알고리즘은 얼굴 분석을 통해 각 사진 속 인물의 ‘좋음 점수(goodness score)‘를 산출하며, 이 점수는 미소 및 눈 감김 분류기를 기반으로 합니다. 최종 이미지는 전체 점수가 가장 높은 사진을 베이스로 하되, 점수가 낮은 얼굴은 다른 사진에서 동일한 인물의 높은 점수 얼굴로 교체하여 합성합니다.

Key Points

• 그룹 사진의 결함(눈 감기, 미소 없음 등)을 자동으로 개선하는 목적
• 미소 및 눈 감김을 판별하는 분류기를 활용한 얼굴별 goodness score 산출
• 최고 점수 사진을 베이스로 하되, 저점수 얼굴을 다른 사진의 고점수 얼굴로 교체하는 합성 기법
• 얼굴 정렬(alignment) 및 매끄러운 합성(seamless composition) 기술 적용

Related

• 개인 사진 컬렉션에서의 공동 노이즈 레벨 추정

• 다중 특징 분석 및 시맨틱 컨텍스트 학습을 통한 이미지 분류

• 음성 피드백 고려)

• 터치스크린 기반 디지털 사진 선택적 편집 UI 설계

• 다중 Kinect 기반 실시간 3D 재구성

• 웹 페이지의 시각적 복잡성 측정 (Measuring the Visual Complexities of Web Pages)

• Social-Sensed Image Search

• FaceTrust: 소셜 피드백을 활용한 온라인 신원 검증

• Efficient Closed-Form Solution to Generalized Boundary Detection

• YouTube 영상 음향 분석을 통한 유망 음악가 자동 발견

• 이미지 주석 및 검색을 위한 Feature-Word-Topic 모델

• 이미지 기반 추천 시스템에서의 정서적 라벨링 (Affective Labeling)

• C# OpenCV Haar 알고리즘을 이용한 얼굴 검출 예제

• PhishStorm: 스트리밍 분석을 통한 피싱 탐지

• 고양이 사진 메타데이터를 통한 위치 추적 프로젝트

• 시간적 이미지 시퀀스를 위한 최적화된 만화 스토리텔링 시스템

• HTML 자동 테이블 레이아웃 알고리즘

• 웹 데이터베이스 검색 결과 자동 주석 처리 (Automatic Annotation of Web Database Search Results)

• YouTube 영화 리뷰의 오디오-비주얼 맥락 기반 감정 분석

• 웹사이트 구조 개선을 통한 사용자 탐색 효율화

• 음악 플레이리스트 자동 생성: 서베이 및 실험

• 유전 알고리즘(GP)을 활용한 햅틱 기반 서명 인증

• YouTube 채널 분류를 위한 실용적 시스템

• Knotch: 색상을 통한 감정 온도계

• 훈련 레이블 정제를 통한 텍스트 분류 정확도 향상

• CNY 환율 예측

• Discriminative Segment Annotation in Weakly Labeled Video

• Interactive Image Tagging을 위한 인간 라벨링 최적화

• Script-to-Movie: 스크립트 기반 자동 영화 생성 프레임워크

• A Pure Visual Approach for Automatically Extracting and Aligning Structured Web Data

• K-RBMs를 이용한 다중 비선형 부분공간 학습

• Image Annotation in Presence of Noisy Labels

• Cross-Media Tag Transfer (CMTT): 이미지에서 비디오로 태그 지식 이전

• Attribute-Augmented Semantic Hierarchy (A2SH) for CBIR

• 화자 추적 기반 영상 자막 배치 (Speaker-Following Video Subtitles)

• 감성 분석 중심 웹 크롤링 (Sentiment-Focused Web Crawling)

• When Amazon Meets Google: Product Visualization by Exploring Multiple Web Sources

• 대규모 그래프 및 라벨 세트에서의 효율적이고 정확한 라벨 전파

• Weakly Supervised Learning of Object Segmentations from Web-Scale Video

• Patch-Based Image Warping for Content-Aware Retargeting

• 움직이며 소리를 내는 객체의 식별 및 분할을 위한 다중모달 분석

• A Hamming Embedding Kernel with Informative Bag-of-Visual Words for Video Semantic Indexing

• Video Snippets

• 다중 모드 특징 표현 및 시간 피라미드 매칭을 통한 콘텐츠 기반 복제 탐지

• Double Music Player: 두 개의 이어폰에 다른 음악 재생

• 3D 객체 검색을 위한 시맨틱 시그니처 학습

• PRIME: 단입자 Cryo-EM을 위한 확률적 초기 3D 모델 생성

• 멀티미디어 마이크로블로그의 단어-이미지 연관성 모델링

• UsageQoS: 온라인 사용자 커뮤니티를 통한 웹 서비스 QoS 추정

• 다중 사용자 생성 영상 기반 미적 가이드 요약 (Aesthetics-Guided Summarization)

• 대규모 다중 라벨 전파를 위한 효율적인 희소 그래프 구성

• Feature Ensemble Plus Sample Selection: Domain Adaptation for Sentiment Classification

• 검색 엔진 쿼리 로그를 통한 사용자 작업(Task) 발견

• Iustitia: 정보 이론적 접근을 통한 고속 플로우 성격 식별

• Cross-Domain Feature Learning in Multimedia

• Universal Dependency Annotation for Multilingual Parsing

• A Top-Down Approach for Video Summarization

• Statistical Approaches to Concept-Level Sentiment Analysis

• Profile-Based Summarisation for Web Site Navigation

• Web browsing behavior analysis and interactive hypervideo

• URL 쿼리 문자열을 통한 개인정보 유출 측정 연구

• 웹캠의 지리적 통합 및 보정 (Web-accessible geographic integration and calibration of webcams)

• Sparse Hashing (SH) for Fast Multimedia Search

• 피드백 세션을 통한 사용자 검색 목표 추론 알고리즘

• 정보 기하학을 통한 순수 고차 단어 연관성 마이닝

• 오디오의 역할

• iVector-based Acoustic Data Selection

• 카카오톡 이모티콘을 통한 남녀 감정 분석 (2013)

• Content vs. Context: Video Landmark Retrieval

• Browse-to-Search: 시각적 엔티티를 활용한 탐색적 검색

• Semantic content-based recommendation of software services using context

• TRECVID 기반 콘텐츠 기반 비디오 복사 탐지 벤치마킹

• MS의 상황 인지형 자동 무음 모드 기술

• Spatiotemporal Deformable Part Models for Action Detection

• Smooth Nonnegative Matrix Factorization for Unsupervised Audiovisual Document Structuring

• URL 기반 웹 페이지 언어 분류 기술 종합 연구

• Online Estimation of Evolving Human Visual Interest

• CPCDN: Context 및 User Intelligence 기반 콘텐츠 전달

• 고객 리뷰에서 제품 특징 및 의견 추출 방법론

• 마크애니, 자동 콘텐츠 인식(ACR) 솔루션 ‘미디어플러스’ 출시