DurIAN_4S: 말하기 데이터로부터 노래 합성 학습

Source

• Evernote/Inbox/LEARNING SINGING FROM SPEECH “DurIAN_4S”.md

Summary

텐센트 AI 연구소는 일반 말하기 데이터만으로 목표 화자의 고품질 노래 목소리를 합성하는 알고리즘을 제안했습니다. 이 방법은 말하기와 노래 합성을 통합된 프레임워크로 결합하여, 두 작업 간에 공유되는 보편적인 화자 임베딩(speaker embeddings)을 학습합니다. 이를 통해 말하기 데이터에서 학습된 화자 특성이 노래 합성으로 이전(transfer)되어, 화자의 일반 음성만으로 해당 화자의 목소리 특성을 가진 노래를 생성하거나 변환할 수 있습니다.

Key Points

• 일반 말하기 샘플만으로 목표 화자의 노래 목소리 합성 가능
• 말하기 및 노래 합성을 통합한 단일 프레임워크 사용
• 두 작업 간 공유되는 보편적 화자 임베딩 학습을 통한 특성 이전
• 화자의 일반 음성만으로 고품질 노래 음성 변환(Singing Voice Conversion) 수행

Related

• 심층 신경망을 이용한 통계적 파라미터 음성 합성

• Transfer Learning In MIR: Sharing Learned Latent Representations For Music Audio Classification And Similarity

• Learning to Communicate (OpenAI)

• Deep Learning in Speech Synthesis (Google Research Talk)

• Continuous Birdsong Recognition Using Gaussian Mixture Modeling of Image Shape Features

• 오디오 처리를 위한 동기식 프로그래밍: 룩업 테이블 오실레이터 사례 연구

• 생성형 AI 개론: 판별에서 생성으로, 잠재공간과 매니폴드

• 개발자 영어 학습법 1편: 듣기 중심 접근법

• Life of Pi 의 털 렌더링 기술 (Rendering Fur in Life of Pi)

• Coordinated Multi-Device Presentations: Ambient-Audio Identification

• 심층 피처 합성 (Deep Feature Synthesis) 개요

• 오토인코더 (Autoencoder) 개요 및 한계

• iVector-based Acoustic Data Selection

• Language Model Verbalization for Automatic Speech Recognition

• 기타 연주를 통한 이메일 입력 시스템

• Speech and Natural Language: Where Are We Now And Where Are We Headed

• Improved Domain Adaptation for Statistical Machine Translation

• Latent Mixture of Discriminative Experts (LMDE)

• Language Modeling Capitalization

• Accurate and Compact Large Vocabulary Speech Recognition on Mobile Devices

• Target Language Adaptation of Discriminative Transfer Parsers

• AGC 및 다중 스타일 학습을 통한 소형 키워드 스포팅

• 오프라인 아랍어 손글씨 인식 기술 동향 (A Survey)

• Recurrent Neural Networks for Voice Activity Detection

• Speaker Adaptation of Context Dependent Deep Neural Networks

• KamitaniLab DeepImageReconstruction 데이터 및 데모 코드

• Defunctionalized Interpreters for Call-by-Need Evaluation

• Affinity Weighted Embedding

• 대규모 분산 음향 모델링 및 백오프 N-그램

• 음성 품질 지표의 배경 소음 및 네트워크 열화에 대한 강건성 비교 (VISQOL, PESQ, POLQA)

• 영어 책 코퍼스 기반 시계열 구문 N-그램 데이터셋

• 3음만으로 음악을 식별하는 알고리즘 개발

• Efficient Estimation of Word Representations in Vector Space

• Universal Dependency Annotation for Multilingual Parsing

• The Intervalgram: 대규모 커버송 인식을 위한 오디오 특징

• SOINN (Self-Organizing Incremental Neural Network)

• Facebook, 일부 딥러닝 도구 오픈소스화

• 모바일 음성 검색을 위한 Google 쿼리 스트림의 언어 모델링 경험적 탐색

• 내가 찾은 Deep Learning 공부 최단경로(?)

• Deep Learning via Semi-Supervised Embedding

• 신경망을 이용한 자기 학습 헬리콥터

• Scalable Decipherment for Machine Translation via Hash Sampling

• Token and Type Constraints for Cross-Lingual Part-of-Speech Tagging

• From mixed-mode to multiple devices. Web surveys, smartphone surveys and apps

• Multiprotocol Label Switching (MPLS)

• 예측 모델링에 대한 실용서

• Enlisting the Ghost: Modeling Empty Categories for Machine Translation

• 모바일 네트워크 데이터를 활용한 도시 감지 연구 조사

• Social Event Classification via Boosted Multimodal Supervised Latent Dirichlet Allocation

• Behavioural reconfigurable and adaptive data reduction in body sensor networks

• Cross-Domain Multi-Event Tracking via CO-PMHT

• Google SyntaxNet 오픈소스 공개 및 원리

• WLAN-셀룰러 음성 핸드오버 평가를 위한 분석적 프레임워크

• 모바일 학습(m-learning) 애플리케이션 및 기술의 현황 분석