대규모 분산 음향 모델링 및 백오프 N-그램

Source

• Evernote/Inbox/Large Scale Distributed Acoustic Modeling With Back-off N-grams.md

Summary

구글 음성 검색 로그에서 필터링된 87,000 시간의 대용량 데이터를 활용하여, 기존 자동 음성 인식(ASR)보다 약 100배 큰 규모의 음향 모델을 구축한 연구입니다. N-그램 언어 모델링 기법을 차용한 백오프(back-off) 방식을 적용해 20~40백만 개 가우시안 모델로 최대 가능도(ML) 학습을 수행했습니다. 결과적으로 1차 통과 모델과 결합 시 단어 오류율(WER)이 ML 기준 11%, MMIE 기준 6% 상대 감소 효과를 보였으나, 5음소(quinphone) 이상의 문맥 확장에는 추가 이점이 없었습니다.

Key Points

• 데이터 규모: 구글 음성 검색 로그 기반 87,000 시간의 음성 및 전사 데이터 사용
• 모델 크기: 기존 대비 약 100배 확대된 20~40백만 개 가우시안 파라미터
• 방법론: N-그램 언어 모델링에서 영감을 받은 백오프(back-off) 음향 모델링 기법 적용
• 성능 개선: 1차 통과 모델과 결합 시 WER 상대 감소 (ML: 11%, MMIE: 6%)
• 한계점: 5음소(quinphone) 이상의 문맥 크기 증가는 성능 향상에 기여하지 않음

Related

• 모바일 음성 검색을 위한 Google 쿼리 스트림의 언어 모델링 경험적 탐색

• 영어 책 코퍼스 기반 시계열 구문 N-그램 데이터셋

• Recurrent Neural Networks for Voice Activity Detection

• Deep Learning in Speech Synthesis (Google Research Talk)

• WLAN-셀룰러 음성 핸드오버 평가를 위한 분석적 프레임워크

• 심층 신경망을 이용한 통계적 파라미터 음성 합성

• Accurate and Compact Large Vocabulary Speech Recognition on Mobile Devices

• Smooth Nonnegative Matrix Factorization for Unsupervised Audiovisual Document Structuring

• The Intervalgram: 대규모 커버송 인식을 위한 오디오 특징

• 대규모 분산 시스템의 에너지 효율성 향상 기술 조사

• Efficient Estimation of Word Representations in Vector Space

• 음성 품질 지표의 배경 소음 및 네트워크 열화에 대한 강건성 비교 (VISQOL, PESQ, POLQA)

• iVector-based Acoustic Data Selection

• 분산 네트워크 슬라이싱: 대규모 IoT 및 LoRaWAN 환경에서의 연합 게임 이론 적용

• 오프라인 아랍어 손글씨 인식 기술 동향 (A Survey)

• AGC 및 다중 스타일 학습을 통한 소형 키워드 스포팅

• Language Model Verbalization for Automatic Speech Recognition

• P2P 환경에서의 분산 컴퓨팅을 위한 탈중앙화 자원 발견 메커니즘

• 대규모 소프트웨어의 정밀한 의존성 추출 도구

• 3음만으로 음악을 식별하는 알고리즘 개발

• Speech and Natural Language: Where Are We Now And Where Are We Headed

• Whare-Map: 대규모 컴퓨팅 환경의 이질성(Heterogeneity) 활용

• CDN 부하 분산을 위한 분산 제어 법칙

• 분산 제약 만족 문제 (Decentralized CSP) 솔버

• 대규모 데이터 스트림의 불확실성 추정

• 분산 구성 문제의 모델링 및 해결: CSP 기반 접근법

• DurIAN_4S: 말하기 데이터로부터 노래 합성 학습

• 실시간 분산 미들웨어 표준에 대한 조사

• 분산 환경에서의 검색 확장성 및 클러스터링 역설 연구

• 개인 연구개발 방향: 분산 컴퓨팅 및 그룹 렌더링

• Language Modeling Capitalization

• DIP: P2P 라이브 스트리밍의 오염자 분산 식별

• Coordinated Multi-Device Presentations: Ambient-Audio Identification

• 분산 가상 환경의 관심사 관리(Iinterest Management)에 대한 서베이

• 분산 웹 UI 및 모바일 클라우드 컴퓨팅 연구 개요

• KamitaniLab DeepImageReconstruction 데이터 및 데모 코드

• Improved Domain Adaptation for Statistical Machine Translation

• Universal Dependency Annotation for Multilingual Parsing

• 브라우저 앙상블을 활용한 분산 컴퓨팅 (WeevilScout)

• APRICOD: 접근 패턴 기반 분산 캐싱 미들웨어

• Facebook, 일부 딥러닝 도구 오픈소스화

• SOINN (Self-Organizing Incremental Neural Network)

• Run:ai - 쿠버네티스 딥러닝 워크로드 분산 밸런싱

• 시뮬레이션을 활용한 전술 임무용 다중 에이전트 알고리즘 개발

• PyTorch를 이용한 딥러닝 모델의 분산 학습 개요

• PyTorch를 이용한 딥러닝 모델의 분산 학습 개요

• IPFS: 분산 웹의 핵심 개념과 활용

• D2D 강화 셀룰러 네트워크의 분산 자원 할당

• 분산 시스템 설계 소개: 마이크로서비스 아키텍처에서의 분할 (CodeProject)

• 오디오 처리를 위한 동기식 프로그래밍: 룩업 테이블 오실레이터 사례 연구

• 신경망을 이용한 자기 학습 헬리콥터

• G-RCA: 대규모 IP 네트워크를 위한 서비스 품질 관리용 일반화된 근본 원인 분석 플랫폼

• Continuous Birdsong Recognition Using Gaussian Mixture Modeling of Image Shape Features

• 조건부 도메인 제약 하의 손실 없는 선택 뷰

• 1980 년대 기술 환경에서의 위키백과 가상의 모습

• 분산 상호작용 애플리케이션을 위한 클라이언트 할당 최적화

• ClangMR: 대규모 C++ 코드베이스 자동 리팩토링 시스템

• Speaker Adaptation of Context Dependent Deep Neural Networks

• 심층 피처 합성 (Deep Feature Synthesis) 개요

• 중첩 커뮤니티 탐지 알고리즘 비교 연구 요약

• 을미년 2주차 랩 논문 미팅 요약

• Target Language Adaptation of Discriminative Transfer Parsers

• 대규모 네트워크에서의 멀웨어 전파 모델

• 카프카-스파크 및 인덱스 기술 논의 요약

• S2S 논문 전개 개요

• D2D 통신을 위한 결합 모드 선택 및 자원 할당

• Dissecting Darknets: Measurement and Performance Analysis

• 대규모 희소 네트워크의 커뮤니티 검출을 위한 의사 가능도 방법

• MCC Offloading 연구일지

• Omega: 대규모 컴퓨팅 클러스터를 위한 유연하고 확장 가능한 스케줄러

• 네트워크 가상화 환경의 장애 관리: 과제와 해결책

• Google SyntaxNet 오픈소스 공개 및 원리

• P2P 기반 시장 유도형 분산 라우팅 메커니즘 (MDR)

• QoE 기반 자원 할당 및 수요 조절 메커니즘

• The Green Abstraction Layer: A Standard Power-Management Interface for Next-Generation Network Devices

• 분산 합의 재검토 (Part I): Paxos 의 일반화 및 안전성 증명

• 무선 네트워크 가상화를 위한 확률 게임 프레임워크

• 내가 찾은 Deep Learning 공부 최단경로(?)

• 모바일 네트워크 데이터를 활용한 도시 감지 연구 조사

• 분산 RESTful 서비스 구성을 위한 제어 흐름 패턴

• 위키백과 링크 의미소거를 위한 토픽 모델링

• k-원자성 검증 문제 (k-atomicity-verification problem) 연구

• On Big Data Algorithmics

• 분산 엣지 클라우드 (Decentralized Edge Clouds)