Efficient Estimation of Word Representations in Vector Space

Source

• Evernote/Papers/Efficient Estimation of Word Representations in Vector Space.md

Summary

이 논문은 대규모 데이터셋에서 단어의 연속 벡터 표현을 학습하기 위한 두 가지 새로운 모델 아키텍처를 제안합니다. 기존 신경망 기반 기법 대비 계산 비용은 현저히 낮으면서(16억 단어 데이터셋 학습에 1일 미만), 문법적 및 의미적 단어 유사성 측정에서 최첨단(state-of-the-art) 성능을 달성함을 입증합니다.

Key Points

• 대규모 데이터셋을 위한 효율적인 단어 벡터 학습 모델 2종 제안
• 기존 신경망 기법 대비 정확도 향상 및 계산 비용 대폭 절감
• 16억 단어 데이터셋 학습 시간 1일 미만 소요
• 문법적/의미적 단어 유사성 평가에서 최첨단 성능 달성

Related

• Efficient Inference and Structured Learning for Semantic Role Labeling

• Supporting Flexible, Efficient, and User-Interpretable Retrieval of Similar Time Series

• Wireless Networks Design in the Era of Deep Learning Model-Based, AI-Based, or Both

• Effective and Robust Query-Based Stemming

• Recurrent Neural Networks for Voice Activity Detection

• 대용량 텍스트 컬렉션에서의 효율적 퍼지 검색

• K-RBMs를 이용한 다중 비선형 부분공간 학습

• Accurate and Compact Large Vocabulary Speech Recognition on Mobile Devices

• Efficient Index-Based Snippet Generation

• 3D 객체 검색을 위한 시맨틱 시그니처 학습

• 언어 독립적 시간 표현 판별적 파싱 (Language-Independent Discriminative Parsing of Temporal Expressions)

• Efficient Time-Stamped Event Sequence Anonymization

• Patent Query Formulation by Synthesizing Multiple Sources of Relevance Evidence

• HyperLogLog in Practice: Algorithmic Engineering of a State of The Art Cardinality Estimation Algorithm

• Efficient Closed-Form Solution to Generalized Boundary Detection

• A term-based inverted index partitioning model for efficient distributed query processing

• 심층 신경망을 이용한 통계적 파라미터 음성 합성

• Semantic Queries by Example

• 모바일 음성 검색을 위한 Google 쿼리 스트림의 언어 모델링 경험적 탐색

• TSum: Fast, Principled Table Summarization

• Scalable Database-Driven Reverse Dictionary

• Supervised Robust Discrete Multimodal Hashing (SRDMH)

• Query Reformulation Modeling using Query Distributions

• 영어 책 코퍼스 기반 시계열 구문 N-그램 데이터셋

• Deep Learning in Speech Synthesis (Google Research Talk)

• 대규모 분산 음향 모델링 및 백오프 N-그램

• 음성 품질 지표의 배경 소음 및 네트워크 열화에 대한 강건성 비교 (VISQOL, PESQ, POLQA)

• Latent Mixture of Discriminative Experts (LMDE)

• Continuous Birdsong Recognition Using Gaussian Mixture Modeling of Image Shape Features

• Transfer Learning In MIR: Sharing Learned Latent Representations For Music Audio Classification And Similarity

• DurIAN_4S: 말하기 데이터로부터 노래 합성 학습

• The Intervalgram: 대규모 커버송 인식을 위한 오디오 특징

• 3음만으로 음악을 식별하는 알고리즘 개발

• Smooth Nonnegative Matrix Factorization for Unsupervised Audiovisual Document Structuring

• Image Annotation in Presence of Noisy Labels

• Language Modeling Capitalization

• AGC 및 다중 스타일 학습을 통한 소형 키워드 스포팅

• 오프라인 아랍어 손글씨 인식 기술 동향 (A Survey)

• Source-Side Classifier Preordering for Machine Translation

• Speech and Natural Language: Where Are We Now And Where Are We Headed

• Improved Domain Adaptation for Statistical Machine Translation

• iVector-based Acoustic Data Selection

• Weakly Supervised Learning of Object Segmentations from Web-Scale Video

• Spaces, Trees, and Colors: 시퀀스 기반 문서 검색의 알고리즘 풍경

• Cross-Domain Feature Learning in Multimedia

• KamitaniLab DeepImageReconstruction 데이터 및 데모 코드

• Reducing Lookups for Invariant Checking

• Language Model Verbalization for Automatic Speech Recognition

• Discriminative Segment Annotation in Weakly Labeled Video

• 자동화에 대한 신뢰 (Trust in Automation)

• Coordinated Multi-Device Presentations: Ambient-Audio Identification

• XML 데이터에 대한 키워드 쿼리의 컨텍스트 기반 다양화

• A Top-Down Approach for Video Summarization

• A Hamming Embedding Kernel with Informative Bag-of-Visual Words for Video Semantic Indexing

• Enriching Documents with Examples: A Corpus Mining Approach

• XXS: 압축된 XML 문서에서의 효율적인 XPath 평가

• Universal Dependency Annotation for Multilingual Parsing

• SOINN (Self-Organizing Incremental Neural Network)

• 다중 특징 분석 및 시맨틱 컨텍스트 학습을 통한 이미지 분류

• Structured Streaming Skeleton (SSS): 온라인 인간 제스처 인식용 새로운 특징 추출 방법

• Rolling Up Random Variables in Data Cubes

• Facebook, 일부 딥러닝 도구 오픈소스화

• Cross-Media Tag Transfer (CMTT): 이미지에서 비디오로 태그 지식 이전

• Target Language Adaptation of Discriminative Transfer Parsers

• 시간적 이미지 시퀀스를 위한 최적화된 만화 스토리텔링 시스템

• Attribute-Augmented Semantic Hierarchy (A2SH) for CBIR

• k-parity 테스트의 비적응적 쿼리 복잡도

• 대규모 다중 라벨 전파를 위한 효율적인 희소 그래프 구성

• Query-Adaptive Image Search With Hash Codes

• Approximate Recall Confidence Intervals

• WLAN-셀룰러 음성 핸드오버 평가를 위한 분석적 프레임워크

• Transfer Joint Embedding for Cross-Domain NER

• Similarity Preserving Feature Selection (SPFS)

• 규칙 기반 엔티티 해결 (Rule-Based Entity Resolution)

• Life of Pi 의 털 렌더링 기술 (Rendering Fur in Life of Pi)

• Enlisting the Ghost: Modeling Empty Categories for Machine Translation

• Patch-Based Image Warping for Content-Aware Retargeting

• Beyond Text QA: Multimedia Answer Generation by Harvesting Web Information

• Sparse Hashing (SH) for Fast Multimedia Search

• 위키피디아 문서 품질 평가 알고리즘

• Speaker Adaptation of Context Dependent Deep Neural Networks

• Breaking Out of Local Optima with Count Transforms and Model Recombination: A Study in Grammar Induction

• A survey of trust in social networks

• Reversible Data Hiding With Optimal Value Transfer

• Social Event Classification via Boosted Multimodal Supervised Latent Dirichlet Allocation

• 예측 모델링에 대한 실용서

• Iustitia: 정보 이론적 접근을 통한 고속 플로우 성격 식별

• Recursive Sparse Spatiotemporal Coding

• 인간 동작 분석을 위한 특이값 분해(SVD) 기반 지식 획득 방법

• Fast, Accurate Detection of 100,000 Object Classes on a Single Machine (Technical Supplement)

• Efficient Multiview Maintenance under Insertion in Huge Social Networks

• Eureka: Edge-Based Discovery of Training Data for Machine Learning

• Learning Semantic Representations Of Objects And Their Parts

• Video Snippets

• A Model for Context in the Design of Open Production Communities

• 음성 피드백 고려)

• Fast Near-Duplicate Image Detection Using Uniform Randomized Trees

• Online Estimation of Evolving Human Visual Interest

• TPCKT: Two-Level Progressive Cross-Media Knowledge Transfer

• Active Learning through Adaptive Heterogeneous Ensembling (AHE)

• Point Representation for Local Optimization: Towards Multi-Dimensional Gray Codes

• Joint consideration of energy-efficiency and coverage-preservation in microsensor networks

• Incremental Text Indexing for Fast Disk-Based Search