SOINN (Self-Organizing Incremental Neural Network)
Source
Evernote/Technote scraps/Hasegawa Lab., Tokyo Institute of Technology.md
Summary
도쿄공과대학교 하세가와 연구소(Hasegawa Lab)에서 개발한 비지도 온라인 증분 학습 알고리즘인 SOINN(Self-Organizing Incremental Neural Network) 및 그 변형 모델(E-SOINN, SOINN-NN)에 대한 소개 문서입니다. SOINN은 GNG와 SOM을 기반으로 하며, 네트워크 구조를 사전 정의할 필요 없이 비정상(non-stationary)이고 복잡한 분포의 온라인 데이터에서 클래스 수를 추정하고 노이즈에 강건하게 학습할 수 있습니다. 주요 특징으로는 낮은 계산 비용, 실시간 처리 적합성, 그리고 원형 기반 분류기(ASC)를 통한 빠른 분류 성능이 있습니다.
Key Points
- SOINN은 GNG와 SOM을 기반으로 한 비지도 온라인 증분 학습 방법입니다.
- 사전 네트워크 구조 정의 불필요하며, 노이즈에 강건하고 계산 비용이 낮습니다.
- 비정상(non-stationary) 데이터의 분포 근사 및 클래스 수 자동 추정이 가능합니다.
- E-SOINN: 단일 레이어 구조로 변경하여 파라미터 감소 및 안정성 향상, 고밀도 겹침 클러스터 분리 개선.
- SOINN-NN (ASC): 원형 기반 최근접 이웃 분류기로, 빠른 분류 속도와 높은 압축률을 제공합니다.
- 주요 저자: Shen Furao, Osamu Hasegawa (도쿄공과대학교)
Related
-
실내 이동 객체를 위한 거리 기반 조인 (Distance-Aware Join for Indoor Moving Objects)
-
Coordinated Multi-Device Presentations: Ambient-Audio Identification
-
Improved Domain Adaptation for Statistical Machine Translation
-
Speaker Adaptation of Context Dependent Deep Neural Networks
-
Accurate and Compact Large Vocabulary Speech Recognition on Mobile Devices
-
Speech and Natural Language: Where Are We Now And Where Are We Headed
-
Language Model Verbalization for Automatic Speech Recognition
-
Target Language Adaptation of Discriminative Transfer Parsers
-
Efficient Estimation of Word Representations in Vector Space
-
Scalable Decipherment for Machine Translation via Hash Sampling
-
Token and Type Constraints for Cross-Lingual Part-of-Speech Tagging
-
Enlisting the Ghost: Modeling Empty Categories for Machine Translation