AncomWiki

Parallel Boosting with Momentum (BOOM)

Properties1
description구글 연구진이 제안한 BOOM(Boosting with Momentum) 알고리즘은 네스테로프 가속 경사법과 병렬 좌표 하강법을 융합한 방법입니다. 이 알고리즘은 가속 경사법의 모멘텀과 수렴 특성을 유지하면서 목적 함수의 곡률을 고려합니다. 특히 대규모 고차원 데이터셋에 적합한 분산 구현이 가능하며, 희소하지만 정보량이 많은 특징(rare yet informative features)이 포함된 대규모 학습 문제에서 효과적입니…

5 min read

Parallel Boosting with Momentum (BOOM)

Source

  • Evernote/IFTTT Feedly/Parallel Boosting with Momentum.md

Summary

구글 연구진이 제안한 BOOM(Boosting with Momentum) 알고리즘은 네스테로프 가속 경사법과 병렬 좌표 하강법을 융합한 방법입니다. 이 알고리즘은 가속 경사법의 모멘텀과 수렴 특성을 유지하면서 목적 함수의 곡률을 고려합니다. 특히 대규모 고차원 데이터셋에 적합한 분산 구현이 가능하며, 희소하지만 정보량이 많은 특징(rare yet informative features)이 포함된 대규모 학습 문제에서 효과적입니다.

Key Points

  • BOOM 알고리즘: 네스테로프 가속 경사와 병렬 좌표 하강법의 융합
  • 가속 경사법의 모멘텀 및 수렴 특성 유지
  • 목적 함수의 곡률 고려
  • 대규모 고차원 데이터셋을 위한 분산 구현 지원
  • 희소하지만 정보량이 많은 특징이 있는 대규모 학습 문제에 효과적

그래프 뷰

백링크