추천 시스템 분석: 아마존과 넷플릭스의 취향 예측 원리
Source
Evernote/Advanced View Required/추천 시스템 분석 – 어떻게 아마존과 넷플릭스가 당신의 취향을 예상하는가 kth 개발자 블로그.1.md
Summary
이 문서는 아마존, 넷플릭스 등 주요 플랫폼에서 활용되는 추천 시스템의 핵심 알고리즘인 ‘협업 필터링(Collaborative Filtering)‘을 분석한다. 협업 필터링은 크게 ‘사용자 기반(User-User)‘과 ‘아이템 기반(Item-Item)’ 두 가지 방식으로 나뉜다. 사용자 기반은 유사한 취향을 가진 다른 사용자를 찾는 방식이지만 데이터 부족과 블록버스터 효과로 인한 한계가 있다. 반면, 아이템 기반은 아이템 간의 유사도를 계산하여 추천하는 방식으로, 현재 대부분의 상용 시스템에서 채택하고 있으며 데이터 축적 시 정확도가 높아진다. 또한, 사용자 평가의 일관성 부족과 유사 아이템 추천의 한계를 극복하기 위해 ‘차원 축소(Dimensionality Reduction)’ 기법, 특히 특이값 분해(SVD)를 사용하여 고차원 데이터를 일반화된 패턴(예: 짠 음식 선호 등)으로 압축하여 추천 효율을 높이는 방법을 설명한다.
Key Points
- 추천 시스템은 Netflix(대여 2/3), Amazon(판매 35%) 등에서 비즈니스에 지대한 영향을 미침.
- 협업 필터링의 두 가지 주요 방식: 사용자 기반(User-User)과 아이템 기반(Item-Item).
- 사용자 기반 필터링은 공통 데이터 부족과 인기 아이템 편중 현상으로 인해 한계가 있음.
- 아이템 기반 필터링은 아이템 간 유사도 계산에 기반하며, 데이터 축적 시 정확도 향상 가능성이 높아 현재 주류임.
- 사용자 평가의 변동성(inconsistency)과 유사 아이템 추천의 한계를 해결하기 위해 차원 축소 기법이 필요함.
- 특이값 분해(SVD)를 통한 차원 축소는 수천 가지 아이템의 선호도를 수십~수백 개의 일반화된 차원(예: 짠맛, 구이 선호)으로 압축하여 새로운 아이템의 분류와 추천을 효율화함.
Related
-
Nonlinear Latent Factorization by Embedding Multiple User Interests
-
Stock Selection Model Based on Machine Learning with Wisdom of Experts and Crowds
-
Web Service Compositions with Fuzzy Preferences: A Graded Dominance Relationship-Based Approach
-
Knowledge-Based Approaches to Information Management in Coalition Environments
-
Knowledge-Based Approaches to Information Management in Coalition Environments
-
Beyond Text QA: Multimedia Answer Generation by Harvesting Web Information