다음(Daum)의 빅데이터 전략: 오픈소스 내재화와 데이터 개발자
Source
Evernote/Article Scraps/빅데이터, 오픈소스 내재화가 중요.md
Summary
본 문서는 2012 년 다음 (Daum) 윤석찬 팀장의 인터뷰 및 발표 내용을 바탕으로, 빅데이터 환경에서 오픈소스 기술의 내재화와 개발자 중심의 분석 문화 확장의 중요성을 다룹니다. 다음은 일간 70TB 에 달하는 로그 데이터를 처리하며, Hadoop, NoSQL, Storm 등 오픈소스 플랫폼을 적극 활용하여 실시간 분석과 광고 수익 최적화를 도모하고 있습니다. 핵심 인사이트는 전문 데이터 마이닝 팀보다는 서비스 개발팀이 직접 데이터를 분석하는 ‘데이터 개발자 (Data Developer)’ 모델의 확대, 그리고 상용 벤더 의존도를 낮추고 오픈소스 생태계 참여를 통한 기술 주권 확보의 필요성입니다. 또한 국내 빅데이터 시장 성장을 위해 공공 프로젝트의 오픈소스 채택 의무화와 경영진의 데이터 가치 인식 제고가 시급하다고 지적합니다.
Key Points
- 오픈소스 내재화: Hadoop, NoSQL, Storm, Dremel 등 오픈소스 기반의 대용량 및 실시간 분석 플랫폼을 적극 도입하여 상용 솔루션 의존도를 낮추고 기술 학습 비용을 투자한다.
- 데이터 개발자 (Data Developer) 중심: 전문 데이터 마이닝 팀보다는 서비스 개발자가 직접 데이터를 분석하고 적용하는 문화가 중요하며, 개발자의 분석적 사고와 오픈소스 활용 능력 (Geek 정신) 이 핵심이다.
- 실시간 분석과 비즈니스 연계: 모바일 및 소셜 데이터 증가에 따라 광고 추천 알고리즘 개선과 실시간 데이터 분석을 통해 비즈니스 수익을 창출하는 것이 주요 과제이다.
- 국내 생태계 문제점: SI 업계와 대형 프로젝트의 외산 상용 벤더 독식 현상이 심하며, 공공 프로젝트에서의 오픈소스 채택 비율 강제와 경영진의 데이터 가치 인식 제고가 필요하다.
- 데이터의 가치: 빅데이터는 단순한 데이터 축적이 아닌, 데이터를 통해 기존 비즈니스를 개선하고 지속 가능한 비즈니스 모델로 전환하는 수단이다.