본문은 빅데이터가 이론을 대체한다는 주장을 비판하며, 상관관계와 인과관계의 차이를 명확히 구분해야 함을 강조한다. 빅데이터의 진정한 가치는 방대한 데이터에서 의미 있는 패턴(상관관계)을 발견하는 데 있으나, 데이터의 양과 비정형성으로 인해 분석 도구의 한계가 존재한다. 데이터 원천은 인간 생성 데이터와 사물인터넷(IoT) 데이터로 나뉘며, 후자가 더 큰 도전과 기회를 제공한다. 인터넷 연결의 진화 단계(컴퓨터→모바일→사물→육…
7 min read
빅데이터 이론의 종말 아닌 질문의 시작
Source
Evernote/Article Scraps/빅데이터 이론의 종말 아닌 질문의 시작 VentureSquare.md
Summary
본문은 빅데이터가 이론을 대체한다는 주장을 비판하며, 상관관계와 인과관계의 차이를 명확히 구분해야 함을 강조한다. 빅데이터의 진정한 가치는 방대한 데이터에서 의미 있는 패턴(상관관계)을 발견하는 데 있으나, 데이터의 양과 비정형성으로 인해 분석 도구의 한계가 존재한다. 데이터 원천은 인간 생성 데이터와 사물인터넷(IoT) 데이터로 나뉘며, 후자가 더 큰 도전과 기회를 제공한다. 인터넷 연결의 진화 단계(컴퓨터→모바일→사물→육체)를 설명하며, 최종 단계인 인간과 인터넷의 연결(예: 구글 글래스)이 가져올 윤리적, 법적 문제를 지적한다. 결론적으로 빅데이터 분석의 핵심은 기술적 처리 능력이 아니라, 올바른 질문을 던지고 가설을 검증하는 과정에 있음을 강조한다.
Key Points
빅데이터는 이론을 무력화하지 않으며, 오히려 새로운 이론화와 질문의 시작점이 될 수 있다.
상관관계(예: 기저귀와 맥주)는 비즈니스적 가치가 높으나, 인과관계(예: 황새와 신생아)로 오해해서는 안 된다.
빅데이터의 주요 특징은 방대한 양과 비정형성으로, 기존 SQL 및 서버 시스템의 한계를 드러낸다.
데이터 원천은 인간이 생성하는 소셜/쇼핑 데이터와 사물인터넷(IoT) 기기에서 생성되는 데이터로 구분되며, IoT 데이터가 더 큰 규모와 복잡성을 가진다.
인터넷 연결의 4단계 진화: 1. 컴퓨터 연결, 2. 모바일/태블릿 확산, 3. 사물의 인터넷(IoT), 4. 육체와 인터넷의 연결(웨어러블 등).
인간 감각기관과 인터넷의 연결은 Always-on-Camera, 데이터 수집 등 심각한 윤리적, 법적 문제를 야기할 수 있다.
빅데이터 분석의 성공은 기술적 도구(하둡 등)보다 올바른 질문 설정과 가설 검증 과정에 달려 있다.