[빅데이터의 이해]
1. 빅데이터의 정의
1) 관점에 따른 정의
Mckinsey (2011) | IDC (2011) | 가트너 그룹 (Gartner Group) 더그 래니 (Doug maney) | |
3V | 4V | ||
일반적인 데이터베이스 소프트웨어로 저장, 관리, 분석할 수 있는 범위를 초과하는 규모의 데이터 | 다양한 종류의 대규모 데이터로부터 저렴한 비용으로 가치를 추출하고, 데이터의 초고속 수집, 발굴, 분석을 지원하도록 고안된 차세대 기술 및 아키텍쳐 | Volume: 데이터의 규모 Variety: 데이터의 유형과 소스 Velocity: 데이터의 수집과 처리 |
Value (가치) Visualization (시각화) Veracity (정확성) |
데이터 규모에 중점을 둔 정의 | 분석 비용 및 기술에 초점을 둔 정의 |
2) 빅데이터 정의의 범주 및 효과
데이터 변화 | 기술 변화 | 인재, 조직 변화 |
규모 (Volumne) 형태 (Variety) 속도 (Velocity) |
데이터 처리, 저장, 분석기술 및 아키텍쳐 클라우드 컴퓨팅 활용 |
Data Scientist같은 새로운 인재 필요 데이터 중심 조직 |
- 기존 방식으로는 얻을 수 없는 통찰 및 가치 창출
- 사업방식, 시장, 사회, 정부 등에서 변화와 혁신 주도
2. 출현 배경과 변화
- 산업계의 출현배경: 고객 데이터 축척, 보유를 통해 데이터에 숨어있는 가치 발굴
- 학계의 출현배경: 거대 데이터를 다루는 학문 분야가 늘어나면서 필요한 기술 아키텍쳐 및 통계 도구의 발전
- 기술발전으로 인한 출현배경: 관련기술(저장 기술, 인터넷 보급, 클라우드 컴퓨팅, 모바일 혁명)의 발달
3. 빅데이터에 거는 기대의 비유적 표현
- 산업혁명의 석탄과 철, 21세기의 원유, 렌즈, 플랫폼
4. 빅데이터가 만들어내는 본질적인 변화
- 사전처리 -> 사후처리
- 표본조사 -> 전수조사
- 질 -> 양
- 인과관계 -> 상관관계
[빅데이터의 가치와 영향]
1. 빅데이터의 가치 산정이 어려운 이유
- 데이터 활용방식
- 새로운 가치 창출
- 분석기술 발전
2. 빅데이터의 영향
분야 | 영향 | 내용 |
기업 | 혁신, 경쟁력 제고, 생산성 향상 | 빅데이터를 활용해 소비자의 행동을 분석하고 시장 변동을 예측해 비즈니스 모델을 혁신하거나 신사업 발굴 |
정부 | 환경 탐색, 상황분석, 미래대응 | 기상, 인구이동, 각종 통계, 법제 데이터 등을 수집해 사회변화를 추정, 정보 추출 |
개인 | 목적에 따른 활용 | 개인은 빅데이터를 서비스하는 기업의 출현으로 비용이 지속적으로 하락하여 정치인이나 대중 가수 등이 인지도 향상에 빅데이터 활용 |
-> 생활 전반의 스마트화
[비즈니스 모델]
1. 빅데이터 활용 사례
1) 관점에 따른 정의
- 구글: 사용자의 로그 데이터를 활용한 검색엔진 개발, 기존 페이지랭크 알고리즘 혁신
- 월마트: 고객의 구매패턴을 분석해 상품 진열에 활용
2) 정부: 실시간 교통정보 수집, 기후 정복, 소방 서비스 등을 위해 실시간 모니터링을 실시하여 국가 안전 확보에 활용
3) 개인
- 정치인: 선거 승리를 위해 사회관계망 분석을 활용해 유세 지역 선거
- 가수: 팬들의 음악 청취 기록을 부넉해 공연 시 노래 순서 선정
2. 빅데이터 활용 기본 테크닉: 연관규칙 학습, 군집분석, 유전 알고리즘, 기계학습, 회귀분석, 감정분석, 소셜네트워크분석(=사회관계망분석)
[위기 요인과 통제 방안]
- 사생활 침해 : 동의에서 책임으로 (개인정보 제공자의 동의 -> 개인정보 사용자의 책임) -> 익명화 기술 발전 필요
- 책임 원칙 훼손 : 결과 기반 책임 원칙 고수 -> 잠재적 위협이 아닌 명확한 결과에 대한 책임
- 데이터 오용 : 알고리즘 접근 허용
[미래의 빅데이터]
빅데이터 활용 3요소
- 데이터: 모든 것의 데이터화 (datafication)
- 기술: 진화하는 알고리즘, 인공지능
- 인력: 데이터 사이언티스트, 알고리즈미스트
'STATISTICS > ADsP' 카테고리의 다른 글
2-2. 분석 마스터 플랜 (0) | 2020.08.22 |
---|---|
2-1. 데이터 분석 기획의 이해 (0) | 2020.08.20 |
참고 - 빅데이터 (0) | 2020.08.19 |
1-3. 가치 창조를 위한 데이터 사이언스와 전략 인사이트 (0) | 2020.08.18 |
1-1. 데이터의 이해 (0) | 2020.08.17 |