본문 바로가기

STATISTICS/ADsP

1-2. 데이터의 가치와 미래

[빅데이터의 이해]

1. 빅데이터의 정의

1) 관점에 따른 정의

Mckinsey (2011) IDC (2011) 가트너 그룹 (Gartner Group) 더그 래니 (Doug maney)
3V 4V
일반적인 데이터베이스 소프트웨어로 저장, 관리, 분석할 수 있는 범위를 초과하는 규모의 데이터 다양한 종류의 대규모 데이터로부터 저렴한 비용으로 가치를 추출하고, 데이터의 초고속 수집, 발굴, 분석을 지원하도록 고안된 차세대 기술 및 아키텍쳐 Volume: 데이터의 규모
Variety: 데이터의 유형과 소스 
Velocity: 데이터의 수집과 처리
Value (가치)
Visualization (시각화)
Veracity (정확성)
데이터 규모에 중점을 둔 정의 분석 비용 및 기술에 초점을 둔 정의

2) 빅데이터 정의의 범주 및 효과

데이터 변화 기술 변화 인재, 조직 변화
규모 (Volumne)
형태 (Variety)
속도 (Velocity)
데이터 처리, 저장, 분석기술 및 아키텍쳐
클라우드 컴퓨팅 활용
Data Scientist같은 새로운 인재 필요
데이터 중심 조직
  • 기존 방식으로는 얻을 수 없는 통찰 및 가치 창출
  • 사업방식, 시장, 사회, 정부 등에서 변화와 혁신 주도

2. 출현 배경과 변화

  • 산업계의 출현배경: 고객 데이터 축척, 보유를 통해 데이터에 숨어있는 가치 발굴
  • 학계의 출현배경: 거대 데이터를 다루는 학문 분야가 늘어나면서 필요한 기술 아키텍쳐 및 통계 도구의 발전
  • 기술발전으로 인한 출현배경: 관련기술(저장 기술, 인터넷 보급, 클라우드 컴퓨팅, 모바일 혁명)의 발달

3. 빅데이터에 거는 기대의 비유적 표현

  • 산업혁명의 석탄과 철, 21세기의 원유, 렌즈, 플랫폼

4. 빅데이터가 만들어내는 본질적인 변화

  • 사전처리 -> 사후처리 
  • 표본조사 -> 전수조사
  • 질 ->
  • 인과관계 -> 상관관계

 

[빅데이터의 가치와 영향]

1. 빅데이터의 가치 산정이 어려운 이유

  • 데이터 활용방식
  • 새로운 가치 창출
  • 분석기술 발전

2. 빅데이터의 영향

분야 영향 내용
기업 혁신, 경쟁력 제고, 생산성 향상 빅데이터를 활용해 소비자의 행동을 분석하고 시장 변동을 예측해 비즈니스 모델을 혁신하거나 신사업 발굴
정부 환경 탐색, 상황분석, 미래대응 기상, 인구이동, 각종 통계, 법제 데이터 등을 수집해 사회변화를 추정, 정보 추출
개인 목적에 따른 활용 개인은 빅데이터를 서비스하는 기업의 출현으로 비용이 지속적으로 하락하여 정치인이나 대중 가수 등이 인지도 향상에 빅데이터 활용

-> 생활 전반의 스마트화

 

[비즈니스 모델]

1. 빅데이터 활용 사례

1) 관점에 따른 정의

  • 구글: 사용자의 로그 데이터를 활용한 검색엔진 개발, 기존 페이지랭크 알고리즘 혁신
  • 월마트: 고객의 구매패턴을 분석해 상품 진열에 활용

2) 정부: 실시간 교통정보 수집, 기후 정복, 소방 서비스 등을 위해 실시간 모니터링을 실시하여 국가 안전 확보에 활용

3) 개인

  • 정치인: 선거 승리를 위해 사회관계망 분석을 활용해 유세 지역 선거
  • 가수: 팬들의 음악 청취 기록을 부넉해 공연 시 노래 순서 선정

2. 빅데이터 활용 기본 테크닉: 연관규칙 학습, 군집분석, 유전 알고리즘, 기계학습, 회귀분석, 감정분석, 소셜네트워크분석(=사회관계망분석)

 

[위기 요인과 통제 방안]

  • 사생활 침해 : 동의에서 책임으로 (개인정보 제공자의 동의 -> 개인정보 사용자의 책임) -> 익명화 기술 발전 필요
  • 책임 원칙 훼손 : 결과 기반 책임 원칙 고수 -> 잠재적 위협이 아닌 명확한 결과에 대한 책임
  • 데이터 오용 : 알고리즘 접근 허용 

 

[미래의 빅데이터]

빅데이터 활용 3요소

  • 데이터: 모든 것의 데이터화 (datafication)
  • 기술: 진화하는 알고리즘, 인공지능
  • 인력: 데이터 사이언티스트, 알고리즈미스트