3-1. 데이터 분석 기법의 이해

1. 데이터 처리

• 데이터웨어하우스(DW), 데이터마트(DM)를 통해 분석데이터 구성
• 신규데이터나 DW에 없는 데이터는 기존 운영시스템(legacy)에서 직접 가져오거나 스테이징영역, 운영데이터저장소(ODS)에서 정제된 데이터를 가져와 DW의 데이터와 결합하여 활용
• 정형화된패던 처리
  • 비정형 데이터: DBMS에 저장됐다가 텍스트 마이닝을 거쳐 데이터 마트와 통합
  • 관계형 데이터: DBMS에 저장되어 사회 신경망분석을 거쳐 분석결과 통계값이 마트와 통합되어 활용

 

2. 시각화(그래프)

• 시각화는 가장 낮은 수준의 분석이지만 복잡한 분석보다 효율적
• 빅데이터 분석/탐색적 분석에서 필수
• SNA 분석(사회연결망 분석)에서 자주 활용

 

3. 공간분석 (GIS)

• 공간적 차원과 관련된 속성 시각화
• 지도 위에 관련 속성들을 생성하고 크기, 모양, 선 굵기 등으로 구분

 

4. 탐색적 자료 분석 (EDA)

• 다양한 차원과 값을 조합하여 의미있는 사실을 도출하고 분석의 최종 목적을 달성해가는 과정
• 데이터의 특징과 내재하는 구조적 관계를 알아내기 위한 기법들의 통칭
• 주제: 저항성의 강조, 잔차 계산, 자료변수의 재표현, 그래프를 통한 현시성

 

5. 통계분석

• 어떤 현상을 종합적으로 한 눈에 알아보기 쉽게 일정한 체계에 따라 숫자, 표, 그림 등의 형태로 나타내는 것
• 기술통계 descriptive statistics : 표본이 가지고 있는 정보를 쉽게 파악할 수 있도록 데이터를 정리 또는 요약하기 위해 표현
• 추측(추론)통계 inferential statistics : 표본의 통계량으로부터 모집단의 특성인 모수에 관해 통계적으로 추론하는 절차

 

6. 데이터 마이닝

• 대용량의 자료로부터 정보를 요약하고 미래에 대한 예측을 목표로 자료에 존재하는 관계, 패턴, 규칙 등을 탐색하고 모형화함으로써 유용한 지식을 추출하는 분석 방법
• 데이터베이스에서의 지식탐색: DW에서 DM를 생성하면서 각 데이터들의 속성을 사전분석을 통해 지식을 얻는 방법
• 기계학습 machine learning : 인공신경망, 의사결정나무, 클러스터링, 베이지안 분류, SVM 등
• 패턴인식 pattern recognition : 장바구니 분석, 연관규칙 등
• 평가기준: 정확도, 정밀도, 디텍트 레이트, 리프트