본문 바로가기

STATISTICS/ADsP

3-5. 정형 데이터 마이닝 2020. 8. 28. 13:54 [데이터마이닝의 개요] 1. 데이터마이닝 1) 개요 정의: 대용량 데이터에서 의미있는 패턴을 파악하거나 예측하여 의사결정에 활용하는 방법 통계분석과 차이점: 가설이나 가정에 따른 분석, 검증을 하는 통계분석과 달리 데이터마이닝은 다양한 수리 알고리즘을 이용해 데이터베이스의 데이터로부터 의미있는 정보 추출 활용 분야: 분류, 예측, 군집화, 시각화 등 방법론: 의사결정나무, 로지스틱 회귀분석, 최근접 이웃법, 군집분석, 연관규칙분석 등 2) 분석 방법 Supervised Learning Unsupervised Learning 의사결정나무 Decision Tree 인공신경망 Artificial Neural Network 로지스틱 회귀분석 Logistic Regression 최근접이웃법 K-Nearest Ne..
3-4. 통계분석 2020. 8. 27. 10:54 [통계분석의 이해] 1. 통계 통계: 특정집단을 대상으로 수행한 조사나 실험을 통해 나온 결과에 대한 요약된 형태의 표현 통계자료의 획득 방법: 총 조사(census)와 표본조사 (sampling) 표본 추출 방법: 단순랜덤추출, 계통추출법, 집락추출법, 층화추출법 자료의 측정 방법 명목척도: 측정 대상이 어느 집단에 속하는지 분류 순서척도: 측정 대상의 서열관계를 관측하는 척도 구간척도(등간척도): 측정 대상이 갖고 있는 속성의 양을 추구하는 것으로 구간이라 구간 사이의 간격이 의미가 있는 자료 비율척도: 간격(차이)에 대한 비율이 의미를 가지는 자료, 절대적 기준인 0이 존재하고 사칙연산이 가능하며 제일 많은 정보를 가지는 척도 2. 통계분석 특정한 집단이나 불확실한 현상을 대상으로 자료를 수집해 대..
3-3. 데이터 마트 2020. 8. 25. 00:49 [데이터 변경 및 요약] 1. 데이터 마트 : 데이터 웨어하우스의 사용자 사이의 중간층에 위치한 것으로, 하나의 주제 또는 하나의 부서 중심의 데이터 웨어하우스 2. 요약변수와 파생변수 요약변수 파생변수 정의 수집된 정보를 분석에 맞게 종합한 변수로 데이터 마트에서 가장 기본적인 변수 많은 모델이 공통으로 사용할 수 있어 재활용성 높음 사용자(분석가)가 특정 조건을 만족하거나 특정 함수에 의해 값을 만들어 의미를 부여한 변수 매우 주관적일 수 있으므로 논리적 타당성을 갖출 필요가 있음 세분화, 고객행동 예측, 캠페인 반응 예측에 활용 예시 기간별 구매 금액/횟수/여부, 위클리 쇼퍼 ,상품별 구매 금액/횟수/ 여부, 상품별 구매 순서, 유통 채널별 구매 금액, 단어 빈도, 초기 행동변수, 트렌트 변수, 결..
3-2. R프로그래밍 기초 2020. 8. 23. 00:44 [R 소개] 1. R의 탄생 R은 오픈소스 프로그램으로 통계, 데이터마이닝과 그래프를 위한 언어 다양한 최신 통계분석과 마이닝 기능을 제공하며, 5,000개에 이르는 패키지 수시 업데이트 2. 통계분석 도구의 비교 구분 SAS, SPSS R 프로그램 비용 유료, 고가 오픈소스 설치용량 대용량 모듈화로 간간 다양한 모듈 지원 및 비용 별도구매 오픈소스 최근 알고리즘 및 기술반영 느림 매우빠름 학습자료 입수의 편의성 유료 도서 위주 공개 논문 및 자료 많음 질의를 위한 공개 커뮤니티 NA 매우 활발 3. R의 특징 오픈소스 프로그램 뛰어난 그래픽 및 성능 시스템 데이터 저장 방식 모든 운영체제에서 사용 가능(윈도우, 맥, 리눅스) 표준 플랫폼(S 언어 기반) 객체 지향 언어이면서 함수형 언어 [R 기초] 1..
3-1. 데이터 분석 기법의 이해 2020. 8. 22. 20:05 1. 데이터 처리 데이터웨어하우스(DW), 데이터마트(DM)를 통해 분석데이터 구성 신규데이터나 DW에 없는 데이터는 기존 운영시스템(legacy)에서 직접 가져오거나 스테이징영역, 운영데이터저장소(ODS)에서 정제된 데이터를 가져와 DW의 데이터와 결합하여 활용 정형화된패던 처리 비정형 데이터: DBMS에 저장됐다가 텍스트 마이닝을 거쳐 데이터 마트와 통합 관계형 데이터: DBMS에 저장되어 사회 신경망분석을 거쳐 분석결과 통계값이 마트와 통합되어 활용 2. 시각화(그래프) 시각화는 가장 낮은 수준의 분석이지만 복잡한 분석보다 효율적 빅데이터 분석/탐색적 분석에서 필수 SNA 분석(사회연결망 분석)에서 자주 활용 3. 공간분석 (GIS) 공간적 차원과 관련된 속성 시각화 지도 위에 관련 속성들을 생성하..
2-2. 분석 마스터 플랜 2020. 8. 22. 19:47 [마스터 플랜 수립 프레임 워크] 1. 마스터 플랜 수립 프레임 워크 : 분석 과제를 대상으로 다양한 기준을 고려해 적용 우선순위를 설정하고, 데이터 분석 구현을 위한 로드맵 수립 우선순위 고려요소 적용범위/방식 고려요소 1. 전략적 중요도 적용 우선순위 설정 1. 업무 내재화 적용 수준 Analytics 구현 로드맵 수립 2. 비즈니스 성과 / ROI 2. 분석데이터 적용 수준 3. 실행 용이성 3. 기술 적용 수준 2. 우선순위 평가에 활용하기 위한 ROI 관점에서 빅데이터의 핵심 특징 4V 3V 1. 크기 Volume 데이터 규모/양 투자비용 요소 (Investment) 2. 다양성 Variety 데이터 종류/유형 3. 속도 Velocity 데이터 생성속도/처리속도 4. 가치 Value 분석 결과 ..
2-1. 데이터 분석 기획의 이해 2020. 8. 20. 23:44 [분석 기획 방향성 도출] 1. 분석 기획의 특징 1) 분석 기획: 실제 분석을 수행하기에 앞서 분석을 수행할 과제를 정의하고, 의도했던 결과를 도출할 수 있도록 이를 적절하게 관리할 수 있는 방안을 사전에 계획하는 일련의 작업 2) 데이터 사이언티스트의 역량: 수학/통계학적 지식, 정보기술(IT 기술, 해킹기술, 통신기술 등), 비즈니스에 대한 이해와 전문성 2. 분석 대상과 방법 분석 주제 유형 분석 대상 (What) known unknown 분석방법 How known Optimization Insight unknown Solution Discovery 3. 목표 시점별 분석기획 방안 당면한 분석 주제의 해결 (과제 단위) 지속적 분석 문화 내재화 (마스터 플랜 단위) Speed & Test Accu..
참고 - 빅데이터 2020. 8. 19. 08:08 [DBMS와 SQL] 1. DBMS (Data Base Management System) 1) DBMS란 데이터베이스를 관리하여 응용 프로그램들이 데이터베이스를 공유하며 사용할 수 있는 환경을 제공하는 소프트웨어 데이터베이스를 구축하는 틀을 제공하며, 효율적인 데이터 검색, 저장 기능 등을 제공 대표적 데이터베이스 관리시스템: 오라클, 인포믹스, 액세스 등 2) 데이터베이스 관리시스템 종류 관계형 DBMS: 테이블로 정리, 고유키가 row 식별 객체지향 DBMS 네트워크 DBMS: 레코드들이 노드로 표현 계층형 DBMS: 트리 구조 기반 2. SQL (Structured Query Language) : 데이터베이스에 접근할 수 있는 데이터베이스의 하부언어로, 단순한 질의 기능 뿐만 아니라 완전한 데이터와..

티스토리툴바