🍀 Ch02 Data Analysis Part 1 🍀

1. Data Analysis (1) The processes of Data Analysis

데이터 분석의 표준 프로세스 (인사이트 발견 중점)

데이터를 조사하고, 데이터에서 의미 있는 insights를 찾고, 결론을 도출하는 것

-

Collecting Data - 다양한 출처에서 데이터를 수집

Preprocessing Data - 데이터를 필터링하고 정리하여 필요한 형식으로 변환

Analyzing and Finding Insights - 데이터를 탐색, 설명, 시각화하여 인사이트와 결론 얻음

Insights Interpretations - 인사이트를 이해하고 각 변수가 시스템에 미치는 영향 찾음

Storytelling - 일반인도 이해할 수 있도록 스토리 형식으로 결과 전달

KDD Process (데이터 기반 패턴 발견과 시각화)

데이터로부터 지식 발견

대규모 데이터베이스, 데이터웨어하우스, 기타 웹이나 정보 저장소에서 숨겨진 흥미로운 패턴 발견하거나 추출

-

Data Cleaning / Data Integration / Data Selection / Data Transformation

/ Data Mining / Pettern Evaluation / Knowledge Presentation

SEMMA (모델 구축 작업 중점)

Sample: 모델링 프로세스를 위한 충분한 데이터 샘플을 선택

Explore: 데이터를 이해하고, 변수 사이의 관계를 발견하고, 데이터를 시각화하고, 초기 해석을 얻음

Modify: 모델링을 준비(누락된 값 처리, 이상치 탐지, 특성 변환, 새로운 추가 특성 생성 등)

Model: 선형 및 로지스틱 회귀, KNN, 지원 벡터 트리, 의사 결정 트리, 랜덤 등 다양한 모델링 기술을 선택하고 적용

Assess: 성능 평가를 사용해 모델 평가

CRISP-DM (비지니스 이해, 배포 중점)

CRoss-InduStry Process for Data Mining

비지니스 문제를 해결하는 강력하고 유연하며 순환적이고 유용하며 실용적인 접근 방식

1. Data Analysis (2) Comparing Data Analysis and Data Science

데이터 분석

(비지니스) 의사결정에 도움이 되는 패턴을 발견하기 위해 데이터를 탐색하는 프로세스

-

다양한 소스로부터 데이터를 추출하고 쿼리함

탐색적 데이터 분석을 수행

데이터 시각화

레포트 준비

사업체에 제시

-

데이터 과학의 하위 도메인

데이터 과학

구조화되거나 구조화되지 않은 정보로부터 인사이트를 추출하는 학제간 영역

모든 용어의 집합체 (데이터 분석, 데이터 마이닝, 머신러닝 및 기타 관련 도메인)

모델 및 예측 알고리즘 개발

데이터 분석가의 기술 세트

탐색적 데이터 분석(EDA) - 패턴 발견, 가설 검증, 가정 확실화를 위한 데이터 검사

관계형 데이터베이스 ex) MySQL, Postgre 

시각화 및 BI 도구 - 인사이트를 표현하기 위한 쉬운 옵션 ex) Tableau, QlikView, MS Power BI, IBM Cognos

스프레드시트 - 데이터를 표 형식으로 저장하고 관리

스토리텔링과 발표 기술 - 데이터 팩트를 아이디어나 사건에 연결하고 전환하는 전문가가 되어야 함

수학과 통계학 - 맞춤형 솔루션을 개발하는 데 도움

머신러닝 - 지도 학습 기법과 비지도 학습 기법에 대한 지식

프로그래밍 기술 - 데이터 과학자가 제안한 솔루션 자동화하는 데 도움됨

빅데이터 기술 - 대규모 기업을 위한 빅데이터 솔루션을 개발하는 데 도움이 됨

딥러닝 도구 - NLP 및 이미지 처리에 활용됨

2. Statistics in Data (1) Data, Object, Attributes

데이터

객체와 그 속성의 집합

속성: 객체의 특성을 나타내는 열이나 데이터 필드 또는 시리즈 (변수, 특징, 차원)

속성의 컬렉션은 객체를 설명함 (기록, 포인트, 케이스, 샘플, 엔티티, 관찰, 사례)

속성(attribute)의 유형

특정 상황에서는 특정 데이터 유형이 필요하기 때문에 데이터 분석에 더욱 중요

분석가가 데이터 분석을 위한 올바른 방법을 선택하는 데 도움이 됨

qualitative(정성적)과 quantitative(정량적)으로 분류됨

qualitative(정성적) - 주관적으로 관찰할 수 있는 특징과 descriptor을 다룸 (nominal, ordinal, binary)

quantitative(정량적) - 숫자, 객관적으로 측정할 수 있는 것 다룸 (숫자형, 이산형, 연속형)

qualitative - Nominal 명목형

값이 기호 또는 아이템의 이름이 될 수 있음

값은 범주형이고 순서가 없음

    브랜드 이름, 우편번호, 주, 성별, 결혼 여부 등

    평균과 중앙값을 찾는 것은 의미 없음

    데이터 분석가는 가장 자주 발생하는 값인 최빈값(mode) 계산 가능

qualitative - Ordinal 순서형

의미 있는 순서나 순위를 가진 이름이나 라벨 있으나 값의 크기는 모름

     고객 만족도 평가, 제품 평가, 영화 평가 등

     1. 매우 불만족 / 2. 다소 불만족 / 3. 보통 / 4. 만족 / 5. 매우 만족

모드, 중앙값 측정 가능

순서 사이에 과학적, 수학적 증거 없는 경우 평균 측정 시 주의

    A학점을 받은 학생이 B학점을 받은 학생보다 두 배 더 똑똑한 것은 아님

qualitative - Binary 이진형

두 가지 값, 상태만 가짐

Symmetric 대칭: 두 값이 똑같이 중요 ex) 성별

Asymmetric 비대칭: 두 값이 똑같이 중요하지 않음 ex) 진단, 검사 결과

quantitative - Numeric 숫자형

정수, 실수 값으로 표현되는 측정 가능한 양

interval-scaled 간격 스케일:

    동일한 크기의 단위로 정렬된 척도로 측정되지만 실제 0은 없음 ex) 날짜, 온도

    곱셈 나눗셈 불가능

ratio-scaled 비율에 따라 조정:

    동일한 크기의 단위로 정렬된 척도로 측정되며 본질저긍로 0점을 갖는 척도와 유사

    ex) 키, 몸무게, 경력, 켈빈 온도

quantitative - Discrete 이산형

셀 수 있는 유한한 수(정수값)만 허용

숫자를 세어 얻을 수 있음

분수가 아닌 값 허용

quantitative - Continuous 연속형

무한한 수의 가능한 값(실수값) 허용

측정 통해 얻을 수 있음

분수로 표현 가능한 값 허용

2. Statistics in Data (2) Decriptive Statistics

Descriptive Statistics 기술 통계

연구에서 데이터의 기본적인 특징 설명 시 사용

데이터에 대한 간단한 요약 제공

단일 속성에는 세 가지 주요한 속성이 있음

   중심 경향, 분산, 분포(skewness, kurtosis)

Central Tendency 중앙 경향

값들이 평균 주변으로 클러스팅되는 경향

평균, 최빈값(mode), 중앙값 등

중앙 경향의 주요 목적은 관찰치의 중심 선도 값을 계산하는 것

설명적 용약을 결정하고 관찰 그룹에 대한 정량적 정보 제공

Mean 평균

산술 평균 또는 평균

관측치의 합을 관측치의 개수로 나누어 계산

이상치와 노이즈에 민감함

Median 중앙값

관찰치 그룹의 중간점 또는 중간값

평균보다 이상치와 노이즈의 영향을 덜 받음 -> 통계적 측정에 더 적합함

일반적인 중앙값에 매우 가까움

Mode 최빈값

관찰 그룹에서 가장 많이 발생하는(자주 사용되는) 항목

이상치와 노이즈를 무시

두 개 이상의 값이 동일한 발생 빈도 가질 수 있음

Dispersion 퍼짐 정도

중심 경향은 관찰치 그룹의 중간값을 나타내지만 관찰치의 전반적인 그림을 제공하지는 않음

관찰의 변동성, 관찰의 확산을 나타내는 지표

ex) 범위, 사분위 범위(IQR), 분산, 표준편차

Range 범위

관찰값의 최대값과 최소값의 차이

계산하기 쉽고 이해하기 쉬움

단위는 관측치의 단위와 동일

Interquartile Range (IQR) 사분위 범위

제3사분위수와 제1사분위수의 차이

대부분의 관찰값이 여기에 있음

관찰치의 중앙 50%를 측정

midspread / middle 50%, H-spread

Variance 분산

평균으로부터의 편차 측정

값이 낮을수록 관찰 결과가 덜 넓게 퍼져 있음을 의미

관찰값과 평균의 차이를 제곱하기 때문에 측정 단위가 다름

Standard Deviation 표준편차

분산의 제곱근

분석가가 평균과의 정확한 편차를 평가하는 것을 더 쉽게 해줌

Skewness 비대칭성

분포의 대칭성 측정

분포가 정규분포로부터 얼마나 벗어났는지 보여줌

Skewness 측정하는 가장 간단한 것은 피서은의 첫 번째 비대칭성 계수

Kurtosis 첨도

정규분포와 비교하여 꼬리의 두께 측정

낮은 첨도는 꼬리가 두꺼워서 관찰치에 이상치가 더 많이 존재함을 의미

2. Statistics in Data (3) Relationships between Attributes

속성 간의 관계

변수 간의 관계를 측정하면 데이터 분석가가 변수 간의 역학 이해하는 데 도움됨

Covariance 공분산

두 변수 간의 관계 측정

한 변수의 변화가 다른 변수에 어떻게 영향을 미치는지, 변수의 변화 정도를 보여줌

값의 범위는 -무한대 ~ + 무한대

    효과적인 결론 제공하지 않음

    정규화되지 않고 단위에 따라 영향 받음

Correlation - Pearson 상관관계 - 피어슨

각 변수가 어떻게 선형적으로 상관관계 갖는지 보여줌

값의 범위는 -1 ~ +1

    공분산보다 더 나은 이해를 제공하며 공분산의 정규화된 버전

2. Statistics in Data (4) Statistical Hypothesis Test

Statistical Hypothesis Test 통계적 가설 검정

가설은 추론에 의한 통계의 주요 핵심 주제

통계에서 분석가가 가정을 검증하는 행위

두 가지 유형의 가설

귀무가설 (Null Hypothesis, H0) - 테스트되어야 하는 가설

대조가설 (Alternative Hypothesis, HA) - H0이 거짓일 때 받아들여지는 가설

P-Value

귀무가설을 거부할 증거가 있는지 확인하기 위한 확률(또는 신뢰도)

유의수준은 귀무가설을 기각하기 위해 p값이 얼마나 작아야 하는지를 결정하기 위해 미리 명시됨

일반적으로 사용되는 p 값은 0.05 또는 0.01

매개변수 테스트

표본이 추출된 모집단 분포의 매개변수에 대한 가정을 하는 것

매개변수는 전체를 나타내는 숫자적 양 ex) 평균, 분산

정량적이고 연속적인 데이터의 테스트에 사용됨

비매개변수 테스트보다 더 강력하고 신뢰할 수 있음

t-test

평균 간에 유의미한 차이가 있는지 확인하는 데 사용되는 일종의 매개변수 테스트

가장 일반적으로 사용되는 정규분포를 따르는 추론 통계량

t-test에는 세 가지 타입이 있음

    One sample t-test / Independent samples / Paired samples t-test

One-sample t-test 단일표본 t 검정

표본 평균과 가정된 모집단 평균 사이에 유의미한 차이가 있는지 확인하는 데 사용

Two-sample t-test 2-표본 t 검정

두 독립 집단 간의 유의미한 차이 비교하는 데 사용

독립 표본 t 검정

Paired(related) sample t-test 대응표본 t 검정

동일 그룹의 두 관찰치 사이의 평균 차이가 있는지 여부 결정

종속 샘플 t 검정

Non-parametric Tests 비매개변수 테스트

통계적 분포에 의존하지 않음

분포 없는 가설 검정으로 알려져 있음

모집단의 매개변수가 없음

관찰 순서와 순위 결정 시 사용

Mann-Whitney U Test

두 표본에 대한 t 검정의 비매개변수 대응물

관찰 결과가 순서형일 때 사용

차이가 정규분포라고 가정하지 않음