🍀 Ch06 Uncertainty 🍀

1. Uncertainty

Uncertainty

AI는 세상에 대한 부분적인 지식만 가지고 있어 불확실성이 존재함

그럼에도 불구하고 우리는 이러한 상황에서 AI가 최선의 결정을 내리기를 바람

Chance

불확실성은 여러 사건과 각 사건이 발생할 가능성 또는 확률로 표현될 수 있음

2.  Probability 

Possible Worlds 가능한 세계들

모든 가능한 상황은 소문자 그리스 문자 오메가( 𝜔 )로 표현되는 세계로 생각할 수 있음

𝑃(𝜔) : 특정 세게의 확률을 나타냄 

Axioms in Probability 확률의 공리

0 : 불가능한 사건

1 : 확실히 발생하는 이벤트

값이 높을수록 이벤트가 발생할 가능성이 높아짐

-

모든 가능한 사건의 확률의 합은 1

Random Variables 랜덤 변수

수행할 수 있는 가능한 값의 도메인을 갖는 확률 이론의 변수

Unconditional Probability 무조건 확률

다른 증거가 없는 한 명제에 대한 믿음의 정도

Conditional Probability 조건부 확률

이미 밝혀진 증거에 따른 어떤 명제에 대한 믿음의 정도

사건 b가 발생했다는 것을 알고 있을 때 사건 a가 발생할 확률

우리는 a와 b 모두 사실인 사건에만 관심이 있지만, 이는 우리가 b가 진실이라고 알고 있는 세상에서만 가능

Imdependence 독립

한 가지 사건이 발생한다는 지식이 다른 사건의 확률에 영향을 미치지 않는다는 사실

Bayes' Rule 베이즈 정리

일반적으로 확률론에서 조건부 계산에 사용됨

 

Joint Probability 공동 확률

여러 사건이 모두 발생할 가능성

Probability Rules - Negation 부정

모든 가능 세계의 확률 합이 1이라는 사실에서 나옴

P(¬a) = 1 - P(a)

Probability Rules - Inclusion-Exclusion 포함-배제

 

Probability Rules - Marginalization 주변화

Conditioning

marginalization과 비슷한 개념

3. Bayesian Networks

Bayesian Networks

랜덤변수 간의 종속성을 나타내는 데이터 구조

-

방향 그래프

그래프의 각 노드는 랜덤변수를 나타냄

X->Y로의 화살표는 X가 Y의 부모임을 나타냄 / Y의 확률 분포는 X의 값에 따라 달라짐

각 노드에는 확률 분포가 있음

Inference 추론

확률에 기초하여 새로운 정보를 추론할 수도 있음

확실한 새로운 정보를 알 순 없지만. 일부 값에 대한 확률 분포를 파악할 수 있음

추론의 속성

Query X : qnsvhfmf rPtksgkf qustn

Evidence variables E : 이벤트 e에 대한 관찰된 변수

Hidden variables Y : 증거가 없고 query가 없는 변수

Goal : P( X | e ) 계산

Inference by Enumeration 열거에 의한 추론

관찰된 증거와 몇 가지 숨겨진 변수가 주어졌을 때 변수의 확률 분포를 찾는 과정

4. Approximate Inference

Approximate Inference 근사적 추론

계산 확률을 열거하여 추론하는 것은 비효율적, 특히 모델에 많은 변수가 있는 경우

-> 정확한 추론을 포기하고 대략적인 추론을 선택하는 것이 방법

생성된 확률의 정확도가 다소 떨어지지만

    이러한 부정확성은 종종 무시할 수 있음 / 확장 가능한 확률 계산 방법 얻음

Sampling 샘플링 / 견본 추출

근사적 추론의 한 가지 기술

각 변수가 확률 분포에 따른 값으로 샘플링됨

Rejection Sampling

가지고 있는 증거와 일치하지 않는 샘플을 버림

증거의 확률이 극도로 낮은 경우 비효율적 <- 많은 샘플이 버려짐

Likelihood Weighting 

evidence 변수의 값 고정

베이지안 네트워크에서의 조건부 표본 사용해 non-evidence 변수를 샘플링

각 샘플에 대한 가중치를 likelihood(모든 evidence의 확률)에 따라 지정

5. Uncertainty over Time

Uncertainty over Time

지금까지 시간의 차원은 어떤 방식으로도 표현되지 않음

BUT 많은 작업은 시간 차원에 의존함 ex) 예측

Xt는 현재 이벤트 Xt+1은 다음 이벤트

Markov assumption 마르코프 가정

현재 상태가 유한한 수의 이전 상태에만 의존한다는 가정

이론적으로, 우리는 지난 1년의 모든 데이터를 사용해 내일 날씨를 예측할 수 있음 / 그러나 실제로는 불가능

마르코프 가정을 사용해 이전 상태를 제한

Markov chain 마르코프 체인

각 변수의 분포가 마르코프 가정을 따르는 임의 변수 시퀀스

Transition Model 전환 모델

현재 이벤트의 가능한 값에 대한 다음 이벤트의 확률 분포 지정

Hidden Markov Models 은닉 마르코프 모델

숨겨진 상태를 갖는 시스템에 대한 마르코프 모델의 한 유형

AI가 세상을 어느 정도 측정할 순 있지만 세상의 정확한 상태에는 접근할 수 없다는 것을 의미

Infer the weather

AI는 날씨(숨겨진 상태)를 추론하고 싶어하지만, 우산을 가져온 사람의 수를 기록하는 실내 카메라에만 접근 가능

Sensor model

Sensor Markov Assumption

증거 변수가 해당 상태에만 의존한다는 가정