🍀 Ch10 Reinforcement Learning 🍀

Reinforcement Learning 강화 학습

각 입력에 대한 올바른 출력이 훈련 데이터에 포함되지 않은 경우

-

훈련 예제에 대한 대상 출력 포함 X

그 출력이 얼마나 좋은지에 대한 측정과 함께 몇 가지 가능한 출력이 포함되어 있음

(입력, 일부 출력, 이 출력에 대한 등급)

강화 학습 과정

state : 에이전트에 상태 제공하며 환경으로 시작

action : 상태에 대한 조치를 에이전트가 수행

reward : 환경은 상태를 반환하고 에이전트에게 보상 주어짐

Markov Decision Process 마르코프 결정 과정

상태, 행동, 보상을 나타내는 의사 결정을 위한 모델

Markov Dicision Process 마르코프 결정 과정

강화 학습은 다음과 같은 속성을 갖는 프로세스로 볼 수 있음

Set of States S

Set of actions Actions(s)

Transition model P(s'|s,a)

Reward function R(s, a, s')

Value function and Q function

Value function V(s) 

    '여기서 무엇을 기대할 것인가'라는 기본적 질문에 답함

    지금 상태 s에 있으면, 앞으로 얼마나 많은 보상을 받을까

Q function Q(s, a) 

    상태-행동 쌍에 대한 상태-가치 함수의 정의는 각 상태-행동 쌍에 대한 값을 정의하는데 이를 행동-가치 함수라고 함

    지금 상태 s에서 행동 a를 취하면, 앞으로 얼마나 많은 보상을 받을까

Q-learning 

함수 Q(s, a)를 학습하는 방법

상태에서 동작을 수행하는 데 필요한 값을 추정함

-

모든 항목에 대해 Q(s, a) = 0으로 시작

우리가 어떤 행동을 취하고 보상을 받을 때 :

    보상의 가치와 예상되는 미래 보상을 기준으로 Q(s, a)의 값을 추정

    이전 추정치와 새로운 추정치를  모두 고려하도록 Q(s, a)를 업데이트

        Q(s, a)← Q(s, a) + α(new value estimate - old value estimate)

        Q(s, a)← Q(s, a) + α(new value estimate - Q(s, a))

        Q(s, a)← Q(s, a) + α((r + future reward estimate) - Q(s, a))

        Q(s, a) ← Q(s, a) + α((r + maxa' Q(s', a')) - Q(s, a))

        Q(s, a) ← Q(s, a) + α((r + γ maxa' Q(s', a')) - Q(s, a))

Greedy Decision-Making

미래에 예상되는 보상을 완전히 할인하는 대신 항상 현재 상태에서 가장 높은 Q(s, a) 값을 갖는 action을 선택함

Explore vs Exploit 탐색 vs 활용

온라인 의사결정은 근본적인 선택이 포함됨

    explore 탐색 : 더 많은 정보를 수집

    exploit 활용 : 현재 정보를 바탕으로 최상의 결정을 내림

최상의 장기 전략에는 단기적 희생이 포함될 수 있음

전반적으로 가장 좋은 결정을 내릴 수 있을만큼 충분한 정보를 수집

-

greed algorithm은 항상 exploit 하며, 좋은 결과를 가져오기 위해 이미 확립된 행동을 함

    항상 해결책을 찾기 위해 같은 경로를 따라갈뿐, 더 나은 경로를 찾진 못함

BUT 탐색은 알고리즘이 목표에 도달하는 과정에서 이전에 탐색하지 않은 경로를 사용하여

    경로를 따라 더욱 효율적인 솔루션 발견할 수 있음을 의미

ε-greedy

무작위로 이동하려는 빈도와 동일하게 ε를 설정

확률 1-ε로 추정되는 가장 좋은 움직임 선택

확률 ε로 무작위 이동을 선택

Feedback for every move

강화 학습 모델을 훈련하는 또 다른 방법은 모든 움직임에 대해 피드백을 제공하는 것이 아니라

    전체 프로세스가 끝날 때 피드백을 제공하는 것

ex) AI를 훈련시키기 위해 무작위로 게임을 플레이하며, 최종적으로 승리 시 1, 패배 시 -1의 보상을 받음

체스처럼 게임에 여러 상태와 가능한 동작이 있는 경우 이러한 접근 방식은 더욱 계산적으로 까다로워짐

모든 가능한 상태에서 가능한 모든 움직임에 대해 추정된 값을 생성하는 것은 불가능

Function approximation 함수 근사

각 상태-동작 쌍에 대해 하나의 값을 저장하는 것보다 다양한 특성을 결합하는 함수를 사용해 Q(s, a)를 근사화하는 경우 많음

알고리즘은 어떤 움직임이 충분히 유사하여 추정 가치도 비슷해야 하는지 인식하고

    이러한 휴리스틱(이런 형태의 움직임은 과거에도 좋았으니 앞으로도 비슷한 가치를 주겠다는 예측)을 의사 결정에 사용할 수 있움