✱ 핸즈온 머신러닝 11장 심층 신경망 훈련 ✱

심층 신경망 훈련 중 마주할 수 있는 문제

- 심층 신경망의 출력 층에서 멀어질수록 그레이디언트가 점점 더 작아지거나 커지는 문제가 발생한다. -> 하위 층을 훈련하기 어려워진다.

- 대규모 신경망을 위한 훈련 데이터가 충분하지 않거나 레이블을 만드는 작업에 비용이 너무 많이 들 수 있다.

- 훈련이 극단적으로 느려질 수 있다.

- 수백만 개의 파라미터를 가진 모델은 훈련 세트에 과대적합될 위험이 매우 크다. 훈련 샘플이 충분하지 않거나 잡음이 많은 경우에 그렇다.

---

11.1 그레이디언트 소실과 폭주 문제

역전파 알고리즘의 두 번쨰 단계는 출력 층에서 입력 층으로 오차 그레이디언트를 전파하면서 진행된다.

알고리즘이 신경망의 모든 파라미터에 대한 오차 함수의 그레이디언트를 계산하면 경사 하강법 단계에서 이 그레이디언트를 사용하여 각 파라미터를 수정한다.

 

그레이디언트 소실 : 알고리즘이 하위 층으로 진행될수록 그레이디언트가 점점 작아지는 경우가 많다.

경사 하강법이 하위 층의 연결 가중치를 변경되지 않은 채로 둔다면 훈련이 좋은 솔루션으로 수렴되지 않는다.

그레이디언트 폭주 : 어떤 경우에는 그레이디언트가 점점 커져서 여러 층이 비정상적으로 큰 가중치로 갱신되면 알고리즘이 발산한다. 

순환 신경망에서 주로 나타난다.

층마다 학습 속도가 달라질 수 있기 때문에 불안정한 그레이디언트는 심층 신경망 훈련을 어렵게 만든다.

 

시그모이드 활성화 함수에서 입력이 양수나 음수로 커지면 0이나 1로 수렴해서 기울기가 0에 매우 가까워진다.

-> 역전파가 될 때 사실상 신경망으로 전파할 그레이디언트가 거의 없고, 조금 있는 그레이디언트는 최상위 층에서부터 역전파가 진행되면서 점차 약해져서 실제로 아래쪽 층에는 아무것도 도달하지 않게 된다.

11.1.1 글로럿과 He 초기화

예측할 때는 정방향으로, 그레이디언트를 역전파할 때는 역방향으로 양방향 신호가 적절하게 흘러야 한다. 

신호가 죽거나, 폭주하거나, 소멸하지 않아야 한다.

적절한 신호가 흐르기 위해서는 각 층의 출력에 대한 분산이 입력에 대한 분산과 같아야 한다.

역방향에서 층을 통과하기 전과 후의 그레이디언트 분산이 동일해야 한다.

층의 입력과 출력 연결 개수(이 개수를 층의 팬-인과 팬-아웃이라고 부른다.)가 같지 않다면 이 두 가지를 보장할 수 없다.

하지만 각 층의 연결 가중치를 랜덤으로 초기화하면 해결된다.

이 식에서 fan_avg =  (fan_in + fan_out) / 2이다.

[글로럿 초기화 / 세이비어 초기화]

[르쿤 초기화]

위의 식에서 fan_avg를 fan_in으로 바꾼 것이다.

fan_in = fan_out이면 르쿤 초기화는 글로럿 초기화와 동일하다.

글로럿 초기화를 사용하면 훈련 속도를 높일 수 있다.

르쿤 초기화를 사용하는 SELU 활성화 함수는 정규 분포를 사용하는 것이 좋다. 

[He 초기화 / 카이밍 초기화]

ReLU 활성화 함수와 그 변형을 위한 초기화 전략이다.

 

[활성화 함수별 초기화 전략]

 

케라스는 기본적으로 균등 분포의 글로럿 초기화를 사용한다.

import tensorflow as tf

dense = tf.keras.layers.Dense(50, actiation="relu",
                              kernel_initializer="he_normal")

층을 바꿀 떄 kernel_initializer="he_uniform"이나 kernel_initializer="he_normal"로 바꾸어 He 초기화를 사용할 수 있다.

 

다른 초기화 방법을 위해 VarianceScaling을 사용할 수 있다.

he_avg_init = tf.keras.initializers.VarianceScaling(scale=2., mode="fan_avg",
                                                    distribution="uniform")
dense = tf.keras.layers.Dense(50, activation="sigmoid",
                              kernel_initializer=he_avg_init)

균등 분포와 fan_in 대신 fan_out을 기반으로 He 초기화를 사용하는 코드이다.

11.1.2 고급 활성화 함수

활성화 함수를 잘못 사용하면 자칫 그레이디언트의 소실이나 폭주로 이어질 수 있다.

뉴런의 방식과 비슷한 시그모이드 활성화 함수가 아닌 다른 활성화 함수가 심층 신경망에서 훨씬 더 잘 작동한다.

특히 ReLU 함수는 특정 양숫값에 수렴하지 않고 계산도 빠르다.

 

ReLU 함수에는 훈련하는 동안 일부 뉴런이 0 이외의 값을 출력하지 않는 문제(죽은 ReLU)가 있다.

큰 학습률을 사용하면 신경망의 뉴런 절반이 죽어 있기도 하다.

뉴런의 가중치가 바뀌어 훈련 세트에 있는 모든 샘플에 대해 ReLU 함수의 입력이(뉴런 입력의 가중치 합에 편향을 더한 것) 음수가 되면 뉴런이 죽게 된다.

가중치 합이 음수이면 ReLU 함수위 그레이디언트가 0이 되므로 경사 하강법이 더이상 작동하지 않는다.

 

이 문제를 해결하기 위해 LeakyReLU 같은 ReLU 함수의 변형을 사용한다.

 

LeakyReLU

LeakyReLU 활성화 함수는 LeakyReLU_α(z) = max(αz, z)로 정의된다.

하이퍼파라미터 α가 이 함수가 새는 정도를 결정한다.

새는 정도란 z < 0일 때 이 함수의 기울기를 말한다.

z < 0일 때 기울기가 LeakyReLU를 절대 죽지 않게 만들어준다.

LeakyReLU가 ReLU보다 항상 성능이 높다.

α=0.2(많이 통과)로 하는 것이 α=0.01(조금 통과)보다 더 나은 성능을 내는 것으로 보인다.

훈련하는 동안 주어진 범위에서 α를 랜덤으로 선택하고 테스트 시에는 평균을 사용하는 RReLU도 평가했다.

이 함수도 꽤 잘 작동했으며 훈련 세트의 과대적합 위험을 줄이는 규제의 역할을 하는 것처럼 보였다.

α가 훈련되는 동안 학습되는 PReLU도 비교했다. 

하이퍼파라미터가 아니고 다른 모델 파라미터와 마찬가지로 역전파에 의해 변경된다.

이 함수를 사용하면 대규모 이미지 데이터셋에서는 ReLU보다 성능이 크게 앞서지만, 소규모 데이터셋에서는 훈련 세트에 과대적합될 위험이 있다.

ELU와 SELU

케라스는 tf.keras.layers 패키지 아래 LeakyReLU와 PReLU 클래스를 제공한다.

다른 ReLU 변형과 마찬가지로 He 초기화를 사용해야 한다.

leaky_relu = tf.keras.layers.LeakyReLU(alpha=0.2) # alpha의 기본값은 0.3
dense = tf.keras.layers.Dense(50, activation=leaky_relu,
                              kernel_initializer="he_normal")

model = tf.keras.models.Sequential([
    [...] # 다른 층
    tf.keras.layers.Dense(50, kernel_initializer="he_normal"), # 활성화 함수 없음
    tf.keras.layers.LeakyReLU(alpha=0.2), # 별도의 활성화 함수 층
    [...] # 다른 층
])

LeakyReLU를 별도의 층으로 모델에 추가할 수도 있다.

 

ReLU, LeakyReLU, PReLU 모두 도함수가 z = 0에서 갑자기 바뀌는 함수이다.

이런 종류의 불연속성은 경사 하강법을 최적점에서 진동하게 만들거나 수렴을 느리게 만들 수 있다.

 

ReLU 활성화 함수의 부드러운 변형에는 ELU와 SELU가 있다.

[ELU 활성화 함수]

- z < 0일 때 음숫값이 들어오므로 활성화 함수의 평균 출력이 0에 더 가까워진다. 이는 그레이디언트 소실 문제를 완화해준다.

하이퍼파라미터 α는 z가 큰 음숫값일 때 ELU가 수렴할 값의 역수를 정의한다. 

보통 1로 설정하지만 다른 하이퍼파라미터처럼 변경할 수 있다.

- z < 0이어도 그레이디언트가 0이 아니므로 죽은 뉴런을 만들지 않는다.

- α = 1이면 이 함수는 z = 0에서 급격히 변동하지 않으므로 z = 0을 포함해 모든 구간에서 매끄러워 경사하강법의 속도를 높여준다.

 

케라스에서 ELU를 사용하려면 activation="elu"로 지정한다.

다른 ReLU 변형과 마찬가지로 He 초기화를 사용해야 한다.

ReLU나 그 변형들보다 계산이 느리다는 단점이 있다. 

훈련하는 동안에는 수렴 속도가 빨라서 느린 계산이 상쇄될 수 있지만 테스트 시에는 ELU를 사용한 네트워크가 ReLU를 사용한 네트워크보다 느리다. 

 

SELU 활성화 함수는 스케일이 조정된 ELU 활성화 함수의 변형이다.

완전 연결 층만 쌓아서 신경망(MLP)을 만들고 모든 은닉 층이 SELU 활성화 함수를 사용한다면 네트워크가 자기 정규화된다.

훈련하는 동안 각 층의 출력이 평균 0과 표준 편차 1을 유지하는 경향이 있다.

이는 그레이디언트 소실과 폭주 문제를 막아준다.

그 결과로 SELU 활성화 함수는 MLP(특히 아주 깊은 네트워크)에서 다른 활성화 함수보다 높은 성능을 낸다.

케라스에서 사용하려면 activation="selu"로 지정하면 된다.

 

[자기 정규화가 일어나기 위한 조건]

- 입력 특성은 반드시 표준화(평균 0, 표준 편차 1)되어야 한다.

- 모든 윽닉 층의 가중치는 르쿤 정규 분포 초기화로 초기화되어야 한다. 

케라스에서는 initializer="lecun_normal"로 설정한다.

- 자기 정규화는 일반적인 MLP에서만 보장된다.

순환 신경망이나 스킵 연결(와이드 & 딥 네트워크에서 건너뛰어 연결된 층)과 같은 다른 구조에 SELU를 사용하면 ELU 함수보다 성능이 뛰어나지 않을 것이다.

- l1,l2 규제, 맥스-노름, 배치 정규화, 드롭아웃과 같은 규제를 사용할 수 없다.

 

GELU, Swish, Mish

GELU는 ReLU 활성화 함수의 부드러운 변형이다.

Φ는 표준 가우스 누적 분포 함수이다.

Φ(z)는 평균이 0이고 분산이 1인 정규 분포에서 랜덤하게 샘플링한 값이 z보다 작을 확률에 해당한다.

입력 z가 큰 음수일 때 0에 가까워지고 z가 큰 양수일 떄 z에 가까워진다.

앞에서의 모든 활성화 함수가 볼록한 단조 함수이지만 GELU 활성화 함수는 왼쪽에서 직선으로 시작해서 아래로 구부러지다가 -0.17에서 저점에 도달한다. 그리고 마지막에 상승하여 오른쪽 위로 직진하는 것으로 끝난다.

-> 경사 하강법이 복잡한 패턴을 학습하기 쉽다.

하지만 계산량이 조금 더 많으며 성능 향상이 추가 비용을 정당화하기에 항상 충분하지 않다.

σ가 시그모이드 함수일 때 이 함수가 zσ와 거의 같다 -> 이 근사식은 매우 잘 작동하고 계산이 빠르다.

 

SiLU 활성화 함수는 zσ(z)와 같지만 GELU의 성능을 능가한다.

Swish는 GELU를 포함해 다른 모든 활성화 함수의 성능을 능가한다.

일반적인 Swish 함수는 Swish_β(z) = zσ(βz)이다.

따라서 GELU는 β = 1.702를 사용하는 일반화된 Swish 함수와 거의 동일하다.

다른 하이퍼파라미터처럼 β를 튜닝할 수 있고, β를 훈련 간으한 파라미터로 만들고 경사 하강법으로 최적화할 수 있따.

PReLU와 마찬가지로 모델을 더 강력하게 만들 수 있지만 데이터에 과대적합될 위험이 있다.

 

Mish 활성화 함수는 mish(z) = ztanh(softplus(z))로 정의된다. 

softplus(z) = log(1 + exp(z))이다.

매끄럽고 볼록하지 않고 단조 함수가 아닌 ReLU의 변형이다.

Mish가 일반적으로 다른 활성화 함수, 심지어 Swish와 GELU보다 근소한 차이로 더 나은 성능을 발휘한다.

Mish는 z가 음수일 때 Swish와 거의 오나벽하게 겹치고, z가 양수일 때는 GELU와 거의 완벽하게 겹친다..

 

케라스는 GELU와 Swish를 기본적으로 지원하므로 activation="gelu" 또는 activation="swish"로 지정하면 된다.

11.1.3 배치 정규화

RELU(또는 다른 ReLU의 변형)와 함께 He 초기화를 사용하면 훈련 초기 단계에서 그레이디언트 소실이나 폭주 문제를 크게 줄일 수 있지만, 훈련하는 동안 다시 발생하지 않으리란 보장이 없다. 

 

배치 정규화 : 각 층에서 활성화 함수를 통과하기 전이나 후에 모델에 연산을 하나 추가한다.

이 연산은 단순하게 입력을 원점에 맞추고 정규화한 다음, 각 층에서 두 개의 새로운 파라미터로 결괏값의 스케일을 조정하고 이동시킨다.

하나는 스케일 조정에, 다른 하나는 이동에 사용된다.

많은 경우 신경망의 첫 번쨰 층으로 배치 정규화를 추가하면 훈련 세트를 표준화할 필요가 없다.

즉 StandardScaler나 Normalization 클래스가 필요하지 않다. <- 배치 정규화 층이 이런 역할을 대신한다.

배치 정규화 층은 한 번에 하나의 배치만 처리하기 떄문에 근사적이며 입력 특성마다 스케일을 조정하고 이동시킬 수 있다.

 

입력 데이터를 원점에 맞추고 정규화하려면 알고리즘은 평균과 표준 편차를 추정해야 한다.

이를 위해 현재 미니배치에서 입력의 평균과 표준 편차를 평가한다.

 

[배치 정규화 알고리즘]

 

훈련하는 동안 배치 정규화는 입력을 정규화한 다음 스케일을 조정하고 이동시킨다.

테스트 시에는 샘플의 배치가 아니라 샘플 하나에 대한 예측을 만들어야 한다.

-> 입력의 평균과 표준 편차를 계산할 방법이 없다.

샘플의 배치를 사용한다 하더라도 매우 작거나 독립 동일 분포 조건을 만족하지 못할 수 있다.

이런 배치 샘플에서 계산한 통계는 신뢰도가 떨어진다.

 

훈련이 끝난 후 전체 훈련 세트를 신경망에 통과시켜 배치 정규화 층의 각 입력에 대한 평균과 표분 편차를 계산하는 방법이 있다.

예측할 때 배치 입력 평균과 표준 편차로 이 최종 입력 평균과 표준 편차를 대신 사용할 수 있다.

그러나 대부분 배치 정규화 구현은 층의 입력 평균과 표준 편차의 이동 평균을 사용해 훈련하는 동안 최종 통계를 추정한다.

 

케라스의 BatchNormalization 층은 이를 자동으로 수행한다.

배치 정규화 층마다 네 개의 파라미터 벡터가 학습된다.

출력 스케일 벡터와 출력 이동 벡터는 일반적인 역전파를 통해 학습된다.

최종 입력 평균 벡터와 최종 입력 표즌 편차 벡터는 지수 이동 평균을 사용해 추정된다. 이 둘은 훈련되는 동안 추정되지만 훈련이 끝난 후에 사용된다.

 

배치 정규화는 모든 심층 신경망에서 성능을 크게 향상시키며 특히 이미지넷 분류 작업에서 큰 성과를 냈다.

그레이디언트 소실 문제가 크게 감소하여 tanh나 시그모이드 활성화 함수 같은 수렴성을 가진 활성화 함수를 사용할 수 있다.

또 가중치 초기화에 네트워크가 훨씬 덜 민감해진다.

규제와 같은 역할을 하여 다른 규제 기법의 필요성을 줄여준다.

 

하지만 배치 정규화는 모델의 복잡도를 키우며 실행 시간 면에서도 손해이다.(층마다 추가되는 계산이 신경망의 예측을 느리게 한다.)

다행히 훈련이 끝난 후에 이전 층과 배치 정규화 층을 합쳐 실행 속도 저하를 피할 수 있다.

이전 층의 가중치를 바꾸어 바로 스케일이 조정되고 이동된 출력을 만든다.

예) 이전 층이 XW+b를 계산하면 배치 정규화 층은 γ ⊗ (XW + b - μ) / σ + β를 계산한다.

W' = γ ⊗ W / σ와 b' = γ ⊗ (b - μ) / σ + β로 정의하면 이 식은 XW' + b'로 단순화된다.

따라서 이전 층의 가중치와 편향(W와 b)을 업데이트된 가중치와 편향(WX' + b')으로 바꾸면 배치 정규화 층을 제거할 수 있다.

 

케라스로 배치 정규화 구현하기

model = tf.keras.Sequential([
    tf.keras.layers.Flatten(input_shape=[28, 28]),
    tf.keras.layers.BatchNormalization().
    tf.keras.layers.Dense(300, activation="relu",
                          kernel_initializer="he_normal"),
    tf.keras.layers.BatchNormalization(),
    tf.keras.layers.Dense(100, activation="relu",
                          kernel_initializer="he_normal"),
    tf.keras.layers.BatchNormalization(),
    tf.keras.layers.Dense(10, activation="softmax")
])

은닉 층의 활성화 함수 전이나 후에 BatchNormalization 층을 추가한다.

모델의 첫 번째 층으로 배치 정규화 층을 추가할 수도 있다.

하지만 Normalization 층도 일반적으로 이 위치에서 잘 작동한다. (먼저 adapt() 메서드를 호출해야 한다.)

model.summary()

배치 정규화 층은 입력마다 네 개의 파라미터 γ, β, μ, σ를 추가한다.

마지막 두 개의 파라미터 μ, σ는 이동 평균이다.

역전파로 학습되지 않기 때문에 'Non-trainable' 파라미터로 분류한다.

이를 2로 나누면 이 모델에서 훈련되지 않는 전체 파라미터 개수를 얻는다.

 

첫 번째 배치 정규화 층의 파라미터이다.

두 개는 역전파로 훈련되고 두 개는 훈련되지 않는다.

[(var.name, var.trainable) for var in model.layers[1].variables]
# [('batch_normalization_v2/gamma:0', True),
   ('batch_normalization_v2/beta:0' True),
   ('batch_normalization_v2/moving_mean:0', False),
   ('batch_normalization_v2/moving_variance:0', False)]

활성화 함수 이후보다 활성화 함수 이전에 배치 정규화 층을 추가하는 것이 좋다.

하지만 두 가지 방법 모두 시험해보고 어떤 것이 주어진 데이터셋에 가장 잘 맞는지 확인해야 한다.

활성화 함수 전에 배치 정규화 층을 추가하려면 은닉 층에서 활성화 함수를 지정하지 말고 배치 정규화 층 뒤에 별도의 층으로 추가해야 한다.

또한 배치 정규화 층은 입력마다 이동 파라미터를 포함하므로 층을 만들 때 use_bias=False로 설정해 이전 층에서 편향을 뺄 수 있다. 

첫 번째 은닉 층이 배치 정규화 층 두 개 사이에 끼이지 않도록 첫 번째 배치 정규화 층을 삭제할 수 있다.

model = tf.keras.Sequential([
     tf.keras.layers.Flatten(input_shape=[28, 28]),
     tf.keras.layers.Dense(300, kernel_initializer="he_normal", use_bias=False),
     tf.keras.layers.BatchNormalization(),
     tf.keras.layers.Activation("relu"),
     tf.keras.layers.Dense(100, kernel_initializer="he_normal", use_bias=False),
     tf.keras.layers.BatchNormalization(),
     tf.keras.layers.Activation("relu"),
     tf.keras.layers.Dense(10, activation="softmax")
])

BatchNormalization 클래스는 조정할 하이퍼파라미터가 적다.

보통 기본값이 잘 작동하지만 이따금 momentum 매개변수를 변경해야 할 수 있다.

BatchNormalization 층이 지수 이동 평균을 업데이트할 때 이 하이퍼파라미터를 사용한다.

새로운 값 v(현재 배치에서 계산한 새로운 입력 평균 벡터나 표준 편차 벡터)가 주어지면 다음 식을 사용해 이동 평균 hat_v을 업데이트한다.

적절한 모멘텀 값은 일반적으로 1에 가깝다. (0.9, 0.99, 0.999, ...)

중요한 다른 하이퍼파라미터는 정규화할 축을 결정할 axis(기본값 -1)이다.

다른 축을 따라 계산한 평균과 표준 편차를 사용하여 마지막 축을 정규화한다.

입력 배치가 2D(배치 크기가 [샘플 개수, 특성 개수])이면 각 입력 특성이 배치에 있는 모든 샘플에 대해 계산한 평균과 표준 편차를 기반으로 정규화된다.

만약 배치 정규화 층을 Flatten 층 이전으로 옮기면 입력 배치는 [샘플 개수, 높이, 너비] 크기의 3D가 된다.

배치 정규화 층이 평균과 표준 편차를 계산한다. (열에 있는 모든 행과 샘플에 대해 계산하므로 픽셀이 열마다 1개씩 만들어진다.)

그다음 동일한 평균과 표준 편차를 사용하여 해당 열의 모든 픽셀을 정규화한다.

 

BatchNormalization은 심층 신경망, 특히 심층 합성곱 신경망에서 매우 널리 사용하는 층이 되었고, 보통 모든 층 뒤에 배치 정규화가 있다고 가정하므로 종종 긴경망 그림에서 빠져 있다.

11.1.4 그레이디언트 클리핑

그레이디언트 클리핑 : 역전파될 때 특정 임곗값을 넘어서지 못하게 그레이디언트를 잘라내어 그레이디언트 폭주 문제를 완화할 수 있다.

배치 정규화를 사용하기 까다로운 순환 신경망에서 사용된다.

 

optimizer = tf.keras.optimizers.SGD(clipvalue=1.0)
model.compile([...], optimizer=optimizer)

옵티마이저를 만들 때 clipvalue와 clipnorm 매개변수를 지정하면 된다.

이 옵티마이저는 그레이디언트 벡터의 모든 원소를 -1.0과 1.0 사이로 클리핑한다.

즉, 훈련되는 각 파라미터에 대한 손실의 모든 편미분값을 -1.0에서 1.0으로 잘라낸다.

임곗값은 하이퍼파라미터로 튜닝할 수 있다. -> 그레이디언트 벡터의 방향을 바꿀 수 있다.

만약 그레이디언트 클리핑이 그레이디언트 벡터의 방향을 바꾸지 못하게 하려면 clipvalue 대신 clipnorm을 지정하여 노름으로 클리핑해야 한다.

만약 l2노름이 지정한 임곗값보다 크다면 전체 그레이디언트를 클리핑한다.

훈련하는 동안 그레이디언트가 폭주한다면 다른 임겟값으로 값과 노름을 모두 사용하여 클리핑할 수 있다.

---

11.2 사전 훈련된 층 재사용하기

전이 학습 : 해결하려는 것과 비슷한 유형의 문제를 처리한 신경망이 이미 있는지 찾아보지 않고 아주 큰 규모의 DNN을 처음부터 새로 훈련하는 것은 좋은 생각이 아니다. 이런 신경망을 찾았다면 최상위 층을 제외하고 대부분의 층을 재사용할 수 있다.

훈련 속도를 크게 높일 뿐 아니라 필요한 훈련 데이터도 크게 줄어든다. 

보통 원본 모델의 출력 층을 바꿔야 한다.

이 층은 새로운 작업에 가장 유용하지 않거나 새로운 작업에 필요한 출력 개수와 맞지 않을 수 있다.

원본 모델의 상위 은닉 층은 하위 은닉 층보다 덜 유용하다.

새로운 작업에 유용한 고수준 특성은 원본 작업에서 유용했던 특성과는 상당히 다르다. 

-> 재활용할 층 개수를 잘 선정해야 한다. 

 

재사용하는 층을 모두 동결한다. (경사 하강법으로 가중치가 고정된 상태로 남도록 훈련되지 않는 가중치로 만든다.)

모델을 훈련하고 성능을 평가한다.

맨 위에 있는 한두 개의 은닉 층을 동결을 해제하고 역전파를 통해 가중치를 조정하여 성능이 향상되는지 확인한다.

훈련 데이터가 많을수록 많은 층의 동결을 해제할 수 있다.

재사용 층의 동결을 해제할 떄는 학습률을 줄이는 것이 좋다. -> 가중치를 세밀하게 튜닝하는 데 도움이 된다.

만약 여전히 좋은 성능을 낼 수 없고 훈련 데이터가 적다면 상위 은닉 층들을 제거하고 남은 은닉 층을 다시 동결한다.

재사용할 은닉 층의 적절한 개수를 찾을 때까지 반복한다.

훈련 데이터가 아주 많다면 은닉 층을 제거하는 대신 다른 것으로 바꾸거나 더 많은 은닉 층을 추가할 수 있다.

11.2.1 케라스를 사용한 전이 학습

[...] # 모델 A는 이미 훈련되어 "my_model_A'에 저장되어 있다고 가정한다.
model_A = tf.keras.models.load_model("my_model_A")
model_B_on_A = tf.keras.Sequential(model_A.layers[:-1])
model_B_on_A.add(tf.keras.layers.Dense(1, activation="signoid"))

먼저 모델 A를 로드하고 이 모델의 층을 기반으로 새로운 모델(model_B_on_A)을 만든다.

출력 층만 제외하고 모든 층을 재사용한다.

 

model_A_clone = tf.keras.models.clone_model(model_A)
model_A_clone.set_weights(model_A.get_weights())

model_A와 model_B_on_A는 일부 층을 공유한다.

model_B_on_A를 훈련할 떄 model_A도 영향을 받는다.

이를 원하지 않는다면 층을 재사용하기 전에 model_A를 클론해야 한다.

clone_model() 메서드로 모델 A의 구조를 복제한 후 가중치를 복사한다.

 

tf.keras.models.clone_model()의 경우 가중치는 제외하고 구조만 복제한다.

set_weights() 메서드를 사용해 가중치를 수동으로 복사하지 않으면 복제된 모델을 처음 사용할 때 랜덤하게 초기화될 것이다.

 

for layer in model_B_on_A.layers[:-1]:
    layer.trainable = False

optimizer = tf.keras.optimizers.SGD(learning_rate=0.001)
model_B_on_A.compile(loss="binary_crossentropy", optimizer=optimizer,
                     metrics=["accuracy"])

작업 B를 위해 model_B_on_A를 훈련할 수 있다.

하지만 새로운 출력 층이 랜덤하게 초기화되어 있으므로 큰 오차를 만들 것이다.

따라서 큰 오차 그레이디언트가 재사용된 가중치를 망칠 수 있다.

이를 피하는 한 가지 방법은 처음 몇 번의 에포크 동안 재사용된 층을 동결하고 새로운 층에게 적절한 가중치를 학습할 시간을 주는 것이다.

이를 위해 모든 층의 trainable 속성을 False로 지정하고 모델을 컴파일한다.

 

history = model_B_on_A.fit(X_train_B, y_train_B, epochs=4,
                           validation_data=(X_valid_B, y_valid_B))

for layer in model_B_on_A.layers[:-1]:
    layer.trainable = True

optimizer = tf.keras.optimizers.SGD(learning_rate=0.001)
model_B_on_A.compile(loss="binary_crossentropy", optimizer=optimizer,
                     metrics=["accuracy"])
history = model_B_on_A.fit(X_train_B, y_train_B, epochs=16,
                           validation_data=(X_valid_B, y_valid_B))

몇 번의 에포크 동안 모델을 훈련할 수 있다.

그다음 재사용된 층의 동결을 해제하고 작업 B에 맞게 재사용된 층을 세밀하게 튜닝하기 위해 훈련을 계속한다.

일반적으로 재사용된 층의 동결을 해제한 후에 학습률을 낮추는 것이 좋다.

이렇게 하면 재사용된 가중치가 망가지는 것을 막아준다.

 

model_B_on_A.evaluate(X_test_B, y_test_B)
# [0.2546142041683197, 0.9384999871253967]

 

전이 학습은 작은 완전 연결 네트워크에서는 잘 작동하지 않는다.

작은 네트워크는 패턴 수를 적게 학습하고 완전 연결 네트워크는 특정 패턴을 학습한다. 이런 패턴은 다른 작업에 유용하지 않다.

전이 학습은 조금 더 일반적인 특성을 감지하는 경향이 있는 심층 합성곱 신경망에서 잘 작동한다.

11.2.2 비지도 사전 훈련

레이블이 없는 훈련 샘플을 모으는 것은 비용이 적게 들지만 여기에 레이블을 부여하는 것이 비싸다.

레이블되지 않은 훈련 데이터를 많이 모을 수 있다면 이르 ㄹ사용하여 오토인코더나 생성적 적대 신경망과 같은 비지도 학습 모델을 훈련할 수 있다.

그런 다음 오토인코더나 GAN 판별자의 하위 층을 재사용하고 그 위에 새로운 작업에 맞는 출력 층을 추가할 수 있다.

그리고 지도 학습으로(레이블된 훈련 샘플로) 최종 네트워크를 세밀하게 튜닝한다.

 

그레이디언트 소실 문제가 완화되고 나서야 역전파 알고리즘만을 사용하여 심층 신경망을 훈련하는 것이 널리 일반화되었다.

풀어야 할 문제가 복잡하고 재사용할 수 있는 비슷한 모델이 없으며 레이블된 훈련 데이터가 적을 때는 비지도 사전 훈련이 좋은 선택이다.

 

딥러닝 초기의 탐욕적 층 단위 사전 훈련:

하나의 층을 가진 비지도 학습 모델을 훈련한다. (일반적으로 RBM 사용)

이 층을 동결하고 그 위에 다른 층을 추가한 다음 모델을 다시 훈련한다. (새로 추가한 층만 훈련한다)

그다음 새로운 층을 동결하고 그 위에 또 다른 층을 추가하고 모델을 다시 훈련하는 식으로 반복된다.

 

오늘날:

일반적으로 한 번에 전체 비지도 학습 모델을 훈련하고 RBM 대신 오토인코더나 GAN을 사용한다.

비지도 훈련에서는 비지도 학습 기법으로 레이블이 없는 데이터를 포함하여 전체 데이터로 모델을 훈련한다.

그다음 지도 학습 기법을 사용하여 레이블된 데이터만으로 최종 학습을 위해 세밀하게 튜닝한다.

비지도 학습 부분은 한 번에 하나의 층씩 훈련하거나 바로 전체 모델을 훈련할 수 있다.

11.2.3 보조 작업에서 사전 훈련

레이블된 훈련 데이터가 많지 않다면 마지막 선택 사항은 레이블된 훈련 데이터를 쉽게 얻거나 생성할 수 있는 보조 작업에서 첫 번쨰 신경망을 훈련하는 것이다. 그리고 이 신경망의 하위 층을 실제 작업을 위해 재사용한다.

첫 번쨰 신경망의 하위 층은 두 번째 신경망에 재사용될 수 있는 특성 추출기를 학습하게 된다.

예) 자연어 처리(NLP) 애플리케이션에서는 수백만 개의 텍스트 문서로 이루어진 말뭉치를 다운로드하고 이 데이터에서 레이블된 데이터를 자동으로 생성한다. 일부 단어를 랜덤하게 지우고 누락된 단어를 예측하는 모델을 훈련할 수 있다. 이 작업에서 좋은 성능을 내는 모델을 훈련할 수 있다면 언어에 대해 상당히 많은 것을 알고 있는 모델이다. 실제 작업에 이 모델을 재사용하고 레이블된 데이터를 사용하여 미세 튜닝할 수 있을 것이다. 

+ 자기 지도 학습 : 텍스트르 마스킹하는 예에서처럼 데이터에서 스스로 레이블을 생성하고 지도 학습 기법으로 레이블된 데이터셋에서 모델을 훈련하는 방법

---

11.3 고속 옵티마이저

훈련 속도를 크게 높일 수 있는 또 다른 방법으로 표준적인 경사 하강법 옵티마이저 대신 더 빠른 옵티마이저를 사용할 수 있다. 

11.3.1 모멘텀 최적화

처음에는 느리게 출발하지만 종단속도에 도달할 때까지는 빠르게 가속된다.

반면에 표준적인 경사 하강법은 경사가 완만할 떄는 작은 스텝으로 움직이고 경사가 가파를 때는 큰 스텝으로 이동한다. 속도가 높아지지는 않는다. 

결과적으로 표준적인 경사 하강법은 모멘텀 쵲거화보다 최저점에 도달하는 데 일반적으로 훨씬 느리다. 

 

경사 하강법은 가중치에 대한 비용 함수 J(θ)의 그레이디언트(▽_θ(J(θ)))에 학습률 η를 곱한 것을 바로 차감하여 가중치 θ를 갱신한다.

θ ← θ - η▽_θ(J(θ))

이전 그레이디언트가 얼마였는지 고려하지 않는다.

국부적으로 그레이디언트가 아주 작으면 매루 느려진다.

 

모멘텀 최적화는 이전 그레이디언트가 얼마였는지를 상당히 중요하게 생각한다.

매 반복에서 현재 그레이디언트를 (학습률 η를 곱한 후) 모멘텀 벡터 m에 더하고 이 값을 빼는 방식으로 가중치를 갱신한다.

그레이디언트를 속도가 아니라 가속도로 사용한다.

일종의 마찰 저항을 표현하고 모멘텀이 너무 커지는 것을 막기 위해 이 알고리즘에는 모멘텀이라는 새로운 하이퍼파라미터 β가 포함된다.

이 값은 0(높은 마찰 저항)과 1(마찰 저항 없음) 사이로 설정되어야 한다. 일반적인 모멘텀 값은 0.9이다.

θ ← βθ - η▽_θ(J(θ))

θ ← θm

그레이디언트가 일정하다면 종단속도(가중치를 갱신하는 최대 크기)는 학습률 η을 곱한 그레이디언트에 부호는 무시하고 1 / 1 - β을 곱한 것과 같다.

모멘텀 최적화가 경사 하강법보다 더 빠르게 평편한 지역을 탈출하게 도와준다.

모멘텀 최적화는 골짜기를 따라 바닥(최적점)에 도달할 때까지 점점 더 빠르게 내려간다.

배치 정규화를 사용하지 않는 심층 신경망에서 상위 층은 종종 스케일이 매우 다른 입력을 받게 된다.

모멘텀 최적화를 사용하면 도움이 되며 지역 최적점얼 건너뛰도록 하는 데도 도움이 된다.

 

케라스에서 모멘텀 최적화를 구현하기 위해선 SGD 옵티마이저를 사용하고 momentum 매개변수를 지정하고 기다리면 된다.

optimizer = tf.keras.optimizers.SGD(learning_rate=0.001, momentum=0.9)

튜닝할 하이퍼파라미터가 하나 늘어난다는 단점이 있다.

11.3.2 네스테로프 가속 경사

네스테로프 가속 경사(NAG) (네스테로프 모멘텀 최적화)는 기본 모멘텀 최적화보다 항상 더 빠르다.

현재 위치가 0이 아니라 모멘텀의 방향으로 조금 앞선 θ + βm에서 비용 함수의 그레이디언트를 계산하는 것이다.

일반적으로 모멘텀 벡터가 올바른 방향(최적점을 향하는 방향)을 가리킬 것이므로 이런 변경이 가능하다.

원래 위치에서 그레이디언트를 사용하는 것보다 그 방향으로 조금 더 나아가서 측정한 그레이디언트를 사용하는 것이 약간 더 정확하다.

▽1은 시작점 θ에서 측정한 비용 함수의 그레이디언트이고 ▽2은 시작점 θ + βm에서 측정한 비용 함수의 그레이디언트이다.

네스테로프 업데이터가 최적값에 더 가까우며 시간이 지나면 NAG가 기본 모멘텀 최적화보다 확연히 빨라지게 된다.

모멘텀이 골짜기를 가로지르도록 가중치에 힘을 가할 때 ▽1은 골짜기를 더 가로지르도록 독려하는 반면 ▽2는 계곡의 아래쪽으로 잡아당기기 때문에 진동을 감소시키고 수렴을 빠르게 만들어준다.

optimizer = tf.keras.optimizers.SGD(learning_rate=0.001, momentum=0.9,
                                    use_nesterov=True)

11.3.3 AdaGrad

경사 하강법은 전역 최적점 방향으로 곧장 향하지 않고 가장 가파른 경사를 따라 빠르게 내려가기 시작해서 골짜기 아래로 느리게 이동한다.

AdaGrad 알고리즘은 가장 가파른 차원을 따라 그레읻언트 벡터의 스케일을 감소시켜 이 문제를 해결한다.

첫 번쨰 단계는 그레이디언트의 제곱을 벡터 s에 누적한다. s_i는 파라미터 θ_i에 대한 비용 함수의 편미분을 제곱하여 누적한다. 비용 함수가 i번째 차원을 따라 가파르다면 s_i는 반복이 진행됨에 따라 점점 커진다.

두 번쨰 단계는 경사 하강법과 거의 같다. 한 가지 큰 차이는 그레이디언트 벡터를 root_(s + ϵ)으로 나누어 스케일을 조정한느 점이다.

 

적응적 학습률 : 학습률을 감소시키지만 경사가 완만한 차원보다 가파른 차원에 대해 더 빠르게 감소된다.

전역 최적점 방향으로 더 곧장 가도록 갱신되는 데 도움이 된다. 학습률 하이퍼파라미터 η를 덜 튜닝해도 된다.

 

신경망을 훈련할 때 너무 일찍 멈추는 경우가 종종 있다. 학습률이 너무 감소하여 전역 최적점에 도착하기 전에 알고리즘이 완전히 멈춘다. 

 

11.3.4 RMSProp

훈련 시작부터의 모든 그레이디언트가 아닌 가장 최근 반복에서 비롯된 그레이디언트만 누적함으로써 전역 최적점에 수렴하지 못하는 문제를 해결한다. 

optimizer = tf.keras.optimizers.RMSprop(learning_rate=0.001, rho=0.9)

11.3.5 Adam (적응적 모멘트 추정)

모멘텀 최적화처럼 지난 그레이디언트의 지수 감소 평균을 따르고 RMSProp처럼 지난 그레이디언트 제곱의 지수 감소된 평균을 따른다. 

그레이디언트의 평균과 평균이 0이 아닌 분산에 대한 예측이다. 

이 평균을 첫 번째 모멘트라 부르고 분산은 두 번째 모멘트라 불러 적응적 모멘트 추정이다. 

optimizer = tf.keras.optimizers.Adam(learning_rate=0.001, beta_1=0.9,
                                     beta_2=0.999)

11.3.6 AdaMax

Adam은 시간에 따라 감쇠된 그레이디언트의 l_2 노름으로 파라미터 업데이트의 스케일을 낮춘다.

AdaMax는 l_2 노름을 l_∞ 노름으로 바꾼다.

11.3.7 Nadam

Adam 옵티마이저에 네스테로프 기법을 더한 것이며 Adam보다 조금 더 빠르게 수렴한다. 

11.3.8 AdamW

가중치 감쇠라는 규제 기법을 통합한 Adam의 변형이다.

가중치 감쇠는 각 훈련 반복에서 모델의 가중치에 0.99와 같은 감쇠 계수를 곱하여 가중치의 크기를 줄인다.

이는 가중치를 작게 유지하는 것이 목표인 l_2 정규화가 유사하며, 실제로 SGD를 사용할 때 l_2 정규화가 가중치 감쇠와 동일하다는 것을 수학적으로 증명할 수 있다. 

 

11.3.9 학습률 스케일링

 

매우 작은 값에서 매우 큰 값까지 지수적으로 학습률을 증가시키면서 모델 훈련을 반복하여 좋은 학습률을 찾을 수 있다.

학습 곡선을 살펴보고 다시 상승하는 곡선보다 조금 더 작은 학습률을 선택한다. 

그다음 모델을 다시 초기화하고 이 학습률로 훈련한다.

 

학습 스케줄 : 큰 학습률로 시작하고 학습 속도가 느려질 떄 학습률을 낮추면 최적의 고정 학습률보다 좋은 솔루션을 더 빨리 발견할 수 있다. 

---

11.4 규제를 사용해 과대적합 피하기

11.4.1 ℓ_1과 ℓ_2 규제

신경망의 연결 가중치를 제한하기 위해 ℓ_2 규제를 사용하거나 많은 가중치가 0인 희소 모델을 만들기 위해 ℓ_1 규제를 사용할 수 있다.

layer = tf.keras.layers.Dense(100, activation="relu",
                              kernel_initializer="he_normal",
                              kernel_regularizer=tf.keras.regularizers.l2(0.01))

l2() 함수는 훈련하는 동안 규제 손실을 계산하기 위해 각 스텝에서 호출되는 규제 객체를 반환하며 이 손실은 최종 손실에 합산된다.

l1 규제가 필요하면 keras.regularizers.l1()을 사용할 수 있고,  l1과 l2가 모두 필요하면 keras.regularizers.l1_l2()를 사용한다. 

 

일반적으로 네트워크의 모든 은닉 층에 동일한 활성화 함수, 동일한 초기화 전략을 사용하거나 모든 층에 동일한 규제를 적용하기 때문에 동일한 매개변수 값을 반복하는 경우가 많다. 이는 코드를 읽기 어렵게 하고 버그를 만들기 쉽다.

-> 반복문을 사용하도록 코드를 리팩터링 할 수 있으며, 파이썬의 functools.partial() 함수를 사용해 기본 매개변수 값을 통해 함수 호출을 감깔 수 있다.

from functools import partial

RegularizedDense = partial(tf.keras.layers.Dense,
                           activation="relu",
                           kernel_initializer="he_normal",
                           kernel_regularizer=tf.keras.regularizers.l2(0.01))
                           
model = tf.keras.Sequential([
    tf.keras.layers.Flatten(input_shape=[28, 28]),
    RegularizedDense(100),
    RegularizedDense(100),
    RegularizedDense(10, activation="softmax")
])

11.4.2 드롭아웃

매 훈련 스텝에서 각 뉴런(입력 뉴런은 포함하고 출력 뉴런은 제외한다.)은 임시적으로 드롭아웃될 확률 p를 가진다.

이번 훈련 스텝에서는 완전히 무시되지만 다음 스텝에서는 활성화될 수 있다.

하이퍼파라미터 p를 드롭아웃 비율이라고 하며, 보통 10% ~ 50% 사이로 지정한다.

훈련이 끝난 후에는 뉴런에 더는 드롭아웃을 적용하지 않는다.

 

훈련하는 동안 각 입력의 연결 가중치를 보존 확률(1 - p)로 나눠야 한다. 

그렇지 않으면 신경망이 훈련 중, 훈련 후에 다른 데이터를 만나게 되므로 제대로 작동하지 않을 것이다..

 

케라스에서는 tf.keras.layers.Dropout 층을 사용하여 드롭아웃을 구현한다.

이 층은 훈련하는 동안 일부 입력을 랜덤하게 버리고 남은 입력을 보존 확률로 나눈다.

훈련이 끝난 후에는 어떤 작업도 하지 않으며 입력을 다음 층으로 그냥 전달한다.

 

model = tf.keras.Sequential([
    tf.keras.layers.Flatten(input_shape=[28, 28]),
    tf.keras.layers.Dropout(rate=0.2),
    tf.keras.layers.Dense(100, activation="relu",
                          kernel_initializer="he_normal")
    tf.keras.layers.Dropout(rate=0.2),
    tf.keras.layers.Dense(100, activation="relu",
                          kernel_initializer="he_normal"),
    tf.keras.layers.Dropout(rate=0.2),
tf.keras.layers.Dense(10, activation="softmax")
])
[...] # 모델 컴파일과 훈련

 

모델이 과대적합되었다면 드롭아웃 비율을 늘릴 수 있고 모델이 과소적합되면 드롭아웃 비율을 낮추어야 한다.

층이 클 때는 드롭아웃 비율을 늘리고 작을 때는 드롭아웃 비율을 낮추는 것이 도움이 된다.

많인 최신 신경망 구조는 마지막 은닉층 뒤에만 드롭아웃을 사용한다. 

11.4.3 몬테 카를로 드롭아웃

import numpy as np

y_probas = np.stack([model(X_test, traning=True)
                    for sample in range(100)])
y_proba = y_probas.mean(axis=0)

model(X)는 넘파이 배열이 아닌 텐서를 반환하는 점을 제외하고는 model.predict(X)와 비슷하고 training 매개변수를 지원한다.

드롭아웃으로 만든 예측을 평균하면 일반적으로 들보아웃 없이 예측한 하나의 결과보다 더 안정적이다. 

 

모델이 훈련하는 동안 다르게 작동하는 (BatchNormalization 층과 같은) 층을 가지고 있다면 앞에서와 같이 훈련 모드를 강제로 설정해서는 안 된다. 대신 Dropout 층을 MCDropout 클래스로 바꿔야 한다.

class MCDropout(tf.keras.layers.Dropout):
     def call(self, inputs, training=False):
          return super().call(inputs, training=True)

Dropout 층을 상속하고 call() 메서드를 오버라이딩하여 training 매개변수를 True로 강제로 설정한다.

이미 Dropout을 사용하여 모델을 훈련했다면 Dropout 층을 MCDropout으로 바꾸고 기존 모델과 동일한 모델을 새로 만든다. 그 다음 기존 모델의 가중치를 새로운 모델로 복사한다.

 

MC 드롭아웃은 드롭아웃 모델의 성능을 높여주고 더 정확한 불확실성 추정을 제공하는 훌륭한 기술이다.

11.4.4 맥스-노름 규제

각각의 뉴런에 대해 입력의 연결 가중치 w가 ||w||_2 ≤ r이 되도록 제한한다.

r은 맥스-노름 하이퍼파라미터이고 ||.||_2는 ℓ_2 노름을 나타낸다.

 

전체 손실 함수에 규제 손실항을 추가하지 않는다.

대신 일반적으로 매 훈련 스텝이 끝나고 ||w||_2를 게산하고 필요하면 w의 스케일을 조정한다.

r을 줄이면 규제의 양이 증가하여 과대적합을 감소시키는 데 도움이 된다.

불안정한 그레이디언트 문제를 완화하는 데 도움을 준다.

 

케라스에서 맥스-노름 규제를 구현하려면 적절한 최댓값으로 지정한 max_norm()이 반환한 객체로 은닉 층의 kernel_constraint 매개변수를 지정한다.

dense = tf.keras.laers.Dense(
     100, activation="relu", kernel_initializer="he_normal",
     kernel_constraint=tf.keras.constraints.max_norm(1.))

매 훈련 반복이 끝난 후 모델의 fit() 메서드가 층의 가중치와 함꼐 max_norm()이 반환한 객체를 호출하고 스케일이 조정된 가중치를 반환받는다. 이 값을 사용하여 층의 가중치를 바꾼다.

 

max_norm() 함수는 기본값이 0인 axis 매개변수를 가진다.

Dense 층은 일반적으로 [샘플 개수, 뉴런 개수] 크기의 가중치를 가진다.

axis=0을 사용하면 맥스-노름 규제는 각 뉴런의 가중치 벡터에 독립저긍로 적용된다.