☘︎ Computer VIsion - Szeliski 5장 ☘︎

5.4 Convolutional newral networks

5.4.7 Self-supervised learning

하나의 작업을 위해 백본 네트워크를 pre-train해두고, 마지막 몇 층을 다른 작업에 맞는 새로운 헤드로 교체한 다음 그 부분을 학습시키는 방식은 매우 흔하다.

경우에 따라서는 원래 백본 네트워크의 마지막 몇 개 층을 fine-tuning할 수 있다.

 

transfer learning(전이학습) : 한 작업에서 학습한 내용을 다른 작업에 활용하는 아이디어이다.

domain adaptation(도메인 적응) : 최종적으로 적용하려는 용도와 데이터의 통계적 특성에 맞게 네트워크의 마지막 부분을 수정, 조정하는 과정이다. 

이러한 접근은 원래 labeled dataset으로 백본을 학습시키는 fully supervised 방식으로 학습된 백본에 적용되었다.

하지만 unlabeled 현실 세계 이미지가 훨씬 많이 존재하므로, 이런 unlabeled 대규모 이미지로 pre-training할 수 있다면 매우 좋을 것이다.

 

self-supervised learning은 unlabeled 이미지로부터 라벨을 자동으로 만들어낼 수 있는 superbised learning 형태의 pretext task를 만든다. 

pre-training을 끝낸 뒤에는, 네트워크를 최종적으로 풀고 싶은 downstream 과제에 맞게 수정하고 fine-tuning할 수 있다.

 

[image classification 네트워크를 pre-training하기 위해 제안된 pretext task]

Context prediction : 서로 가까운 이미지 패치들을 가져와서, 그들 사이의 상대적인 위치를 예측한다.

Context encoders : 이미지에서 하나 이상의 누락된 영역을 inpainting으로 채운다

9-타일 직소 퍼즐 : 타일들을 올바른 위치로 다시 배열한다.

흑백 이미지 컬러화

90도 단위 회전 복원 : 이미지를 90도의 배수로 회전시킨 뒤, 올바르게 똑바로 세우는(회전 각도를 맞히는) 작업을 한다. 

 

단일 이미지 기반 pretext 과제를 쓰는 것 외에도, 연속 프레임이 의미적으로 관련된 내용을 담고 있는 비디오 클립을 활용해 왔다.

비디오 프레임들을 시간 순서대로 올바르게 정렬하는 것으로, 즉 context prediction과 직소 퍼즐의 temporal(시간적) 버전을 사용하는 방법이 있다.

또 다른 방법으론 컬러화를 비디오로 확장하는 것으로, 첫 번쨰 프레임의 색상을 주고 그 정보를 이용해 나머지를 처리하는 방식이다. 

이는 네트워크가 semantic categoreis와 correspondences를 학습하도록 유도한다.

비디오는 보통 소리(오디오)를 함께 포함하므로, 이를 self-supervised learning에서 추가적으로 활용할 수 있다.

예) 네트워크가 시각 신호와 청각 신호를 서로 정렬하도록 요구하는 방식으로 사용할 수 있다.

예) unsupervised (contrastive(대조학습)) 프레임워크에서 이를 활용하는 방법도 있다. 

 

semi-supervised learning 시스템은 pretext task를 위해 정답(ground truth) 라벨을 자동으로 생성하여, 이를 supervised learning 방식으로 사용할 수 있게 한다. 

contrastive / metric learning : 다른 대안으로는, contrastive loss나 다른 ranking loss를 사용해 unsupervised learning을 수행하는 방법이 있다.

의미적으로 비슷한 입력들이 비슷한 인코딩(표현)을 만들도록 유도하고, 반대로 서로 다른 입력들은 표현 공간에서 더 멀어지도록 벌려 놓는 것이다. 

 

네트워크가 각 instance(각 학습 예제)에 대해 별도의 embedding을 생성하도록 학습시키며, 새 샘플이 학습 중인 신경망을 통과할 때마다 그 embedding을 moving average memory bank에 저장한다.

그다음 embedding 공간에서의 nearest neighbors를 이용해 새로운 이미지를 분류한다.

Momemtum Contrast(MoCo)는 이 memory bank를, 시간에 따라 조정되는 momentum encoder를 통해 인코딩된 샘플들을 담는 고정 길이 queue로 대체한다.

이 momentum encoder는 실제로 학습되는 네트워크와는 분리된 별도의 인코더이다.

Pretext-Invariant Representation Learning(PIRL)은 pretext task와 multi-crop data augmentation과 함꼐 배치 내 각 샘플과 배치의 다른 모든 샘플 사이에 contrasive loss(normalized temperature cross-entorpy)을 적용한다.

MoCo v2는 MoCo와 SimCLR의 아이디어를 결합해 더 좋은 결과를 얻는다.

또한 생성된 embedding을 직접 비교하기보다는 먼저 fully connected network(MLP)를 한 번 적용한 뒤에 비교한다. 

 

contrastive loss는 metric learning에서 유용한 도구로 의미적으로 관련된 입력들에 대해서는 embedding space에서 거리가 작아지도록 유도한다.

이에 대한 대안으로 deep clustering을 이용하여, 관련된 입력들이 유사한 출력을 내도록 유도하는 방법이 있다. 

 

의미적으로 비슷한 입력들끼리의 유사성만 강제하는 representation learning도 잘 작동한다.

contrastive learning처럼 negative 쌍이 없으면, 표현이 모든 입력에 대해 항상 같은 상수값을 예측해 유사성을 최대화하는 식의 무의미한 해로 붕괴하기 쉽기 때문에 직관에 반한다.

이런 붕괴를 피하기 위해 보통 네트워크 설계에 주의를 기울인다.

 

contrastive learning과 관련 연구들은 여러 data augmentation을 조합해서 사용하며, 이러한 변화에도 불변인 representation을 학습하도록 한다. 

generative modeling을 사용하는 방법이 있다.

픽셀을 예측하는 방식으로 representation을 pre-training하는데, 예측 방식엔 두 가지가 있다.

auto-regressive 방식은 GPT나 다른 언어 모델처럼 이전 정보를 바탕으로 다음 픽셀을 순차적으로 예측하는 방법이다.

de-noising 방식은, BERT나 masked auto-encoder처럼 일부 픽셀을 가린 뒤(또는 노이즈를 넣은 뒤) 이를 복원하도록 학습하는 방식이다.

generative modeling은 비전부터 NLP까지 여러 도메인에 걸친 self-supervised learning을 하나로 연결할 가능성이 있다.

 

student-teacher 모델 또한 self-supervised learning의 변형이다.

teacher 네트워크가 student 네트워크를 학습시키기 위한 훈련 example를 제공한다.

이런 종류의 아키텍처는 원래 model compression, knowledge distillation으로 불렸으며, 더 작은 모델을 만들기 위해 사용되었다.

추가 데이터와 더 큰 용량의 네트워크를 결합하면, 모델 크기를 줄이는 목적뿐 아니라 성능 향상에도 도움이 된다. 

---

5.5 More complex models

5.5.1 Three-dimensional CNNs

원칙적으로는 2D 네트워크에 추가 축 방향으로 슬라이딩 윈도우를 끼워 넣기만 하면, 또는 groupted convolution을 사용하면 3D convolution을 수행할 수 있다.

하지만 실제로는 전체 3D 볼륨 데이터를 한 번에 다루고, 모든 kernel이 3번째 차원(예. 시간/깊이) 방향으로도 가중치를 공유하도록 만드는 편이 더 편리하다.

또는 각 층에서 3번째 차운에 대해 여러 입력/출력 feature channel을 함께 다루는 구조로 설계하기도 쉽다.

 

temporal(시간적) 정보를 결합하는 여러 대안적 아키텍처가 있다.

단일 프레임 접근은 각 프레임을 서로 독립적으로 분류하며, 오직 그 프레임 자체의 내용에만 의존한다.

late fusion은 각 프레임에서 생성된 feature들을 가져와서 clip 단위로 하나의 분류 결과를 만든다.

early fusion은 인접한 프레임들의 작은 묶음을 2D CNN의 여러 채널처럼 묶어서 입력으로 넣는 방식이다.

이런 방식에서 시간 축에 걸친 상호작용은 합성곱이 갖는 weight sharing이나 temporal shift invariance 같은 성질을 제대로 갖지 못한다.

3D CNN은 spatio-temporal 윈도우 위에서 동작하는 공간과 시간에 대해 불변인 3차원 Kernel을 학습하고, 그 결과를 결합하여 최종 점수를 만든다. 

 

아주 단순한 3x3x3 convolution을 깊은 네트워크에서 pooling과 함께 사용해도, 더 좋은 성능을 얻을 수 있다. (3D CNN의 VGG)

 

비디오 처리뿐만 아니라 3D CNN은 volumetric(부피) image processing에도 적용되어 왔다.

 

일반적인 2D CNN과 마찬가지로, 3D CNN 아키텍처도 공간적, 시간적 해상도, 스트라이딩, 채널 깊이 등을 다양하게 활용할 수 있다.

하지만 3D CNN은 계산량과 메모리 사용량이 매우 큰 경우가 많다.

→ SlowFast라는 two-stream 아키텍처를 사용한다.

slow pathway가 더 낮은 프레임레이트에서 동작하고, fast pathway는 시간적으로 더 촘촘하게 샘플링을 하지만 채널 수는 더 적게 가져가며, 두 경로의 feature를 결합한다.

또한 비디오 처리 네트워크는 channel-seperated convolutions이나 neural architecture search을 통해서도 더 효율적으로 만들 수 있다. 

multigrid 기법을 사용하면 비디오 인식 모델의 학습을 더 빠르게 가속할 수 있다.

 

3D point clouds and meshes

volumetric density, implicit distance functions, 비디오 시퀀스처럼 3차원 격자 형태의 데이터를 처리하는 것뿐 아니라, neural network는 단일 이미지 한 장으로도 3D 모델을 추론하는 데에도 사용할 수 있다.

이는 픽셀 단위 깊이를 예측하거나, 부피 밀도 표현으로 나타낸 완전한 3D 모델을 재구성하여 접근할 수 있다. 

최근에는 이러한 3D inference 네트워크 중 일부가 정확한 3D 구조를 진짜로 추론한다기보다 단지 대략적인 물체 범주를 인식한 뒤 약간의 맞춤을 수행하는 수준일 수도 있다는 점을 시사한다.

3D point cloud를 생성하고 처리하기도 한다.

RGB-D, RGB 이미지로부터 삼각형 mesh를 추론하는 방법도 있다.

5.5.3 Transformers

deep neural network에 attension 메커니즘을 추가한 새로운 아키텍처이다.

입력 토큰을 한 번에 하나씩 처리하는 RNN 및 그 변형들과 달리, transformer는 전체 입력 시퀀스를 한번에 처리할 수 있다. 

 

컴퓨터 비전에 transformer를 적용하려는 동기는 NLP에 적용하려는 동기와 다르다.

RNN은 입력을 순차적으로 처리해야 한다는 한계를 갖지만, convolution은 연산 자체가 본질적으로 병렬적이기 때문에 이런 문제가 없다.

대신 convolution의 문제는 inductive bias(귀납적 편향)과 관련이 있으며, convolution 모델 안에 기본적으로 내장되어 있는 default assumptions을 의미한다.

 

convolution 연산은 가까이 있는 픽셀들이 멀리 있는 픽셀들보다 더 중요하다는 가정을 내포하고 있다.

여러 개의 convolution 층을 차곡차곡 쌓아 올려야만 receptive fields이 충분히 커져서 이미지 전체를 볼 수 있게 된다.

네트워크에 non-local 연산을 부여하면 이런 한계를 완화할 수 있는데, 이는 일부 image denoising 알고리즘에서 사용되는 연산과 유사하다.

 

transformer의 핵심 구성요소는 self-attention으로, 네트워크의 한 layer에 있는 N개의 unit activations 각각에 attention을 적용하는 방식으로 구성된다.

key-value 쌍 {(k_i, v_i)}의 집합과 query q가 주어지면, 딕셔너리는 query와 정확히 일치하는 키 k_i에 대응하는 값 v_i를 반환한다.

neural network에서는 key와 query가 rea-valued vectors(실수 벡터)로 주어지기 때문에, 해당 연산은 정확히 일치하는 하나를 고르는 대신, query vector와 key vector들 사이의 (쌍별) 거리/유사도에 따라 가중치가 정해지고, 그 가중치로 value vector들을 weighted sum한 결과를 반환한다.

이는 scattered data interpolation(산재 데이터 보간)과 기본적으로 같은 아이디어이지만, radial distance(방사 거리)를 쓰는 대신 scaled dot-product attention(스케일된 점곱 어텐션)을 사용한다. 

scaled dot-product attention은 query 벡터와 key 벡터의 내적을 계산한 뒤, 임베딩 차원 D의 제곱근으로 나눠 스케일을 줄이고 softmax 함수를 적용한다.

K와 V는 각각 키 벡터들과 값 벡터들을 행 방향으로 쌓아 만든 행렬이고 y는 어텐션 연산자의 출력이다.

입력 벡터들의 집합 {x_0, x_1, ..., x_N-1}이 주어졌을 때, self-attention 연산은 출력 벡터들의 집합 {x'_0, x'_1, ...., x'_N-1}을 만든다.

self-attention의 계산 그래프를 사용해 하나의 출력 벡터 x_2를 얻는 과정

self-attention은 학습되는 세 개의 가중치 행렬 W_q, W_k, W_v를 사용하며, 이들은 각 유닛(토큰/위치)에 대해 어텐션 블록에 들어가는 query, key, value 벡터를 결정한다.

그 다음 value vector들의 weighted sum을 계산하고, 필요에 따라 이를 MLP(다층 퍼셉트론)에 통과시켜 최종적으로 x'_2를 만든다.

 

fully connected layer이나 convolutional layer과 비교하면 self-attention은 각 출력을 계산할 때 입력 벡터 전체를 기반으로 한다.

fully connected layer는 각 입력에 대한 가중치가 고정되어 있는 반면, self-attention에서는 가중치가 입력에 따라 즉석에서 조정된다는 차이가 있다.

또한 처음부터 입력의 모든 부분에 주의를 기울일 수 있다.

입력의 local region만 보도록 제한되는 대신 전체 범위를 바로 볼 수 있기 때문에, 물체들을 구분하는데 필요한 문맥 정보를 더 잘 도입할 수 있다. 

 

transformer block을 만들기 위해서는 self-attention과 함께 결합되는 여러 구성 요소들이 있다.

완전한 transformer는 encoder 블록과 decoder 블록으로 구성되며, 두 블록은 많은 구성요소들을 서로 공유한다.

 

set-to-set 연산을 모델링하는 대신, 각 입력 벡터에 위치 인코딩을 더해 sequence-to-sequence 연산을 모델링할 수 있다.

위치 인코딩은 보통 시간적으로(위치에 따라) 위상이 조금씩 이동된 사인파들의 집합으로 이루어지며, 이로부터 위치 정보를 복원(디코딩)할 수 있다.

입력에 self-attention을 한 번만 적용하는 대신, 서로 다른 학습 가중치 행렬로 서로 다른 key, value, query를 만들고, 이런 self-attention을 여러 개 병렬로 적용해 multi-headed self-attention을 구성하는 경우가 많다.

각 헤드의 결과는 서로 이어 붙인 뒤, 전체를 MLP에 통과시킨다.

그 다음 MLP의 출력에 layer normalization를 적용한다. (학습이 흔들리지 않게 안정적으로 만든다.)

이후 각 벡터는 가중치를 공유하는 또 다른 MLP를 독립적으로 통과할 수 있으며, 그 뒤 다시 layer normalization을 적용한다.

residual connection은 multi-head attention 뒤와 마지막 MLP 뒤에 각각 사용된다.

 

training 과정에서 디코더의 가장 큰 차이점은, self-attention에 들어가는 입력 벡터들 중 일부를 마스킹 처리할 수 있다는 점이다. 

이는 autoregressive 예측 과정에서 parallel training을 가능하게 해 준다.

transformer를 이미지 도메인에 적용할 때 핵심적인 어려움 중 하나는 이미지 입력의 크기와 관련이 있다.

 

Vision Trasformer(ViT)를 통해 transformer가 훨씬 큰 이미지도 처리할 수 있게 해줬다. 

image recognition 과제에서 각 픽셀을 transformer의 개별 입력 벡터로 취급하는 대신, 크기 224x224인 이미지를 16x16 크기의 격자 형태 패치로 나누어 총 196개의 서로 다른 패치로 나눈다.

그다음 각 패치를 일렬로 펼친 뒤, 모든 패치에 공통으로 적용되는 임베딩 행렬을 통과시킨다. (== 스트라이드가 16인 16x16 합성곱을 적용하는 것)

이렇게 얻은 결과 위치 인코딩 벡터를 더한 뒤 transformer에 입력한다.

 

합성곱이 가진 inductive bias(귀납적 편향)과 transformer를 결합하려는 시도도 있었다.

이런 네트워크의 영향력 있는 예로 DETR이 있으며, 이는 object detection 과제에 적용된다.

DETR은 먼저 ResNet 백본으로 이미지를 처리한 뒤, 그 출력을 transformer encoder-decoder 구조에 입력한다.

transformer를 추가하면 큰 object를 탐지하는 능력이 향상되었는데, 이는 transformer가 입력 encoder vector들 사이의 대응 관계를 전역적으로 추론할 수 있기 때문이다. 

 

5.5.4 Generative models

deep neural network가 semantic을 포착하는 데 보여준 능력을 활용해, 샘플 이미지를 시각화하고 새로운 이미지를 생성하려면 visualization 기법을 사용할 수 있다.

하지만 이런 기법은 개별 유닛에 대한 insights는 제공할 수 있어도 완전히 현실적인 이미지를 만들어내는 데에는 실패한다.

 

원래의 인코더 네트워크가 수행한 classification을 되돌리는 디코더 네트워크를 구성할 수도 있다. 

이런 종류의 bottleneck(병목) 아키텍처는 이미지로부터 픽셀 단위 semantic label을 얻기 위해 사용된다.

 

Variational autoencoders

autoencoder : 이미지를 작고 압축된 코드로 인코딩한 다음, 그것을 다시 원래 이미지로 복원(디코딩)하려는 네트워크이다.

이런 압축 코드는 보통 벡터로 표현되며, 숨겨져 있고 직접 관측할 수 없는 값이라는 의미를 강조하기 위해 흔히 latent(잠재) vector라 부른다.

이미지 데이터셋으로 autoencoder를 학습시킬 때는 unsupervised 목적함수를 사용하여, 디코더의 출력 이미지가 인코더에 입력된 학습 이미지와 일치하도록 만든다.

그 다음 새로운 이미지를 생성하려면, latent vector를 무작위로 샘플링하고, 그 벡터로부터 디코더가 학습 데이터의 분포에서 나온 것처럼 보이는 새로운 이미지를 생성해 주기를  기대할 수 있다.

 

autoencoder에서는 각 입력이 그에 해당하는 latent vector로 deterministic(결정론적)이며 one-to-one으로 매핑된다.

따라서 생성되는 latent vector의 개수는 입력 데이터 포인트의 개수와 정확히 같다.

인코더의 목표가 디코딩하기 쉬운 latent vector를 만드는 것이라면, 방법 중 하나는 각 latent vector가 다른 모든 latent vector와 매우 멀리 떨어지도록 만드는 것이다.

→ 각 latent vector가 서로 거의 겹치지 않는 완전한 고유한 값이 되어, 디코더가 자신이 본 latent vector를 각각 외워서 복원할 수 있다.

하지만 무작위로 latent vector를 샘플링하여 디코더에 넣었을 때 현실적인 이미지가 생성되도록 해야하기 때문에, latent vector는 충분히 잘 탐색되어 있어야 하고, 동시에 가까운 벡터끼리는 의미적으로 비슷하다 같은 semantic structure를 담고 있어야 한다.

이에 대한 한가지 방법은 latent vector에 noise를 주입하는 것이며 이는 꽤 잘 동작한다.

 

autoencoder의 확장으로는 variational autoencoder(VAE)가 있다.

입력마다 latent vector를 하나만 생성하는 대신, latent vector가 따르는 미리 정한 분포를 정의하는 mean과 covariance을 생성한다.

그런 다음 그 분포에서 샘플링하여 하나의 latent vector를 얻고 이를 디코더에 입력한다.

샘플링 과정이 결정론적으로 변해버리는(covariance 행렬이 0 행렬이 되어버리는) 것을 막기 위해, objective function에는 보통 regularization 항이 포함된다.

이 항은 latent vector가 어떤 선택된 분포에서 너무 멀어지면 벌점을 주도록 설계된다.

이처럼 확률적 성격을 가지기 때문에, VAE는 일반 autoencoder보다 latent vector space를 더 잘 탐색할 수 있고, 그 결과 디코더가 학습 데이터를 외워서 과적합하기가 더 어려워진다.

 

자연어가 discrete(이산적)이라는 점과, 이미지가 보통 언어로 설명될 수 있다는 점에 착안하여, vector quantized VAE(VQ-VAE)는 latent space을 categorical(범주형) 변수로 모델링한다. 

인코더와 디코더는 일반적인 VAE처럼 동작한다.

즉 인코더는 입력으로부터 어떤 latent representation을 예측하고, 디코더는 그 latent representation으로부터 이미지를 생성한다.

하지만 일반 VAE와 달리, VQ-VAE는 인코더가 예측한 latent representation의 각 spatial dimenison(공간 위치)에 대해, 미리 정해진 discrete vector 집합(이산 벡터 집합, 코드북)에서 가장 가까운 벡터로 해당 값을 치환한다.

이렇게 discretize된 잠재 표현이 디코더로 전달된다.

또한 코드북에 있는 벡터들은 VAE의 인코더, 디코더와 동시에 학습된다. 

이때 코드북 벡터들은 인코더가 출력한 각 공간 위치의 벡터들에 더 가까워지도록 최적화된다.

 

VG-VAE가 이산적인 벡터 집합을 쓰긴 하지만, 표현할 수 있는 이미지의 경우의 수는 여전히 엄청나게 많다.

 

VAE는 보통 gaussian latent distribution을 가정하지만, VQ-VAE의 latent distribution은 명확하게 정의되어 있지 않다.

→ latent variable z를 샘플링하기 위해 별도의 생성 모델을 따로 학습한다.

이 모델은 학습된 VQ-VAE 인코더가 학습 데이터 전체에 대해 출력한 최종 latent variables들을 가지고 학습된다.

이미지의 경우 z의 각 항목들은 공간적으로 서로 의존하는 경우가 많다.

예) 하나의 물체가 서로 이웃한 여러 항목에 걸쳐 인코딩될 수 있다.

z의 항목들이 이산적인 코드북 벡터들 중에서 선택되는 값들이므로, PixelCNN을 사용해 이미 샘플링된 이웃 항목들을 바탕으로 latent variable의 새 항목들을 자기회귀적으로 샘플링할 수 있다.

→ 특정 이미지 클래스나 특징에 해당하는 latent variables를 샘플링할 수 있게 해준다.

 

VQ-VAE-2는 이미지를 디코딩할 떄 two-level 접근을 사용한다.

작은 latent vector와 큰 latent vector를 함께 사용함으로써, reconstruction(재구성)된 이미지와 generation된 이미지의 fidelity(품질)을 훨씬 더 높일 수 있다.

DALL·E는 VQ-VAE-2를 text-to-image 생성에 적용한다.

 

Generative adversarial networks

image synthesis을 위해 pre-training된 네트워크가 계산한 multi-resolution(다중 해상도) 특징을 이용해, 주어진 텍스처 또는 스타일 이미지의 통계를 맞추는 방법이 있다.

특정 화가의 스타일이나 사진의 고수준 내용(배치/구도, layout)을 맞추는 데에는 유용하지만, 완전히 사진처럼 사실적인 이미지를 생성하기에는 충분하지 않다.

 

진짜로 사진처럼 현실적인 합성 이미지를 만드려면, 어떤 이미지가 진짜인지 가짜인지 판별할 수 있어야 한다.

그런 loss function이 존재한다면, 이를 이용해 합성 이미지를 생성하는 네트워크를 학습시킬 수 있다.

그러나 이 loss function을 사람이 직접 설계하기는 어렵다.

generative adversarial networks(GAN)이 비평가 역할을 하는 별도의 신경망을 학습시킨다.

generator(생성기) 네트워크 G의 출력이 별도의 discriminator(판별기) 네트워크 D로 들어가며, D의 과제는 가짜로 생성된 합성 이미지와 진짜 이미지를 구분하는 것이다.

generator의 목표는 discriminator가 그것을 진짜로 받아들이도록 이미지를 만들어내는 것이고, discriminator의 목표는 그 위조자를 잡아내는 것이다.

두 네트워크는 동시에 함께 학습되며, 각 네트워크가 자신의 역할을 잘 수행하도록 유도하는 여러 loss function의 혼합을 사용한다.

이 joint loss는 아래와 같이 쓸 수 있다.

{x_n}은 현실 세계의 학습 이미지이고, {z_n}은 임의의 랜덤 벡터로 생성기 G에 입력되어 합성 이미지 x_n을 만들어낸다.

또한 {w_G, w_D}는 각각 generator와 discriminator의 파라미터이다. 

 

이 손실을 그대로 최소화하는 대신, generator의 가중치는 손실의 두 번째 항만 최소화하도록 조정하고(generator는 첫 번째 항에는 영향을 주지 않는다.), discriminator의 가중치는 두 항 모두를 최대화하도록 조정한다.

discriminator의 오류를 최소화하는 방향으로 학습하며 이러한 과정을 minimax 게임이라고 부른다.

GAN, cGAN, infoGAN

Deep Convolutional GAN(DCGAN)은 deconvoluiton 네트워크의 뒤쪽 절반을 사용하여, 랜덤 latent vector z에서 임의 크기의 이미지로 매핑할 수 있게 했고, 더 다양한 출력을 생성할 수 있다.

LAPGAN은 adversarial network를 라폴라시안 피라미드 형태로 쌓는 방법을 사용한다.

서로 다른 latent vecotr들 사이를 블렌딩하거나(또는 특정 방향으로만 조금씩 교란/이동시키면), 그 중간 단계에 해당하는 중간(intermediate) 합성 이미지를 만들어낼 수 있다.

 

GAN과 DCGAN은 특정 클래스에서 새 샘플을 생성하도록 학습시킬 수 있지만, 하나의 학습된 네트워크로 여러 클래스의 샘플을 생성할 수 있다면 더 유용하다.

conditional GAN(cGAN)은 generator과 discriminator 모두에 클래스 벡터를 입력으로 넣는 방식으로 이를 달성한다.

generator G는 이 두 번째 입력(클래스 벡터)에 조건을 걸어 출력을 만들고, discriminator D도 클래스 벡터를 함께 받아, 생성된 이미지가 그 클래스에 해당하는 진짜인지 가짜인지 판단한다.

infoGAN은 추가적인 mutual information 항을 사용해 discriminator가 클래스 벡터와 상관된 클래스를 예측하도록 만들 수 있다.

MNIST에서의 숫자 모양과 필기 스타일, 혹은 포즈와 조명 같은 요소처럼 서로 분리된 표현을 학습할 수 있다.

 

무작위 이미지를 생성하는 것은 텍스처 생성, 구멍 메우기, 사진 스타일화 등 다양한 그래픽스 응용에 유용하지만, 사람이 예술적으로 직접 제어하면서 생성할 수 있다면 더 유용해진다.

iGAN 인터랙티브 이미지 편집 시스템은 GAN을 이용해 사진처럼 현실적인 이미지들의 매니폴드를 학습한 뒤, 사용자의 편집 결과가 이 매니폴드 위에 놓이도록 제약함으로써 이를 구현한다.

 

이 접근은 다양한 image-to-image 변환 과제로 일반화되었다.

pix2pix 시스템에서는 스케치나 시맨틱 라벨 같은 이미지를 수정된 U-Net에 입력으로 넣고, 이를 다른 의미나 스타일을 가진 이미지로 변환한다.

semantic image systhesis(시맨틱 이미지 합성) : 입력이 시맨틱 라벨 맵이고 출력이 사진처럼 사실적인 이미지일 때

이 변환 네트워크는 conditional GAN으로 학습되는데, 학습 시점에 두 도메인에 속한 짝지어진 이미지를 사용하고, discriminator는 입력 이미지+합성된 이미지가 진짜 쌍인지 가짜 쌍인지를 판단한다.

conditional GAN에서 클래스 c는 하나의 클래스 ID가 아닌 전체 이미지 입력이며, generator G와 discriminator D 모두에 입력된다.

discriminator는 이미지 전체에 대해 한 번에 판단하는 대신, 서로 겹치는 patch들을 보고 patch 단위로 real/fake rufwjddmf soflsek.

→ 필요한 파라미터 수가 줄고, 학습 데이터가 더 많아지며, 더 구체적인 판별 피드백을 제공할 수 있다.

구현에서는 랜덤 벡터 z를 따로 쓰지 않고, 학습 시와 테스트(변환) 시 모두 dropout을 사용하며 이는 네트워크의 여러 수준에서 노이즈를 주입하는 것과 같다.

 

많은 경우에는 짝지어진 이미지가 이용가능하지 않다.

예) 서로 다른 장소에서 수집된 그림과 사진의 컬렉션이 있거나, 두 개의 서로 다른 동물 클래스에 속한 사진들만 있는 경우

→ cycle-consistent adversarial network(Cycle-GAN)을 사용하여 두 도메인 사이의 매핑이 원래 입력을 유지하도록 만들면서도, 생성된 이미지가 학습 이미지들과 지각적으로 유사하도록 요구할 수 있다.

DualGAN과 DiscoGAN도 비슷한 아이디어를 사용한다.

BicycleGAN은 변환 사이클이라는 유사한 아이디어를 이용해, 인코딩된 latent vector들이 출력 이미지의 서로 다른 모드에 대응하도록 유도함으로써, 해석 가능성과 제어성을 높인다.