☘︎ Computer vision - Szeliski 6장 (1) ☘︎

6.1 Instance recognition

일반적인 object recognition은 instance recognition과 class recognition으로 나뉜다.

instance recognition은 알려진 2차원, 3차원의 rigid object를 re-recognize하는 것을 포함한다.

이는 부분적인 가려짐과 복잡한 배경과 함께 새로운 시점에서 바라볼 가능성이 있다.

class recognition는 카테고리 수준 또는 일반 객체 인식이라고도 알려져 있으며, 특정 일반 클래스의 모든 인스턴스를 인식하는 훨씬 더 어려운 문제이다.

 

새로운 이미지와 데이터베이스의 이미지 모두에서 informative sparse 2D features을 추출한 후, 이미지 특징은 객체 데이터베이스와 매칭되며,  희소 특징 매칭 전략 중 하나를 사용한다.

충분한 수의 match가 발견될 때마다, 두 개의 geometric transformation을 정렬하는 기하학적 변환을 찾아 검증된다.

Geometric alignment

recognition system은 먼저 각 데이터베이스 이미지에서 관심 지점 집합을 추출하고, 연관된 디스크립터(및 원래 위치)를 search tree와 같은 indexing structure에 저장한다.

recognition time에 새로운 이미지에서 특징이 추출되어 저장된 객체 특징과 비교된다.

주어진 객체에 대해 충분히 많은 matching featuers이 발견될 때마다 시스템은 match verification 단계를 호출한다.

match verification 단계에서는 matching feature의 공간적 배열이 DB 이미지의 배열과 일치하는지 여부를 판단한다.

 

이미지가 매우 복잡할 수 있고 유사한 특징이 여러 object에 속할 수 있으므로, origianl set of feature matches는 많은 outliers를 가질 수 있다.

→ Hough 변환을 사용하여 가능성이 높은 geometric transformation에 대한 vote를 모으는 방법이 제안되었다.

DB object 사이와 scene feature 모음 사이에 affine transformation을 사용하며, 이는 대부분 평면인 object거나 적어도 여러 해당 feature이 quasi-planer geometry를 공유하는 경우에 잘 작동한다. 

 

다른 시스템에선 affine region detector가 rectify(국부) local image patch를 보정하는 데 사용되며, 이를 통해 SIFT descriptord와 10x10 UV 색상 히스토리그램이 모두 계산되어 매핑과 인식에 활용된다.

동일 object의 다른 view에 있는 해당 patch와 그들의 local affine deformation(변형)은 factorization(인수분해) algorithm의 확장으로(이후엔 Euclidean reconstruction) 사용되는 객체에 대한 3D affine model을 계산하는 데 사용된다. 

recognition time에 local Euclidean neighborhood constraint는 잠재적 match를 필터링하기 위해 사용된다. 

 

feature-based approaches는 일반적으로 장면에서 알려진 객체를 감지하고 위치를 파악하는 데 사용되지만, 이를 기반으로 장면의 픽셀-레벨 segmentation을 얻을 수 있다. 

 

2000년대 초중반에 instnace recognition은 이미지 내에서 알려진 3D 객체의 위치를 찾는 문제에 초점을 맞추었다.

이후엔 instance retrieval(인스턴스 검색, content-based image retrieval)에 초점을 맞추었다.

---

6.2 Image classification

6.2.1 Feature-based methods

특징들은 처음으로 keypoint에서 추출되고 학습된 시각적 단어(feature cluster centers)에 대한 분포(히스토그램)을 얻기 위해 quantize된다.

이 feature distribution historgram은 분류 알고리즘에 사용되는 결정 경계를 학습하는 데 사용된다.

 

Bag of words

이 알고리즘은 query 이미지에서 발견된 시각적 단어들의 분포(histogram)을 단순히 계산하고, 이 분포를 training 이미지에서 발견한 것과 비교한다.

instance recognition과의 가장 큰 차이점은 geometric verification 단계가 없다는 것이며, 이는 일반적인 시각 범주의 개별 instance가 특징과의 spatial coherence가 상대적으로 적기 때문이다. 

category recognition을 위한 frequency-based 기술의 유용성을 입증한 첫 번째 접근이다.

 

feature vector를 시각적 단어로 quantize하는 대신, 크기가 가변적인 두 feature vector 집합 사이의 대략적인 거리를 직접 계산하는 기술이 개발되었다.

feature vector를 feature space에 정의된 multi-resolution pyramid(다중 해상도 피라미드)에 넣고, 해당 구간 B_il 과 B'_il에 있는 특징 수를 세는 방법이다. 

두 개의 feature vector 사이의 거리(고차원 공간에서의 점)는 해당 구간 사이의 histogram intersection을 사용해 계산된다.

거친 레벨과 세밀한 레벨에서 모두 매칭되면 중복이니 거친 레벨 매칭은 빼며, 대신 더 세밀한 레벨에서의 매칭에 더 큰 가중치를 준다.

 

다른 연구에서는, affine region descriptor를 추출하고 이를 시각적 단어로 quantize한다.

(featurn descriptor는 이미지 위의 정규칙 격자에서 조밀하게 구성되며, 텍스처가 없는 영역을 설명하는 데 도움이 된다.)

단어 수(히스토그램)를 포함하는 구간으로 구성된 spatial pyramid를 형성하고, 유사한 pyramid match kernel을 사용하여 histogram intersection 횟수를 계층적으로 결합한다.

 

quantized feature descriptior과 continuous descriptor 중 뭐를 사용할지, 희소적인 feature와 조밀한 feature 중 뭐를 사용할지에 대한 논쟁이 계속 이어졌다. 

쿼리 이미지가 각 클래스 이미지만 개별적으로 비교하는 것이 아니라 주어진 클래스를 나타내는 모든 특징과 비교될 경우, nearest-neighbor matching 뒤에 naive Bayes classifier을 적용하는 것이 quantized 시각적 단어보다 성능이 좋다.

일반적인 feature detector와 descriptor를 사용하는 대신, randomized forest나 feature generation과 image classification 단계의 결합을 사용하기도 한다. 

최종 분류에 biological (visual cortical(시각 피질)) 처리와 SVM을 결합한 고밀도 feature transform의 계층 구조를 사용하기도 한다. 

 

Part-based models

object를 그 구성요소의 geometric relationship을 측정함으로써 인식하는 방법도 있다. 

얼굴 인식과 보행자 인식, 자세 측정에 주로 사용된다.

 

geometric relationship을 표현하기 위한 가장 초기 접근법은 pictorial structures로, 서로 다른 feature location 사이의 스프링같은 연결로 구성되었다. 

pictorial structure를 이미지에 적용하려면 energy function은 모든 잠재적 부품 위치 또는 포즈 {l_i}에 대해 최소화되며, E에 간선(기하학적 관계)이 존재하는 (i,j) 부품 쌍에 대한 항들과 함께 고려된다. 

 

part-based 모델은 part 간의 geometric 연결에 대해 서로 다른 topology를 가질 수 있다.

예) 연결을 트리로 제한하여 학습 및 추론을 다루기 쉽게 만든다.

tree topology는 재귀적인 Viterbi(동적 프로그래밍) 알고리즘의 사용을 가능하게 한다. 

이 알고리즘에서는 leaf node를 먼저 부모의 함수로 optimize하고, 그 결과값을 에너지 함수에서 삽입하고 제거한다. 

트리 토폴로지는 재귀적인 Viterbi(동적 프로그래밍) 알고리즘(Pearl 1988; Bishop 2006)의 사용을 가능하게 한다.

이 알고리즘에서는 잎 노드를 먼저 부모의 함수로 최적화하고, 그 결과값들을 에너지 함수에서 삽입하여 제거합니다.(비용을 부모 비용에 더해 서브트리를 접어 없앤다.)

inference 알고리즘의 효율성을 높이기 위해, pairwise(쌍) 에너지 함수 V_ij(l_i, l_j)를 위치 변수들의 어떤 함수에 대한 Mahalanobis 거리로 제한한 다음, fast distance transform 알고리즘을 사용하여 각 쌍 상호작용을 N에 대해 선형에 더 가까운 시간 복잡도로 최소화한다.

 

배경 분할을 통해 얻은 이진 이미지에 관절이 있는 신체 모델을 맞추기 위해 pictorial structures 알고리즘을 사용한 결과이다.

부품이 근사 직사각형의 위치, 크기 및 방향에 따라 매개변수화된다.

Unary matching potentials(단항 매칭 전위) Vi(li)는 각 부분을 나타내는 기울어진 사각형 안팎의 전경 및 배경 픽셀 비율을 계산하여 결정된다.

 

part-based recognition을 위해 다양한 graphical model이 많이 제안되었다.

그 중 하나는 sparse flexible model이다.

부품들을 순서화하고 각 부품의 위치가 자신의 조상(ancestor) 부품들 위치 중 많아야 k개에만 의존하도록 하는 방식을 포함한다.

 

가장 단순한 모델은 bags of words로, 서로 다른 part나 특징들 사이에 기하학적 관계가 전혀 없다.

이런 모델은 매우 효율적일 수 있지만, part들의 공간적 배치를 표현할 수 있는 능력은 매우 제한적이다.

tree와 start는 inference 측면에서 가장 효율적이므로 학습 측면에서도 가장 효율적이다.

다음으로 복잡한 모델은 directed acyclic graphs로 part 모델에 인과적 구조를 강제로 부여해야 한다는 비용이 들긴 하지만 여전히 효율적인 inference가 가능하다.

fully conneted 모델은 가장 일반적인 형태이지만, 부품의 수 P가 중간 정도만 되어도 feature을 각 부품에 할당하는 문제가 계산적으로 감당하기 어려워진다.

 

Contect and scene understanding

context는 object recognition 알고리즘의 성능을 크게 향상시킬 수 있으며, 일반적인 장면 이해를 위한 유용한 의미론적(semantic) 단서를 제공할 수 있다.

 

spatial 정보를 recognition 알고리즘에 통합하는 방법은 spatial pyramid system과 같이 다양한 region에 걸친 feature statistics를 계산하는 것이다.

part-based 모델은 object를 구성하기 위해 다양한 part를 적절한 기하학적 관계로 배열해야 하는 일종의 local context를 이용한다. 

 

context 모델은  object를 scene으로 결합하고 각 클래스의 구성 object의 개수가 사전에 알려져 있지 않다는 점에서 part-based 모델과 다르다. 

실제로, 둘을 동일한 recognition architecture로 결합하는 것이 가능하다.

 

라벨이 붙은 영역을 가진 학습 이미지가 충분히 있다면, 이들 요소의 상대적 위치를 설명하기 위한 기하학적 모델을 개발할 수 있다.

관련하여 제안된 모델은 two-level constellation 모델이다.

상위 단계에서는 object들이 서로에 대해 갖는 상대적 분포를 가우시안으로 모델링한다.

하위 단계에서는 object 중심에 대한 part(affine covariant features)의 분포를 가우시안 혼합 모델로 표현한다.

scene 속 object의 개수와 각 object 안의 부품 개수는 미리 알 수 없으므로, 생성적(generative) 프레임워크에서 objcet와 part의 생성 과정을 모델링하기 위해 LDP(latent Dirichlet process)을 사용한다.

모든 object와 part에 대한 분포는 대규모 라벨링 데이터베이스로부터 학습되며, 이후 추론(인식) 단계에서 scene을 이루는 요소들에 라벨을 붙이는 데 사용된다.

 

context의 또 다른 예로는 simultaneous segmentation과 recognition에서의 경우가 있는데, scene 속 여러 object들의 배치가 라벨링 과정의 일부로 사용된다.

건물과 도로의 추정 위치가 자동차 검출에 영향을 미치는 CRF(conditional random field)가 있으며, boosting을 사용해 CRF의 구조를 학습한다고 한다.

CRF 기반 segmentation 결과를 개선하기 위해 context를 활용하기도 하는데, 이는 어떤 adjacencies(relationsships)가 다른 것보다 더 자주/그럴듯하게 발생한다는 점을 반영하는 것이다.

object categorization에 context를 추가하기 위해 제안된 다양한 접근법들이 검토되었으며, 인간-객체 상호작용(human-object interactions)이 연구되었다.

 

context는 단일 이미지로부터의 3D inference에도 사용된다. 

컴퓨터 비전 기법을 사용하여 픽셀을 지면, 수직 표면 또는 하늘에 속하는 것으로 라벨링한다.

이 작업 영역은 object identity, 위치, surface orientations, occlusions 및 카메라 관찰 매개변수에 대해 동시에 추론하는 보다 전체론적(holistic) 접근 방식으로 확장되었다.

 

여러 접근밥에서 scene의 gist를 사용해 특정 object의 instances가 어디에 나타날 가능성이 높은지 결정한다.

예) 이미지의 gist를 바탕으로 보행자, 자동차, 건물 같은 객체들이 나타날 수직 방향 위치를 예측하는 regressor를 학습한다.

이렇게 얻은 location distribution은 고전적인 object detector와 함께 사용되어 detector의 성능을 향상시키는 데 쓰인다.

또한 gist는 완전한 이미지들을 직접 매칭하는 데에도 사용될 수 있다.

 

scene understanding 분야의 일부 연구는 라벨이 붙은(혹은 라벨이 없는) 이미지가 매우 많이 존재한다는 점을 활용해 개별 object 단위가 아닌 전체 이미지 단위로 직접 matching을 수행한다.

이미지가 자체가 object들 사이에 기대되는 관계를 암묵적으로(내재적으로) 담고 있다고 본다. 

6.2.2 Deep networks

fine-grained category recognition 문제도 연구되어 왔다.

fine-grained category recognition은 하위 범주들 간 차이가 아주 미묘할 수 있고, 학습에 쓸 수 있는 exemplers 수가 적은 경우가 많다.

 

fine-grained categorization은 이미지와 클래스의 attribute를 이용해 접근하는 경우가 많다.

attribute를 추출하면 zero-shot learning이 가능해지는데 이는 이전에 본 적 없는 변수도 이러한 attribute들의 조합으로 설명할 수 있게 된다.

 

서로 다른 attribute들 사이에 그럴듯해 보이지만 실제로는 의미 없는(우연한) correlation을 학습하지 않도록 주의해야 한다.

object와 그 object가 자주 등장하는 전형적 context 사이의 우연한 correlation을 학습하는 경우에도 주의가 필요하다.

또한 fine-grained recognition은 metric learning, nearest-heighbor visual similarity search 등으로도 접근할 수 있다.

6.2.3 Application: Visual similarity search

컴퓨터 비전 알고리즘을 사용해 이미지를 자동으로 category로 분류하고 attribute 태그를 붙이면, 카탈로그나 웹에서 해당 이미지를 더 쉽게 찾을 수 있다.

이는 이미지 검색/이미지 검색 엔진에서 흔히 사용되는 방식으로, 일반 웹 검색 엔진이 관련 문서와 페이지를 키워드로 찾는 것처럼, 키워드를 기반으로 가능성이 높은 이미지를 찾아준다.

 

필요한 정보를 키워드가 아니라 이미지 자체로 찾는 것이 더 쉬울 떄도 있다. (visual search)

예) fine-grained categorization, instance retrieval (똑같은 물체나 같은 장소를 찾아내는 작업)

검색 의도를 말로 간단히 표현하기 어려울 때는 visual similarity search(reverse image search)를 사용한다.

 

 이 분야의 초기 연구들은 주로 색상과 텍스처 같은 간단한 whole-image similarity metrics에 기반했다.

 

이후의 아키텍처들은 feature-based learning과 recognition 알고리즘을 사용해 전통적인 keyword-based image search engine의 출력 결과를 re-rank(재정렬)한다.

PLSA(probabilistic latest semantic analysis)을 확장한 방법을 이용해 이미지 검색 결과를 clustering한 뒤, 상위 순위 결과들과 연관된 클러스터를 선택하여 해당 범주를 대표하는 이미지들로 삼는다. 

정교하게 주석 처리된 이미지 DB에 의존하는 접근들도 있다.

예) query 이미지를 주면 유사한 LabelMe 이미지를 찾아주는 시스템을 설명한다.

feature-based corresponce 알고리즘과 labeled DB를 결합하여 recognition과 segmentation을 동시에 수행하는 접근도 있다.

 

visual similarity search의 더 최신 접근은 whole-image descriptor(Fisher kernel, VLAD(Vector of Locally Aggregated Descriptors)), pooled CNN activations(풀링된 CNN 활성값)을 metric learning과 결합하여 각 이미지를 압축된 descriptor로 표현한다. 

이렇게 얻은 descriptor은 대규모 DB에서 이미지 간 유사도 측정에 사용된다.

 

딥 네트워크와 VLAD, generalized mean(GeM) pooling, danamic mean(DAME) pooling과 같은 여러 기법을 결합해 전체 시스템을 end-to-end로 튜닝 가능한 완전한 시스템으로 만들 수도 있다.

image retrieval을 위한 최신 기법들 중 일부는 local descriptor와 global descriptor를 조합하여, landmark recognition 과제에서 최첨단(state-of-the-art) 성능을 달성한다.

 

category recognition에 더해 visual similarity search를 사용하는 상용 시스템의 예로 GrokNet 제품 인식 서비스가 있다.

사용자가 올린 이미지와 쇼핑 질의를 입력으로 받아, 질의 이미지에 있는 물건과 유사한 상품(인덱싱된 아이템)을 찾아 반환한다. 

롱테일(long-tail) 상품이 너무 많아서, 모든 물건을 완전하게 범주화(카테고리로 분류)하는 방식만으로는 현실적으로 처리하기 어렵다.

 

training time에 GrokNet은 category 및/또는 attribute 라벨이 붙어 있는 weakly labeled 이미지들과, unlabeled 이미지를 모두 사용한다. 

unlabeled 이미지에서는 object 내부의 feature를 검출한 뒤, 이를 이용해 matric learning을 수행한다.

이때 ArcFace loss를 변형한 손실과 새로운 마진 손실을 이용한다.

전체 시스템은 대규모의 unlabeled 이미지와 attribute softmax 손실, embedding에 대해 서로 다른 세 가지 metric 손실을 함께 사용해 학습한다.

6.2.4 Face recognition

face recognizer은 다양한 자세(pose), 조명(illumination), 표정(expression) 조건(PIE)에서 촬영된 얼굴 이미지가 주어질 때 가장 잘 동작한다.

 

face recognition의 가장 초기 접근들 중 일부는 두드러진 image feature(눈, 코, 입)을 찾고, 그 feature location 사이의 거리를 측정하는 방식이었다.

또 다른 접근들은 gray-level image를 eigenfaces(고유얼굴)이라 불리는 저차원 subspaces에 투영한 뒤 이를 비교하거나, active appearance model을 이용해 shpae와 appearance의 변화를 함께 모델링하는 방식에 의존했다.

 

Active appearance and 3D shape models

face recognition에서 modular 또는 view-vased eigenspaces(고유공간)을 사용해야 할 필요성이 있다.

얼굴의 외관과 식별 가능성은 색이나 텍스처만큼 형태에도 의존한다는 것이다.

3D 머리 회전을 다룰 떄에는, recogniiton을 수행할 때 사람 머리의 자세 영향을 가능한 제거(보정)해야 한다.

 

가장 초기 face recognition system은 얼굴 이미지에서 눈에 띄는 특징점을 찾아낸 다음, 그 특징점들의 상대적 위치나 거리 정보를 바탕으로 recognition을 수행했다. 

이후 기법들로는 local feature analysis, elastic bunch graph가 있는데, 이들은 두드러진 특징 위치에서의 로컬 필터 응답을 형태 모델과 함꼐 결합하여 face recognition을 수행했다. 

 

형태와 텍스처(색/외관)은 feature의 perception에 중요한 영향을 미친다.

facial feature의 윤곽선을 수동으로 추정한 뒤, 윤곽선을 이용해 각 이미지의 기준이 되는(canonical) 형태로 normalize(warp)한다.

평균으로부터의 편차를 기준으로 형태 이미지와 색상 이미지를 모두 분석해, 특정한 형태, 색상의 변형(deformation)이 personal feature(예. 성별)과 연관될 수 있음이 보여졌다.

 

identity나 expression(표정) 때문에 발생하는 얼굴 외관의 변화를 모델링하기 위해, shape deformation(형태 변형)와 texture interpolation(텍스처 보간)을 동시에 사용하는 방법을 썼다.

→ Active Shape Models, 3D Morphable Models, Elastic Bunch Graph Matching 같은 기법이 발전했다.

 

Active Appearance Models은 이미지의 형태 s의 변화(이미지에서 key feature point의 위치로 인코딩된다.)와, 분석하기 전에 기준이 되는(canonical) 형태로 normalize된 텍스처 t의 변화 모두를 모델링한다.

형태와 텍스처는 각각 평균 형태 bar_s와 평균 텍스처 bar_t로부터의 편차로 표현된다.

U_s와 U_t의 eigenvector들은 pre-scaled(whitened)되어 있어서, a에서의 unit vector가 학습 데이터에서 관측된 변동의 표준편차에 1에 해당하도록 되어 있다. 

이러한 pricipal deformation들에 더해, 형태 parameter들은 주어진 얼굴의 위치, 크기, 방향에 맞추기 위해 global similarity transform을 통해 변환된다.

마찬가지로 텍스처 이미지에는 새로운 조명 조건을 가장 잘 맞추기 위한 scale과 offset이 포함된다.

 

동일한 appearance parameter a가 평균으로부터의 shape deformation과 texture deformation을 동시에 제어하는데, 두 deformation이 서로 상관되어 있다고 볼 수도 있다.

 

Active Appearance Models(AAM)은 주로 얼굴에 특징적인 appearance 변화와 변형의 다양성을 정확히 포착하도록 설계되었지만, 조명, 자세, 표정 같은 다른 변동 요인들로부터 identity에 의한 variation을 분리하는 identity subspace를 계산함으로써 face recognition에도 응용할 수 있다.

기본 아이디어는 eigenfaces에서의 유사한 연구를 본뜬 것으로, intrapersonal variation(동일 인물 내 변동)과 extrapersonal variation(인물 간 변동)에 대해 각각 별도의 통계를 계산한 뒤, 이 두 subspace에서 사람을 구분하는(변별력 있는) 방향들을 찾는 것이다.

AAM이 recognition에 직접 사용되기도 하지만, recognition 맥락에서의 주된 용도는 얼굴을 canonical pose로 정렬하는 데 있다.

정렬된 얼굴에 대해, 전통적인 face recognition 방법들을 사용할 수 있다.

 

Active Appearance Models(AAM)은 조명 및 시점(viewpoint) 변화뿐만 아니라 occlusion(가림)까지 다룰 수 있도록 확장되었다.

그중 하나는 3D shape model을 구축하는 것으로, 자세가 크게 변하는 상황에서 얼굴 외관을 전체적인 변동성을 훨씬 더 잘 포착하고 설명할 수 있다.

이러한 모델은 monocular view sequences로부터 구성할 수 있고 재구성과 추적에서 더 높은 신뢰도와 정확도를 제공하는 multi-view video sequences로부터 구성할 수도 있다.

 

Facial recognition using deep learning

딥 신경망 백본을 사용한 DeepFace 시스템에서는 두 단계의 과정이 있다.

랜드마크 기반 pre-processing frontalization step을 통해 원래의 컬러 이미지를 잘 크롭된 정면 얼굴 이미지로 변환한다.

그 다음에는 (convolution kernel이 공간 위치에 따라 달라질 수 있는) deep locally conttected network를 통과시킨 후 classification 전에 마지막 두 개의 fully connected layers에 입력한다.

 

최근 deep facial recognizer 일부는 frontalization 단계를 생략하고, data augmentation(데이터 증강)을 사용해 더 다양한 포즈를 가진 syntetic input을 만들어낸다.

triplet loss를 사용해 subject 수와 무관한 low-dimensional embedding space를 구성한다.

softmax에서 영감을 받은 contrastive loss를 사용하는 경우도 있다. 

이는 visual similarity search, face recognition으로 더 확장되었다.

 

Personal photo collections

얼굴은 카메라에서 등을 돌리고 있거나, 다른 물체에 가려져 있을 때 등에 찾거나 인식하기 어려울 수 있다.

이런 상황에서는 facial recognition을 person detection, clothes recognition과 결합하는 것이 효율적이다.

또는 location recognition이나 activity 또는 event recognition과 결합하는 방법도 있다. 

---

6.3 Object detection

단체 사진 같은 이미지를 분석하기 위해서는 이미지에서 가능한 모든 sub-window에 대해 recognition 알고리즘을 적용해 볼 수도 있지만, 그런 알고리즘은 대체로 느리고 오류가 많다.

→ 특정 물체가 나타날법한 영역을 빠르게 찾아내는 일을 전담하는 특수 목적 detector를 만드는 게 더 효과적이다.

6.3.1 Face detection

이미지에 facial recognition을 적용하려면, 이미지 안에 있는 얼굴들의 위치와 크기를 찾아야 한다.

원칙적으로는 모든 픽셀 위치와 모든 스케일에 대해 알고리즘을 적용해야 하지만 너무 느리다.

 

fast face dection 기술은 feature-based, template-based, appearance-based로 나뉜다.

 

feature-based(특징 기반) 접근법은 두드러진 image feature(눈, 코, 입)의 위치를 찾고, 이 feature들이 그럴듯한 geometrical 배치를 이루는지를 검증한다.

이 기법에는 초기 face recognition 접근뿐만 아니라, modular eigenspaces, local felter jets, SVM, boosting에 기반한 접근들도 포함된다.

template-based(템플릿 기반) 접근법은 (예. AAM) 자세와 표정의 다양한 변화를 폭넓게 다룰 수 있다.

하지만 보통 실제 얼굴 근처에서의 좋은 initialization이 필요하므로, 빠른 face detector로는 적절하지 않다.

appearance-based(외관 기반) 접근법은 이미지 안의 작은 직사각형 patch들을 서로 겹치게 하여 전 범위로 스캔하면서, 얼굴일 가능성이 높은 후보 영역을 찾는다.

이후에는 계산 비용은 더 들지만 더 선택적인 검출 알고리즘을 단계적으로 적용하는 cascade를 이용해 후보를 정교화할 수 있다.

스케일(크기) 변화에 대응하기 위해, 이미지들은 보통 sub-octave pyramid로 변환되고 각 레벨마다 별도의 스캔을 수행한다.

대부분의 appearance-based 접근법은 labeled face patch와 non-face patch 집합을 사용해 분류기를 학습시키는 데에 의존한다.

 

labeled 얼굴 patch 집합과, 얼굴이 포함되지 않은 것으로 알려진 이미지에서 추출한 patch 집합을 수집한다.

수집된 얼굴 이미지에 대해 좌우 반전, 회전, 스케일 변화, 작은 이동 등을 인위적으로 적용해 data augmentation을 수행하여 face detector가 이러한 변화에 덜 민감하도록 만든다.

Clustering and PCA

얼굴 패턴과 비얼굴 패턴을 pre-processing한 뒤, k-means를 사용해 각 데이터셋을 6개의 cluster로 군집화하고, 총 12개 cluster 각각에 대해 PCA subspaces를 적합시킨다.

detection time에서 DIFS, DFFS 측정값을 사용해 (cluster 당 2개씩) 총 24개의 Mahalanobis 거리 측정값을 계산한다.

이렇게 얻은 24개의 측정값을 multi-layer perpectron(MLP), 즉 fully connected neural network의 입력으로 넣는다.

 

Neural networks

데이터를 먼저 clustering하고 cluster 중심까지의 Mahalanobis 거리를 계산하는 대신, 회색조 강도값으로 이루어진 20x20 픽셀 patch에 신경망(MLP)를 직접 적용한다.

이때 다양한 크기의 수작업 receptive field를 사용하여 큰 스케일 구조와 더 작은 스케일 구조를 모두 포착한다. 

이렇게 구성된 신경망은 multi-resolution pyramid에서 모든 겹치는 patch의 중심 위치에 얼굴이 있을 likehood(가능도)를 직접 출력한다.

얼굴 근처에서는 (공간적으로도, 해상도 측면으로도) 여러 겹치는 patch가 동시에 반응할 수 있으므로, 겹쳐서 나온 검출 결과를 하나로 합치기 위해 추가적인 mergine 네트워크를 사용한다.

여러 개의 네트워크를 학습시킨 뒤 그 출력들을 결합하는 방법도 있다.

 

Support vector machines

patch를 분류하는 데 neural network를 사용하는 대신, support vector machine(SVM)을 사용하여 pre-processing된 patch들을 분류한다.

SVM은 feature space에서 서로 다른 클래스를 구분하는 maximum margin seperating plane들을 찾는다.

linear classification boundary로 충분하지 않은 경우에는 kernel을 이용해 feature space를 더 높은 차원의 feature로 올려 non-linear classification을 수행할 수 있다.

SVM은 face detection, face recognition뿐만 아니라 general object recognition에도 사용되어 왔다.

 

Boosting

점점 더 변별력이 높은 simple classifier들을 연속적으로 학습시킨 뒤 그 출력들을 결합(blending)하는 방식이다.

classifier h(x)를 여러 개의 매우 단순한 week learner의 합으로 구성하는 방법이다.

각 weak learner h_j(x)는 입력에 대해 극히 단순한 함수이므로, 그것 하나만으로는 분류 성능에 크게 기여하지 않는다.

boosting의 대부분 변형에서는 weak learner가 threshold(임계값) 함수이며, decision stump라고도 불린다. (decision tree의 가능한 한 가장 단순한 형태)

대부분의 경우 전통적으로 a_j와 b_j를 ±1로 설정한다.

즉 a_j = -s_j, b_j = +s_j로 두어, 선택해야 할 것은 특징 f_j, 임곗값 θ_j, 임계값의 극성(polarity) s_j ∈ {±1}만 남도록 한다.

 

booting의 많은 응용에서 feature은 단순히 좌표축 x_k (입력 벡터의 각 성분 자체)인 경우가 많다.

boosting 알고리즘은 입력 벡터의 성분들 중 하나를 골라 그 값에 threshold를 적용하는 방식으로 weak learner을 선택한다. 

feature을 입력 patch 내의 직사각형 영역들 사이의 차이로 정의하면 단일 픽셀보다 더 변별력이 있으면서 summed area table(누적합 테이블)을 미리 계산해 두었을 때 매우 빠르게 계산할 수 있다.

 

이미지 픽셀 수를 N이라 할 때 O(N)의 pre-processing 비용만 들이면 이후 직사각형 영역들의 합/차는 덧셈 혹은 뺄셈 4r번으로 계산할 수 있다. (r ∈ {2, 3, 4}은 해당 feature을 구성하는 직사각형의 개수)

 

boosting 성공의 핵심은 weak learner를 점진적으로 선택하는 방법과, 각 단계가 끝날 때마다 training example들을 re-weighting하는 방법에 있다.

AdaBoost 알고리즘은 각 단계에서 샘플이 올바르게 분류되었는지 여부에 따라 샘플을 re-weighting하고, 단계별 평균 분류 오류를 이용해 weak learner 사이의 최종 weight α_j를 결정한다.

 

detector의 속도를 더 높이기 위해 classifier cascade를 만들 수 있다.

각 classifier는 소수의 테스트만 사용해 대부분의 non-face를 빠르게 기각하고, 가능한 얼굴 후보는 최대한 통과시키도록 설게한다.

 

Deep networks

feature cascade, deformable(변형 가능한) parts model, aggregated(집계된) channel features, 신경망 기반 방법들이 제안되어 왔다.

6.3.2 Pedestrian detection

detection을 일반적인 class recognition의 더 어려운 변형으로 보고, object의 위치와 범위를 가능한 한 정확하게 결정하는 것을 목표로 했다.

 

널리 알려진 pedestrian detection은 서로 겹치도록 배치된 Histogram of Oreinted Gradients(HOG) descriptor들을 입력으로 하여 SVM에 넣는 방식이다.

각 HOG는 특정 방향에서의 gradient에 대해 magnitude로 가중된 vote를 누적하는 cell들로 구성되는데 이는 SIFT(Scale-invariant Feature Transform)에서와 유사하다.

 

SIFT가 interest point 위치에서만 계산되는 것과 달리, HOG는 규칙적인 격자 위에서 서로 겹치게 평가되며, descriptor의 크기는 더 거친 coarser grid를 이용해 정규화된다.

또한 HOG는 단일 스케일과 고정된 방향에서만 계산된다.

사람 윤곽선 주변의 미묘한 방향 변화를 포착하기 위해 방향 bin을 많이 사용하고 central-difference(중앙차분) 방식의 gradient 계산에는 smoothing을 수행하지 않는다.

 

HOG descriptor를 계산한 뒤에는 이렇게 얻어진 고차원 연속 descriptor 벡터들로 SVM을 학습시킨다. 

b-c는 각 블록에서 양의 가중치와 음의 가중치가 어떻게 분포하는지를 보여준다.

f-g는 가운데 입력 이미지에 대해 해당 가중치가 적용된 HOG 응답을 보여준다. 

사람의 머리, 몸통, 발 주변에는 양의 응답이 많이 나타나고 음의 응답은 상대적으로 적으며 스웨터의 가운데 부분과 목 주변에 나타난다.

 

HOG 기반 person detector에 flexible part model을 포함하였다. 

각 part는 전체 object 모델보다 피라미드에서 두 단계 더 아래 레벨(더 높은 해상도)에서 계산된 HOG 위에서 학습되고 검출되며, 부모 노드(전체 바운딩 박스)에 대한 부품들의 상대적 위치도 학습되어 recognition 과정에서 사용된다.

training example의 바운딩 박스가 부정확하거나 일관되지 않은 문제를 보완하기 위해 부모 바운딩 박스의 진짜 위치를 latent(잠재) variable로 간주하고, training과 recognition 단계 모두에서 이를 추론한다.

part들의 위치 또한 latent variable이므로 training data에 part 라벨이 없어도 semi-supervised 방식으로 시스템을 학습할 수 있다.

 

사람의 자세와 위치를 더 정확하게 추정하기 위해 HOG 위에 구축한 random forests를 사용하여, 보행 주기에서의 단계와 개별 관절 위치를 모두 계산한다.

비디오 sequence를 사용할 수 있는 경우에는 optical flow(광류)와 motion discontinuities(운동 불연속)에 담긴 추가 정보가 검출 작업에 도움이 될 수 있다.

6.3.3 General object detection

Precision vs recall

object detection의 핵심 과제는 모든 object를 정확한 바운딩 박스로 둘러싸고, 그 object들의 라벨을 올바르게 붙이는 것이다.

각 바운딩 박스가 얼마나 정확한지를 측정하기 위해 IoU(intersetion over union)이 흔히 쓰이며, Jaccard index, Faccard similarity coefficient라고 불린다.

IoU는 어떤 object에 대해 예측 바운딩 박스 B_pr과 정답 바운딩 박스 B_gt를 두고, 두 박스의 교집합 영역 면적을 합집합 영역 면적으로 나눈 비율을 계산해 구한다.

object detection은 먼저 그럴듯한 직사각형 후보 영역들(검출 결과)를 여러 개 제안한 다음, 각 후보를 분류하고 동시에 confidence score도 출력하는 방식으로 동작한다.

다음으로 이 후보들은 non-maximal suppression(NMS) 단계로 들어가는데, 여기서 가장 높은 신뢰도부터 선택하는 greedy 알고리즘을 사용해, 강한 검출과 너무 많이 겹치는 약한 검출들을 제거한다. 

 

object detector의 성능 평가를 위해 검출 결과들을 confidence(신뢰도)가 높은 것부터 낮은 것 순서로 모두 훑어보며, 각 검출을 TP, FP로 분류한다.

TP는 라벨이 맞고 IoU가 충분히 큰 경우이고, FP는 라벨이 틀리거나 해당 정답 object가 이미 다른 검출에 의해 매칭된 경우이다.

confidence threshold를 점점 낮춰가며, 그때그때의 precision(정밀도)와 recall(재현율)을 계산할 수 있다.

P는 positive example의 개수이다. 

 

모든 confidence threshold에서 precision과 recall을 계산하면 precision-recall curve를 만들 수 있다.

곡선 아래 면적을 average precision(AP)라고 부른다.

검출하는 각 클래스마다 AP를 따로 계산할 수 있고, 이를 평균내면 mean AP를 얻는다.

 

AP 점수는 여전히 널리 쓰이지만, 확률 기반의 대안 평가 지표로 probability-based detection quality(PDQ)가 제안되었다.

AP를 더 매끄럽게 만든 버전인 Smooth-AP도 제안되었다.

 

Modern object detectors

이미지에서 object를 검출하는 첫 단계는 classifier를 적용해 볼 만한 그럴듯한 직사각형 후보 영역들을 제안하는 것이다.

위는 R-CNN이다.

먼저 selective search 알고리즘을 사용해 2,000개의 후보 영역을 추출한다.

그 다음 각 후보 영역을 224x224 크기의 정사각형 이미지로 rescale(warp)한 뒤, AlexNet 또는 VGG 신경망에 통과시키고 마지막에 SVM 분류기로 분류한다.

위는 Fast R-CNN이다.

convolutional neural metwork와 region extraction 단계를 서로 바꾸고 (먼저 전체 이미지에 대해 CNN 특징을 계산한 다음 그 특징에서 후보 영역을 뽑아낸다.) SVM 대신 fully connected layer들을 사용한다.

이 fully connected layer들은 object zmffotm 예측과 바운딩 박스 보정(refinement)를 함께 계산한다.

이렇게 하면 CNN 계산을 여러 후보 영역에 재사용할 수 있어 학습 및 테스트 시간이 훨씬 빨라지도, 이전 네트워크들에 비해 정확도가 크게 개선된다.

Fast R-CNN은 하나의 shared backbone과 두 개의 분리된 head를 가진 딥 네트워크의 예이며, 두 가지 서로 다른 loss function을 갖는다.

 

Faster R-CNN은 비교적 느린 selective search 단계를 Region Proposal Network(RPN)으로 대체하여, 추론 속도를 크게 높인다.

convolutional featrues을 계산한 뒤, RPN은 각 거친 위치마다 여러 개의 잠재적 anchor box를 제안하는데, 이 anchor들은 다양한 object를 수용할 수 있도록 모양과 크기가 서로 다르게 설정된다.

이후 각 제안은 Fast R-CNN의 head를 통해 분류되고 바운딩 박스가 refine되며, 최종 검출 결과는 점수에 따라 순위가 매겨지고 non-maximal suppression(비최대 억제)를 통해 병합된다.

 

R-CNN, Fast R-CNN, Faster R-CNN은 모두 single resolution convolutional feature map에서 동작한다.

더 나은 scale invariance(스케일 불변성)을 얻기 위해서는 이미지 피라미드의 각 레벨에서 feature map을 계산하는 등 여러 해상도 범위에서 동작하는 편이 바람직하지만, 이는 계산 비용이 크다.

다신 convolutional network 내부의 여러 층을 활용할 수도 있지만, 이 층들은 semantic abstraction(의미적 추상화) 수준이 서로 다르다. 더 높은(더 낮은) 레벨일수록 더 추상적인 개념에 맞춰져 있다.

→  Feature Pyramod Network(FPN)을 구성하여 해결한다.

top-down 연결을 사용하여 높은 레벨에서 추론된 의미 정보를 더 높은 해상도(더 아래) 피라미드 레벨에 전달한다.

이러한 추가 정보는 object detector의 성능을 크게 향상시키며, object 크기에 대한 민감도를 훨씬 줄여 준다.

 

DETR은 non-maximum suppression과 anchor generation 과정을 없애는 더 단순한 아키텍처를 사용한다.

이 모델은 ResNet backbone이 transformer encoder-decoder로 연결되는 구조로 이루어진다.

N개의 바운딩 박스 예측을 만들어 내며, 그중 일부는 no object 클래스일 수 있다.

정답(ground truth) 바운딩 박스도 총 N개가 되도록 no object 박스를 덧붙여 맞춘다.

training time에는 bipartite matching(이분 매칭)을 사용해 각 예측 박스를 정답 박스 하나와 1:1로 대응시키되, 그 대응이 전체 cost를 최소로 만들도록 선택한다.

전체 학습 손실은 이렇게 매칭된 박스들 사이의 손실을 합한 값이 된다.

 

Single-stage networks

앞의 아키텍처들에서는 rerion proposal(영역 제안) 알고리즘이나 네트워크가 검출 후보의 위치와 형태를 선택하고, 그 다음 두 번쨰 네트워크가 각 영역 내부의 픽셀 또는 feature을 이용해 classification와 regression을 수행했다.

이애 대한 대안으로 하나의 neural network가 다양한 위치에서의 검출 결과를 직접 출력하는 single-stage 네트워크를 사용할 수 있다.

 

LYOLOv4의 처리 파이프라인엔 neck 단계가 있다.

nect은 feature pyramid network에서와 같은 top-down feature enbancement를 수행한다.

또한 구성 요소들을 training time에 사용할 수 있는 bag of freebies(추가 비용 없이/거의 없이 성능을 올리는 학습 기법)와 bag of specials(검출 시점에 최소한의 추가 비용으로 사용할 수 있다.)으로 분류한다.