(ch.1) Image Classification - ZFNet, NIN

ZFNet

:Alexnet 변형해 특수한 기법사용

 

 

1. Visualization with a DeConvnet

 

Conv를 반대로 수행하면서 featuremap이 잘 수행되는지 확인

 

일반적으로 Convoultion 같은 경우에는  Convoultion filter를 거쳐서, 거기서 생성되는 FeatureMap들이 비선형성을 가지는 Activation Function을 만나면서 pooling이되면서 학습을 하는 CNN구조를 갖고있음

 

그런데 이를 역으로 수행해 이구조들을 살펴보고 여기서 일어나는 Feature들을 살핌

*Unpooling : switches (pooling에 대해서 가장 강한자극이 있었던 위치들을 저장해놓고 그것을 unpooling할때 switches를 이용해 복구, 가장 강한 자극이 어떤 pixel에서 일어났는지?)

 

*Recitification : ReLU 함수를 통해 양수로 Activation된 값은 그대로 두고, 음수는 재성성이 불가능하므로 그대로 0으로 둠

 

*Filtering : Convolution filter 값의 transposed 된 matrix 사용

각각 레이어들이 가지고 있는 피쳐들의 특성을 눈으로 볼 수 있음. 이 레이어가 잘 학습되고 있나 판단 가능

 

low level - Edge, color 등 비슷한 class에 대한 invariance

middle level - middle level feature, textures, more complexity

high level - high level feaures, 개체의 일부분, 위치, 자세, 전체 (전체를 보고, 특징적인 부분의 위치까지 인식)

 

* Rotation 보다 Translation, Scaling에 상대적으로 강인

* 앞쪽보다 뒤쪽 layer에서 변화에 invariant 

 

 

2. Sensitivity Analysis

이미지의 일부를 가려가면서 여러번 feature map의 activation 정도를 통해 heatmap 그림

-어떤 부분이 가장 강한 정보를 가지고 있는지 알 수 있음

 

 

3. 차이점

 

 

4. Network in Network ( GoogleNet의 시초 )

뽑아낼 수 있는 함수 관계가 제한적이다. 보다 복잡한 현상을 캐치해내기 위해서는 여기 함수가 보다 non-linear화 될 필요가 있다. 

바로 output

width, height, channel , 채널 간의 linear combination 을 할 수 있게 함