[부캠] CNN 첫걸음

• Convolution 연산 이해
• Covolution back propagation

 

 

---

Convolution 연산 이해

convolution 연산의 수학적 의미는 신호( input)를 커널을 이용해 국소적으로 증폭 또는 감소시키는 것을 의미한다.

여기서 f(z), g(z)는 커널이다. 여기서 알수 있듯이 커널은 변하지 않는다.

Covolution back propagation

다음과 같은 사이즈가 5인 인풋벡터가 있고, 커널사이즈가 3이라하자.

Output은 sigma(Wj Xi+j-1)로 계산이 된다.

 

이때 W1, W2, W3의 gradient descent를 구해보자.

 

 

 

W1에 대해서 구하고자하는 delta L/delta W1 은 다음과 같이 계산이 될 수 있다.

이것을 W1,W2,W3에 대해 모두 반복하면, 다음과 같은 결과를 얻을수 있다.

 

즉, Convolution을 했을때는 backpropagation도 covolution연산이 나오는 것을 확인할 수 있다.

---

와! 계속 fully connected 에 대한 back propagation를 배우면서 왜 한번도 convolution에 대해 back propagation 해볼 생각이 없었지?

재밌다

🐯