ResNet & iResNet

ResNet은 CNN이 점점 깊어질 수록 vanishing gradient 의 문제로 인해 오히려 에러가 높아지는 현상을 해결하기 위해 만든 구조로, 밑의 사이트에 설명이 잘 나와있다.

bskyvision.com/644

[CNN 알고리즘들] ResNet의 구조

invertible ResNet은 classification에만 주로 쓰이는 resnet을 generation에서도 쓸수있게 만들자는 건데, Euler's method for ODE initial value problem과 ResNet architecture가 공통점을 가지는 것에서 착안하였다.

 

Lipschitz-constant : 함수의 기울기 최대값이라고 볼 수 있다. 다만 무한히 기울기가 증가하는 함수는 lipschitz continuous 하지 않고, 따라서 lipschitz-constant를 갖지 않는다. 자세한 설명은 밑의 블로그에서.

sanghyeonna.blogspot.com/2018/08/spectral-normalization-part2_30.html

Spectral Normalization - part.2

spectral norm: 왜 난 이게 Lipschitz norm이랑 같아 보이냐.. L2이고 linear transformation 일때의 lipschitz norm이랑 다를게 없어보임..!

Banach fixed-point theorem: 

F(x) = x가 되는 점이 하나 이상 존재한다!

Jacobian : 나올때마다 생소한데, 알고보면 친숙한 행렬.

f의 각 요소를 x의 각 요소로 미분한 행렬

SVD (singular value decomposition) : 

angeloyeo.github.io/2019/08/01/SVD.html