Gatys et al. 에서 이미지를 다른 스타일로 바꾸는 "style transfer" algorithm을 소개
--> slow iterative optimization process로 인해 현실 세계 적용이 어려움.
Fast approximations with FFNN (feed-forward neural network)는 neural style transfer의 속도를 높이기 위해 제안되었으나 제한된 style만 적용가능.
이 논문은 arbitrary style을 real-time으로 이미지에 적용하는 첫 논문이고, (AdaIN) adaptive instance normalization layer가 content feature의 mean, variance를 style feature의 mean, variance와 align 시키는 것을 도움으로써 가능케한다.
이 외에도 content-style trade-off, style interpolation, color & spatial controls과 같은 single feed-forward neural network를 이용하는 많은 기법들을 가능하게 한다.
# Introduction
optimization-based framework의 flexibility와 feed-forward approaches의 speed를 합친 논문.
Feed-forward style transfer에서 매우 효율적으로 작동했던 Instance normalization (IN) layer에서 영감을 받았다.
--> Instance normalization이 feature statistics를 normalize함으로써 style normalization을 수행하는데, 그럼으로써 image의 style information을 뽑아낼 수 있다. 이걸 이용해서 content input과 style input의 mean, variance가 서로 맞오록 조정한다. AdaIN은 transferring feature statistics를 통해 content와 style을 통합한다.
# Related Work
1. Style transfer
non-photo-realistic rendering, texture synthesis and transfer에 뿌리를 두고있다.
이전에는 histogram matching on linear filter responses, non-parametric sampling 등을 이용했지만 low-level statistics에 의존적이다보니 semantic structure를 제대로 캐치 못하는 경우도 있었다.
Convolutional layer에서 match feature statistics 하는 Gatys가 처음으로 볼만한 결과를 만들었구 Li~ 가 markov random field를 기반으로 하여 local pattern enforce하는 framework도 제안하였다. Ruder가 temporal constraint를 활용함으로써 비디오에서 style transfer하는 것도 해봤다.
Wang은 multi-resolution architecture를 활용해서 granularity를 높였다.
Chen~이 training 때 보지 않은 arbitrary style을 style swap layer를 이용해 transfer한 경우도 있다.
--> 이건 content에 가장 가까운 style feature를 patch-by-patch manner로 바꿔주는 역할을 한다. 그래서 시간이 좀 걸림.
그럼 loss function은 뭘 이용할까?
match second-order statistics between feature activations, captured by Gram matrix.
이외에도 MRF loss, adversarial loss, histogram loss, CORAL loss, MMD loss, distance between channel-wise mean and variance 가 있다.
--> match feature statistics between style image and synthesized image.
2. Deep generative image modeling
variational auto-encoders, auto-regressive models, GAN(generative adversarial networks)이 image generation을 잘하는데, GAN에 conditional generation, multi-stage processing, better training objectives등을 이용하여 더 개선하는 경우도 많다.
GAN도 style transfer나 cross-domain image generation에 쓰이기도 한다.
# Background
1. Batch Normalization (BN)
Ioffe~ 가 제안한, normalizing feature statistics로 feed-forward network의 학습을 굉장히 쉽게해준 그 기술을 Batch Normalization이라고 함.
원래는 discriminative network의 학습을 도와주는 용도였는데, generative image modelling에도 효과만점이다.
즉 NxCxHxW batch가 있을 때 N,H,W에 대해 mean std를 구하는것.
보통 channel은 RGB일테니 mean std를 구함으로써 이미지가 3차원으로 줄어드는 것이다?
보통 mini-batch statistics를 적용하여, training과 inference간 차이를 유도되기도 하는데, Batch renormalization으로 그런 단점을 해결하였다. 또한 BN은 recomputing popular statistics in target domain 함으로써 domain shift를 줄이는 효과를 보이기도 한다.
2. Instance Normalization
IN은 channel 뿐만 아니라 각 sample에 대해서도 spatial dimension 정보들이 따로 계산된다.
3. Conditional Instance Normalization
learns a different set of parameters gamma and beta for each style s
network can generate images in different styles by using same convolutional parameters but different affine parameters in IN layers.
위 명령어로 잔여 프로그램이 남아있는지를 확인할 수 있고, 지울땐 여러가지 방법이 있지만 밑과 같이 지울 수 있다. <> 괄호 안을 자유자재로 바꿔서 원하는걸 삭제하면 된다. 혹시라도 cuda repository가 남아있는지를 확인하기 위해서 폴더 안으로도 가서 확인하는게 좋다.
nvcc -V를 위해서는 cuda-toolkit을 설치해야하는데, 기본으로 우분투 추천 명령어를 써도 무방하다. - 근데 그러면 가장 최신버전이 설치되므로, 원하는 버전이 있으면 cuda toolkit 버전 검색해서 깔면 된다. - pytorch나 어떤 라이브러리 쓰려면 거기에 적합한걸 설치하면 좋은데, 보통 그럴경우 최신보다는 좀 전의 버전을 깔아야한다.
invertible ResNet은 classification에만 주로 쓰이는 resnet을 generation에서도 쓸수있게 만들자는 건데, Euler's method for ODE initial value problem과 ResNet architecture가 공통점을 가지는 것에서 착안하였다.
Lipschitz-constant : 함수의 기울기 최대값이라고 볼 수 있다. 다만 무한히 기울기가 증가하는 함수는 lipschitz continuous 하지 않고, 따라서 lipschitz-constant를 갖지 않는다. 자세한 설명은 밑의 블로그에서.
2. VNC 서버 세팅 (tight vnc server가 검은 screen 나오는게 해결이 안돼서 tiger vnc로 바꿈. viewer는 real vnc viewer 쓰는 중. 검은 screen은 dbus 관련 문제인 것 같으나 tiger vnc는 원래 모니터를 잘 켜놓기만 하면 문제없이 돌아가서 해결하지 않음)
Queue-based input pipelines have been replaced by `tf.data`. Use `tf.data.Dataset.from_tensor_slices(string_tensor).shuffle(tf.shape(input_tensor, out_type=tf.int64)[0]).repeat(num_epochs)`. If `shuffle=False`, omit the `.shuffle(...)`.
models/image_ilpo.py:42: WholeFileReader.__init__ (from tensorflow.python.ops.io_ops) is deprecated and will be removed in a future version. ->
Queue-based input pipelines have been replaced by `tf.data`. Use `tf.data.Dataset.map(tf.read_file)`.
models/image_ilpo.py:47: The name tf.assert_equal is deprecated. Please use tf.compat.v1.assert_equal instead.
ERROR: After October 2020 you may experience errors when installing or updating packages. This is because pip will change the way that it resolves dependency conflicts.
We recommend you use --use-feature=2020-resolver to test your packages with the new resolver before it becomes the default.
stable-baselines 2.10.0 requires gym[atari,classic_control]>=0.11, but you'll have gym 0.10.5 which is incompatible. scipy 1.5.2 requires numpy>=1.14.5, but you'll have numpy 1.14.3 which is incompatible. opencv-python 3.4.5.20 requires numpy>=1.14.5, but you'll have numpy 1.14.3 which is incompatible. mkl-fft 1.2.0 requires numpy>=1.16, but you'll have numpy 1.14.3 which is incompatible.
2. requirements
numpy==1.14.3
setuptools==36.4.0
tensorflow==1.13.1 new!!
gym==0.10.5
baselines==0.1.5
opencv-python==3.4.5.20 new!!
matplotlib==2.2.2
seaborn==0.8.1
3. 함수들
1) eval(x)
x 안에 들어가는 식을 계산해서 output한다. x에 2+3이 들어가면 5를 output 하는 함수
name_scope, variable_scope 모두 '길드'라고 보면 편하다. 동일한 이름의 변수가 있어도, 길드가 다르면 다른 변수로 취급하기 쉽듯, scope이 다르면 다른 변수로 디버깅 하기 편하다.
arg_scope은 tf-slim에 등장하는 개념인데, 이것 역시 'python class처럼 상속될경우 같은 함수, 변수를 공유'하는 것과 유사한 개념이라고 생각하면 된다. 동일한 argument를 공유할 경우 한 arg_scope에 있으면, 그 argument가 상속되어 내려오고, 밑에서 다시 overwrite 할수 있다.
13) epoch은 그 training data를 모두 한번씩 학습시킬때까지를 1 epoch이라고 한다.
x86_64-linux-gnu-gcc: error: contexts/ctx_mesa.c: No such file or directory error: command 'x86_64-linux-gnu-gcc' failed with exit status 1 ---------------------------------------- ERROR: Failed building wheel for opendr
deep-learning 발달 전 imitation learning using state-only demonstrations papers 1. Movement imitation with nonlinear dynamical systems in humanoid robots.
**visual observations can only provide partial state information** **In imitation learning, agents do not receive task reward feedback r.**
Behavior cloning does not require any further interaction between the agent and the environment - covariate shift problem IRL-based techniques iteratively alternate between using the demo to infer a hidden reward function and using RL. - object manipulation: Guided cost learning: Deep inverse optimal control via policy optimization.
https://arxiv.org/abs/1603.00448 GAIL: induce an imitator state-action occupancy measure that is similar to that of the demonstrator.
Imitation learning from observation ===
## perception 1. Record the expert's movements using sensors placed directly on the expert agent - Trajectory formation for imitation with nonlinear dynamical systems.
https://ieeexplore.ieee.org/document/976259 arm-reaching movements, biped locomotion, and human gestures - Incremental learning of gestures by imitation in a humanoid robot.
--> 먼저, 현재 state가 주어졌을 때 latent(unreal) action z의 probability를 측정해주는 latent policy를 배운다. 실제 action이 행해지지 않기 때문에 offline에서 학습가능하다. latent policy를 배울 때 latent forward dynamics model을 이용하는데 이건 그 다음 state와 prior over z given s를 예상해준다. 그 다음 env interaction하면서 action-remapping network을 배운다.
### Model-free algorithms
#### Adversarial methods
- Learning human behaviors from motion capture by adversarial imitation. ★
