AI-Brain NOTE

1. tiny-cuda-nn 설치. (필수는 아니지만, 건너뛰려니까 쿠다관련 에러가 많이 떠서 겸사겸사 옵션들을 다 설치해보았다..)
    - gcc version, cmake version 을 올려야했다. 
   - 일단 cmake version 올리기. 밑의 블로그 참고했고, https://cmake.org/files/v3.21/ 여기서 tar.gz 파일 받아서 압축해제하고, 

./bootstrap --prefix=/usr/local
make
sudo make install

https://eehoeskrap.tistory.com/397

진행하면 된다. 중간에 openssl이 설치되어있지 않다는 오류가 떠서, openssl 설치하고 다시 bootstrap 했더니 순조롭게 진행중.

sudo apt-get install libssl-dev

-- gcc 도 업그레이드 했다. 밑의 사이트를 참고하면, 여러 버전의 gcc를 설치해놓고 우선순위를 정해놓으면 같이 쓸수 있나보다!

https://nautiluslee.blogspot.com/2019/11/ubuntu-1804-gcc.html

근데 cuda version이 11.7 이상이어야 가능한 것이었다.. 70이상이라길래 뭔말인가.. 무시했더니 11.7 이상이란 뜻이었음.. ㅎ 

그런데 nvcc -V 랑 nvidia-smi 버전에 다 11.7 이어도 에러가 났다. 그건 nvidia-cuda-toolkit 을 apt-get 으로도 깔면 run 파일로 설치한 것이랑 공존하게 되는데, apt-get 이 예전버전으로 설치가 되므로 (10.1?) 그것을 nvcc 가 감지해서 그걸 우선순위로 사용하기 때문이었다. 아무튼 그래서 밑의 issue 에서 언급하듯 그걸 삭제한 후, bashrc 에 있는 LD_LIBRARY_PATH, PATH를 제대로 설정했는지 체크하고, build 폴더를 삭제하고 다시 build 하면 멀쩡하게 작동한다.

https://github.com/NVlabs/instant-ngp/issues/747

https://github.com/NVlabs/instant-ngp/issues/1044

그렇게 설치를 마치고서, pytorch 버전의 tcnn을 설치한다.

pip install git+https://github.com/NVlabs/tiny-cuda-nn/#subdirectory=bindings/torch

2. 다시 torch-ngp 로 돌아와서, 그다음 extension 들을 설치한다.

https://github.com/ashawkey/torch-ngp

먼저, 쿠다 11.6 또는 11.7 등이 깔려있어야한다. 

그 이유는, 까먹었다. 그런데 colmap 설치할 때 ceres-solver를 설치해야하는데, 그 버전을 맞추려면 그래야 됐던것 같다.

colmap 설치할 때 일단 official document의 install 을 따르면 안된다.. issue 에서 찾아서 사람들이 공유하는걸 보고 적당히 맞춰야 함..

나중에 설치를 다시 완료하면 보충하러 오겠음..

기존에 실수로든 git에 올린 파일들은 후에 .gitignore에 추가하더라도 계속 change가 commit 때 반영되는 경우가 생긴다.  

그 행동을 영구적으로 억제하려면 그 파일을 삭제 후 commit해서 원격 저장소에서부터 없애야 하겠지만, 현재 실험이 돌아가고 있어서 내부부터 뜯어고치는 것이 어려운 경우 추천하는 방법.

git checkout -- <file>

사실 git status 하면 바로 추천으로 뜨는 명령어이긴한데, 그동안 무시했다가 git한테 호되게 혼난 후 설명을 꼼꼼히 읽어보게 되었다! 

1. zip파일 다운로드

https://roboti.us/download.html

2. mjkey.txt 다운로드

https://roboti.us/license.html

3. /home/user 에서 .mujoco 폴더를 만들고, mjkey.txt랑 mjpro150 폴더를 넣는다.

/home/user/.mujoco/mjkey.txt 랑 /home/user/.mujoco/mjpro150 이 되도록!

4. /home/user/.bashrc 파일에 export LD_LIBRARY=/home/user/.mujoco/mjpro150/bin 을 쓰고 저장해서 나온 후
source ~/.bashrc 라고 친다.

5. 위 두개 줄까지는 거의 필수로 필요하고, swig는 설치 안된경우를 처음보긴 했다. 이 외에도 에러가 발생한다면,, 구글 신이 도와주실 듯..

sudo apt-get install libosmesa6-dev
sudo apt install -y patchelf
sudo apt-get install swig

6. 이제와서 왜 mjpro150을 설치하는가? openai gym이 뜬금없이 mujoco support를 150으로 내렸기 때문.. 에러가 있다나 뭐라나.. 

<진행중>

1. 3D space mouse 드라이버를 깐다. (맥은 잘 깔리는데, 리눅스는 안 깔린다.) https://3dconnexion.com/kr/drivers/ 맥은 Big Sur 버전이 따로 있으니 자신의 맥을 확인하자. 리눅스는 드라이버가 제대로 작동 안하니까, spacenav (http://spacenav.sourceforge.net/)라는 다른 드라이버를 깐다.

여기서 spacenav에 3가지 종류가 있는데, 일단 spacenavd 가 기본이다. - 사실 제대로 설치가 된건지 아닌건지 확인할 길이 없다.. 하지만 일단 진행하자.

2. UR5와 3D spacemouse를 연결하는 것에는 여러가지가 있는데, RLkit (robosuite) https://github.com/rail-berkeley/rlkit/tree/master/rlkit/demos/spacemouse 에도 있고, MoveIt! https://ros-planning.github.io/moveit_tutorials/doc/realtime_servo/realtime_servo_tutorial.html 에도 있다. 

3. 먼저 RL kit부터 설명하자면, 현재 mac에서만 구동 가능하다고 쓰여있긴 하다. 근데 linux에서 왜 안되는지는 알 수 없다. 이게 RL kit, robosuite에 구현되어 있는 코드가 hidapi (https://github.com/libusb/hidapi)를 쓰는데, hidapi를 파이썬에서 쓸 때 제대로 돌아가는 것은 Mac (pip install hidapi) 에서 밖에 없는듯 하다. Linux에서는 sudo apt install을 하라고 되어있는데, 뭔가 파이썬이랑 연결하는 부분을 일단 못찾겠고,, hidapi를 linux에서 깔아도 제대로 인식이 안되는 것 같달까.. (맥에서는 3D mouse, 3D mouse device, 3D keyboard 이렇게 세 부분으로 나뉘어서 인식되고, device나 keyboard를 인식시키면 되는것 같은데, 리눅스에서는 3D mouse만 인식되고 그마저도 연결은 안된다 - 이부분은 맥과 동일.)  윈도우 에서도 시도해보려했는데, 윈도우 비밀번호를 까먹음.. 하하

맥이 zsh가 기본이어서 bash로 바꾸는게 속편하고, M1 mac이어서, mujoco는 2.1.1부터 가능한 것 같다. - 근데 gcc 버전 관련해서,, 약간 오류가 있는데, 아무튼 메인 git에서 제안하는 대로 LLVM을 깔아서 세팅을 해주면 어느정도 설치는 되는데(https://github.com/openai/mujoco-py/issues/662 )

import 할 때 build가 안된다. 뭔가 library confidence 오류 같은데. 근데 rlkit가 제대로 maintain이 안되는지 코드가 python 3.5 기반이고, multiworld 라는걸 추가로 깔아야하는데 그것도 conda environment로 깔아야하는데 mujoco 2.1.1을 써야하는 상태에선 dependency를 맞출 수가.. 엄두가 안난다. -- 그래서 rlkit보단 maintain 잘되는 robosuite로 가는게 속편한데, 흠.. to be continued..?!

4. MoveIt!을 깔기 위해서는 먼저 ROS를 깔아야한다. (Ubuntu 18.04이므로 Ros melodic을 깔았다!) 
그다음 catkin을 설치한다. 그후 MoveIt을 설치하는데, ** 꼭 source에서 설치해야 spacemouse 관련 코드가 설치된다. https://moveit.ros.org/install/source/** 그다음 catkin workspace에서 앞으로의 작업이 진행되는데, 
catkin workspace에 moveit tutorial 등을 다운받고 build를 진행한다. 

그 후부터는 계속 다운받고, build하고, 실행하는 것의 연속인데, roslaunch를 할 때는 한 터미널에서 계속 작업이 돌아가므로 tmux를 이용해서 터미널을 나누는 것이 보기 편하다.  

Gazebo 시뮬레이터를 돌릴 때는 꼭 RViz가 같이 돌아가야하는 것 같은데.. 아무튼 얘네를 켰다가 끌 때 꼭 잘 꺼야 나중에 다시 킬 때 에러가 나는 것을 방지할 수 있다. 아 그리고 joystick control teleoperation 탭에서의 추가사항을 세팅해줘야 돌아가는 것 같다. https://ros-planning.github.io/moveit_tutorials/doc/joystick_control_teleoperation/joystick_control_teleoperation_tutorial.html#getting-started

이렇게 하면 시뮬레이터 내에서는 3D spacemouse를 사용할 수 있는데, 실제 UR5 로봇에서 돌리기 위해서는 ROS controller를 또 추가설치 해줘야한다. (이마짚..) https://github.com/UniversalRobots/Universal_Robots_ROS_Driver 

5. 먼저 robot preparation 파트에서 externalcontrol-1.0.5.urcap을 다운받아서 로봇에 설치해줘야한다. <진행중>

6. 사실 속편하게 돈으로 해결하는게 빠르다. "sales@radalytica.com" 로 메일을 보내서 돈을 줄테니 가르쳐달라고 하자. 

https://www.radalytica.com/ 여기서 UR5랑 마우스를 연결해놓은걸 확인할 수 있다. 

1. 위첨자 ^ , 아래첨자 _

2. Figure 넣기

\begin{figure}
\includegraphics[width=1.0\linewidth]{figs/framework_o_rev.png}
  \caption{Walawala}
  \label{fig:comp-algo}
\end{figure}

3. Algorithm 넣기

\begin{algorithm*}
\setstretch{1.2}
\caption{Heyyy}\label{alg:detect}
\begin{algorithmic}
\Require $ I^k, [o_{x1}, o_{y1}, o_{x2}, o_{y2}]_N^k, [o]_N^k $
\Ensure $I^k $ \Comment{Get image}

\State $ I^k = ROI( RPN(I^k))$
\State $ \hat{I}^k, \hat{A}^k, = VMM_{Boxhead}(I^k)$
\State \textbf{Function}\{$VMC_{Boxpred}$\}
     \State \quad \quad$ [\hat{a}]_M^k  = HandAction(\hat{A}^k)$
    
\State \textbf{EndFunction}
 \State  $y = Concat(y, x) $
 \State $ [\hat{o}]_N^k = Concat([\hat{o}]_M^k, [\hat{a}]_M^k)$

\end{algorithmic}
\end{algorithm*}

가장 밖 algorithm에 붙는 *를 빼면 2 column paper일 때 한 쪽 column에만 들어감.

4. Equation 넣기

\begin{gather}

\{I_t\}^{T}_{t=1} = [\{I_t^1\}^{1e}_{1s},  \{I_t^K\}^{Ke}_{Ks}] \\
\{a_t\}^{T}_{t=1} = [a^1,  ..., a^k, ..., a^K] \\
\{o_t\}^{T}_{t=1} = [o^1,  ..., o^k, ..., o^K] 

\end{gather}

여러 줄 넣을 때가 gather, 한줄만 넣을 때는 equation.

\begin{equation} \label{eq:vmm}
\{\hat{I}^k\}_{m}, \hat{A}^k, \hat{a}^k = VMM(\{I^k\}_{m})
\end{equation}

https://towardsdatascience.com/useful-plots-to-diagnose-your-neural-network-521907fa2f45