목표: UR5e robots 와 적당히 다양한 환경 (여러 target object, 배경)을 multi-view 로 촬영하여 데이터셋 수집. 3DGS를 구축하기.
먼저 Isaac Lab with Isaac Sim 설치.
### system requirements 를 확인한다.
현재 Isaac Sim 5.1.0 기준으로, ubuntu 22.04 또는 24.04이어야한다. 그리고 GPU VRAM이 16기가 이상이면서 RT Core 가 있어야한다.
- nvidia driver version을 확인하고, 업그레이드가 필요하면 업그레이드 한다.
### 설치 방식 선정
- isaac sim은 pip install 하고, isaac lab 은 source install 하는 방식으로 진행할 예정이다.
https://isaac-sim.github.io/IsaacLab/main/source/setup/installation/pip_installation.html
Installation using Isaac Sim Pip Package — Isaac Lab Documentation
To install conda, please follow the instructions here. You can create the Isaac Lab environment using the following commands. We recommend using Miniconda, since it is light-weight and resource-efficient environment management system. conda create -n env_i
isaac-sim.github.io
- conda 환경에서 진행할 예정이다. miniconda가 설치되어있지 않으면 설치하고, conda env env_isaaclab 을 만든 후에 pip install한다.
--> 만약 ubuntu 20.04 에서 설치하고 싶으면 pip install 이 아니라 source install 하면 된다고 한다.
### issac sim 설치할 때 유의사항
- pip install 로 진행하게 되면 pytorch cuda 버전이 cuda 12.8에 torch 2.7, torchvision 0.22.0으로 고정된다. 만약 cuda 버전이 다르다면 다시 맞게 설치하면 되는데 -> 사실 isaac lab에서 설치할 때도 isaac sim과 동일한 torch 버전+cuda 버전을 쓰기 때문에 isaac lab 설치하면서 다시 덮어씌워질 가능성이 있다. isaac lab 설치까지 마무리 후 cuda 버전을 바꾸거나, 그냥 써도 무방한듯하다.
### isaac sim 실행
- isaacsim 이라고 터미널에 치면, 실행이 된다. 마지막에 (어쩌고저쩌고) full app loaded가 떠야한다.
- 만약 모니터가 없으면 어떻게 하나요? (remote server에서 실행)
너무 슬픈 소식이다. 가장 좋은 대처법은 모니터가 있는 서버를 구하는 것이다. 그것이 앞으로 만나게 될 엄청난 버그들을 해결할 때 정신적으로 스트레스를 덜 받게 해준다. - 나도 이렇게 해결함.
물론 livestream client 를 이용해서 모니터가 있는 컴퓨터 A에서, isaac sim이 설치된 remote server B의 모니터 아웃풋을 받아올 수 있어보인다. - 하지만 port 도 뚫어야하고, "Isaac Sim WebRTC Streaming Client is recommended to be used within the same network as an Isaac Sim headless instance." 이런 안내문구가 있는 것을 보았을 때, 내 상황과는 맞지 않아서 - 재택 근무라든가,, 등등.. 포기했다.
https://docs.isaacsim.omniverse.nvidia.com/5.1.0/installation/manual_livestream_clients.html
Livestream Clients — Isaac Sim Documentation
See Workstation Installation for full installation instructions. cd ~/isaacsim ./isaac-sim.streaming.sh See Workstation Installation for full installation instructions. cd C:\isaacsim isaac-sim.streaming.bat See Container Installation for full installation
docs.isaacsim.omniverse.nvidia.com
- 물론 모니터 없이도 학습은 돌릴 수 있다.
### isaac lab 설치
- 여기서 sudo 로 cmake, build-essential, pre-commit을 설치해야하므로, 이왕이면 sudo 권한을 얻자.
- sudo 없이 cmake 설치는 어느정도 가능하긴 한데, build-essential은 모르겠다. 찾아봐야할듯.
./isaaclab.sh --install이렇게 bash 파일 하나만 실행하면 설치가 다 된다.