[RL] Stable-baselines3 gym -> gymnasium

 

 

https://analyticsindiamag.com/has-openai-surpassed-deepmind/

 

 RL 계보로 보면 OpenAI와 Deepmind이 둘이 거의 다했다고 보면 된다.. 코드며 paper며 하지만 요즘 RL 보다 NLP LLM 모델에 관심이 쏠리면서 과거 OpenAI baseline git 이나 Deepmind rl acme git이 업데이트 되지 않고 있다. 그 사이 gym의 후원 재단이 바뀌면서 gymnasium으로 변형되고 일부 return 방식이 바뀌었다. 그래서 대부분의 2~3년이 지난 코드들은 과거 gym버전의 패키지가 아니면 호환이 되지 않고있다. 

 

 그러나 다행히 stable-baselines에서 최근 gymnasium으로 코드를 변경해 주었다. 이 패키지를 사용하면 기존 대부분의 PPO, HER, DDPG 등 RL model을 사용이 가능하고 custom 환경도 만들 수 있게 만들었다.

 

 

https://github.com/DLR-RM/stable-baselines3

GitHub - DLR-RM/stable-baselines3: PyTorch version of Stable Baselines, reliable implementations of reinforcement learning algor

 

 baseline2에서는 Tensorflow를 지원.

현재 Trend에 맞춰 PyTorch와 Test 환경 구축

 

https://jmlr.org/papers/volume22/20-1364/20-1364.pdf