[Jupyterhub] 계정 생성 오류

http://127.0.0.1:53081/user/admin/api didn't respond in 30 seconds

[E 2024-08-14 08:09:37.628 JupyterHub gen:629] Exception in Future <Task finished name='Task-817' coro=<BaseHandler.spawn_single_user.<locals>.finish_user_spawn() done, defined at /usr/local/lib/python3.10/dist-packages/jupyterhub/handlers/base.py:1115> exception=TimeoutError("Server at http://127.0.0.1:53081/user/admin/api didn't respond in 30 seconds")> after timeout
    Traceback (most recent call last):
      File "/usr/local/lib/python3.10/dist-packages/tornado/gen.py", line 624, in error_callback
        future.result()
      File "/usr/local/lib/python3.10/dist-packages/jupyterhub/handlers/base.py", line 1122, in finish_user_spawn
        await spawn_future
      File "/usr/local/lib/python3.10/dist-packages/jupyterhub/user.py", line 1033, in spawn
        await self._wait_up(spawner)
      File "/usr/local/lib/python3.10/dist-packages/jupyterhub/user.py", line 1076, in _wait_up
        raise e
      File "/usr/local/lib/python3.10/dist-packages/jupyterhub/user.py", line 1047, in _wait_up
        resp = await server.wait_up(
      File "/usr/local/lib/python3.10/dist-packages/jupyterhub/utils.py", line 322, in wait_for_http_server
        re = await exponential_backoff(
      File "/usr/local/lib/python3.10/dist-packages/jupyterhub/utils.py", line 265, in exponential_backoff
        raise asyncio.TimeoutError(fail_message)
    asyncio.exceptions.TimeoutError: Server at http://127.0.0.1:53081/user/admin/api didn't respond in 30 seconds

 

 

 Jupyterhub란?

 jupyer notebook과 jupyterlab을 여러 사람과 같이 사용할 때 중계자 역할을 해주는 Hub입니다. Jupyter Notebook은 데이터 사이언스, 데이터 분석, 마케팅 분석 등 다양한 곳에서 사용하고 있습니다. 하나의 서버에서 여러 명이 동시에 같은 Python kernel을 사용할 경우  생기는 오류를 Hub를 통해 해결할 수 있습니다.

 

 

Subsystems

JupyterHub는 4개의 하위 시스템으로 구성됩니다.

• JupyterHub 의 심장인 허브(tornado process)
• 클라이언트 브라우저로부터 요청을 수신하는 구성 가능한 http 프록시 (node-http-proxy)
• Spawners가 모니터링하는 다중 단일 사용자 Jupyter 노트북 서버 (Python/IPython/tornado)
• 사용자가 시스템에 어떻게 액세스 할 수 있는지 관리하는 인증 클래스

Jupyterhub https://jupyterhub.readthedocs.io/en/stable/

 

 1. jupyterhub_config.py 

 Jupyterhub의 Authenticator 방식(GoogleOauth, Keycloak, Generic etc), host, ip, 리소스 등을 구성합니다. 

 

config 파일 생성

jupyterhub --generate-config

 

config 파일 적용 (적용 시 Jupyterhub 재시작 필요)

jupyterhub -f /etc/jupyterhub/jupyterhub_config.py

 

 

2. Jupyterhub Access 방식

 Http Proxy로 들어온 유저의 요청을 Authenticator가 인허가를 판단합니다. 인증이 완료되면 최초 로그인의 경우 Spawners가 사용자 계정을 생성합니다. 여기서 주의해야 할 점은 Spawners로 생성된 유저는 서버의 유저와 동일하다는 점입니다.

 

 PAM(Pluggable Authentication Module)은 시스템 계정을 그대로 사용하기 때문에 처음 유저는 당연히 root권한이 필요합니다.

• jupyter_config.py에 c.Spawner.args = ['--allow-root'] 추가
• docker image 일 경우 --privileged 옵션 추가

  Spawner로 생성된 계정은 각자 시작 dir의 하위 path를 사용하게 됩니다. 분리된 환경을 제공할 수도 있고 공유 폴더를 사용할 수 있게 구성도 가능합니다.

---

 

 root 권한을 부여했음에도 Spawner가 제대로 작동하지 않았다면 Proxy API 요청 오류를 의심해 볼 수 있습니다. user 생성 api에 요청에 Timeout이 났다면 configurable-http-proxy 모듈을 재설치하는 것을 추천드립니다.

https://github.com/jupyterhub/configurable-http-proxy?tab=readme-ov-file#install