[OWASP-LLM] Top 10 List for Large Language Models version 0.1 - (4) Unauthorized Code Execution

LLM04:2023 무단 코드 실행

설명: 무단 코드 실행은 공격자가 LLM을 통해 자연어 프롬프트를 통해 기반이 되는 시스템에서 악성 코드, 명령 또는 동작을 실행하는 경우 발생합니다.

 

일반적인 무단 코드 실행 취약점:

• 사용자 입력의 살균화 또는 제한이 충분하지 않아, 공격자가 무단 코드 실행을 유발하는 프롬프트를 조작할 수 있습니다.
• LLM의 기능에 대한 적절한 격리 또는 제한이 되지 않아 기반이 되는 시스템과 의도하지 않은 방식으로 상호 작용할 수 있습니다.
• LLM에 시스템 수준의 기능 또는 인터페이스를 무심코 노출시킵니다.

예방 방법:

• LLM에서 악의적이거나 예상치 못한 프롬프트가 처리되지 않도록 엄격한 입력 유효성 검사 프로세스를 구현합니다.
• 적절한 격리 및 LLM의 기능 제한을 통해 기반이 되는 시스템과의 상호 작용을 제한합니다.
• LLM의 환경 및 액세스 제어를 정기적으로 감사하고 검토하여 무단 작업이 불가능하도록 보장합니다.
• LLM 상호 작용을 모니터링하고 로깅하여 무단 코드 실행 문제를 감지하고 분석합니다.

예시 공격 시나리오:

• 시나리오 #1: 공격자가 LLM에게 명령을 실행하여 기반이 되는 시스템에 reverse shell이 발생하고, 공격자는 무단 액세스 권한을 얻을 수 있습니다.
• 시나리오 #2: LLM이 시스템 수준 API와 상호 작용할 수 있도록 실수로 허용되고, 공격자가 LLM을 조작하여 시스템에서 무단 동작을 실행합니다.

무단 코드 실행과 관련된 위험을 이해하고 대응함으로써 개발자는 LLM 구현을 보다 효과적으로 보호하고 시스템의 안전과 보안을 보장할 수 있습니다.