728x90
반응형
LLM04:2023 무단 코드 실행
설명: 무단 코드 실행은 공격자가 LLM을 통해 자연어 프롬프트를 통해 기반이 되는 시스템에서 악성 코드, 명령 또는 동작을 실행하는 경우 발생합니다.
일반적인 무단 코드 실행 취약점:
- 사용자 입력의 살균화 또는 제한이 충분하지 않아, 공격자가 무단 코드 실행을 유발하는 프롬프트를 조작할 수 있습니다.
- LLM의 기능에 대한 적절한 격리 또는 제한이 되지 않아 기반이 되는 시스템과 의도하지 않은 방식으로 상호 작용할 수 있습니다.
- LLM에 시스템 수준의 기능 또는 인터페이스를 무심코 노출시킵니다.
예방 방법:
- LLM에서 악의적이거나 예상치 못한 프롬프트가 처리되지 않도록 엄격한 입력 유효성 검사 프로세스를 구현합니다.
- 적절한 격리 및 LLM의 기능 제한을 통해 기반이 되는 시스템과의 상호 작용을 제한합니다.
- LLM의 환경 및 액세스 제어를 정기적으로 감사하고 검토하여 무단 작업이 불가능하도록 보장합니다.
- LLM 상호 작용을 모니터링하고 로깅하여 무단 코드 실행 문제를 감지하고 분석합니다.
예시 공격 시나리오:
- 시나리오 #1: 공격자가 LLM에게 명령을 실행하여 기반이 되는 시스템에 reverse shell이 발생하고, 공격자는 무단 액세스 권한을 얻을 수 있습니다.
- 시나리오 #2: LLM이 시스템 수준 API와 상호 작용할 수 있도록 실수로 허용되고, 공격자가 LLM을 조작하여 시스템에서 무단 동작을 실행합니다.
무단 코드 실행과 관련된 위험을 이해하고 대응함으로써 개발자는 LLM 구현을 보다 효과적으로 보호하고 시스템의 안전과 보안을 보장할 수 있습니다.
반응형