[OWASP-LLM] Top 10 List for Large Language Models version 0.1 - (1) prompt injections

LLM01:2023 프롬프트 인젝션

설명:
프롬프트 인젝션은 필터를 우회하거나 LLM을 조작하여 모델이 이전 명령을 무시하거나 의도하지 않은 동작을 수행하도록 하는 설계된 프롬프트를 사용하는 것을 말합니다. 이러한 취약점은 데이터 유출, 무단 접근 또는 다른 보안 침해와 같은 의도하지 않은 결과를 초래할 수 있습니다.

일반적인 프롬프트 인젝션 취약점:

• LLM을 조작하여 민감한 정보를 노출시키는 프롬프트를 작성하는 것.
• 특정 언어 패턴이나 토큰을 사용하여 필터나 제한을 우회하는 것.
• LLM의 토큰화 또는 인코딩 메커니즘의 취약점을 이용하는 것.
• 잘못된 문맥을 제공하여 LLM이 의도하지 않은 동작을 수행하도록 하는 것.

예방 방법:

• 사용자가 제공하는 프롬프트에 대해 엄격한 입력 유효성 검사를 구현합니다.
• 문맥에 따라 인지 필터링과 출력 인코딩을 사용하여 프롬프트 조작을 방지합니다.
• 악의적인 입력과 극단적인 경우에 대한 LLM의 이해를 개선하기 위해 정기적으로 LLM을 업데이트하고 세부 조정합니다.
• LLM 상호작용을 모니터링하고 로그를 기록하여 프롬프트 인젝션 시도를 감지하고 분석합니다.

예시 공격 시나리오: 시나리오 #1: 공격자가 LLM을 속여 사용자 자격 증명이나 내부 시스템 세부 정보와 같은 민감한 정보를 노출시키는 프롬프트를 작성합니다. 이를 위해 모델은 해당 요청이 정당한 것으로 생각하도록 합니다.

시나리오 #2: 악의적인 사용자가 LLM이 제한된 콘텐츠로 인식하지 못하는 특정 언어 패턴, 토큰 또는 인코딩 메커니즘을 사용하여 콘텐츠 필터를 우회합니다. 이로써 사용자는 차단되어야 할 동작을 수행할 수 있게 됩니다.

 

 

https://cmte.ieee.org/futuredirections/2023/04/07/a-new-threat-indirect-prompt-injection/