prompt injections

LLM01:2023 프롬프트 인젝션 설명: 프롬프트 인젝션은 필터를 우회하거나 LLM을 조작하여 모델이 이전 명령을 무시하거나 의도하지 않은 동작을 수행하도록 하는 설계된 프롬프트를 사용하는 것을 말합니다. 이러한 취약점은 데이터 유출, 무단 접근 또는 다른 보안 침해와 같은 의도하지 않은 결과를 초래할 수 있습니다. 일반적인 프롬프트 인젝션 취약점: LLM을 조작하여 민감한 정보를 노출시키는 프롬프트를 작성하는 것. 특정 언어 패턴이나 토큰을 사용하여 필터나 제한을 우회하는 것. LLM의 토큰화 또는 인코딩 메커니즘의 취약점을 이용하는 것. 잘못된 문맥을 제공하여 LLM이 의도하지 않은 동작을 수행하도록 하는 것. 예방 방법: 사용자가 제공하는 프롬프트에 대해 엄격한 입력 유효성 검사를 구현합니다. 문..