[OWASP-LLM] Top 10 List for Large Language Models version 0.1 - (2) Data Leakage

LLM02:2023 데이터 유출

설명:
데이터 유출은 LLM이 응답을 통해 실수로 민감한 정보, 독점 알고리즘 또는 기타 기밀 세부 정보를 누출하는 경우 발생합니다. 이로 인해 민감한 데이터 또는 지적 재산에 대한 무단 액세스, 개인 정보 침해 및 기타 보안 위반이 발생할 수 있습니다.

일반적인 데이터 유출 취약점:

• LLM의 응답에서 민감한 정보를 불완전하거나 부적절하게 필터링하는 경우.
• LLM의 훈련 과정에서 민감한 데이터를 오버피팅하거나 메모리제이션하는 경우.
• LLM의 오해 또는 오류로 인해 기밀 정보가 무단으로 공개되는 경우.

예방 방법:

• LLM이 민감한 정보를 누출하지 않도록 엄격한 출력 필터링 및 문맥 인식 메커니즘을 구현합니다.
• LLM의 훈련 과정에서 차등 개인 정보 보호 기법이나 기타 데이터 익명화 방법을 사용하여 오버피팅이나 메모리제이션의 위험을 줄입니다.
• 민감한 정보가 우발적으로 공개되지 않도록 LLM의 응답을 정기적으로 감사하고 검토합니다.
• LLM 상호작용을 모니터링하고 기록하여 잠재적인 데이터 유출 사건을 감지하고 분석합니다.

예시 공격 시나리오: 시나리오 #1: 사용자가 민감한 정보를 누출할 수 있는 질문을 실수로 LLM에게 묻습니다. 적절한 출력 필터링이 없는 LLM은 기밀 데이터를 포함한 응답을 제공하여 사용자에게 노출시킵니다.

시나리오 #2: 공격자가 LLM을 조심스럽게 조작된 프롬프트로 공격하여 훈련 데이터에서 LLM이 메모리제이션한 민감한 정보를 추출하려고 시도합니다.

데이터 유출과 관련된 위험을 이해하고 대응함으로써 개발자는 LLM 구현을 보다 안전하고 안전한 상태로 유지할 수 있습니다.