[OWASP-LLM] Top 10 List for Large Language Models version 0.1 - (7) Inadequate AI Alignment

LLM07:2023 불충분한 AI 조정

설명: 불충분한 AI 정렬은 LLM의 목표와 행동이 의도한 사용 사례와 일치하지 않아 원하지 않는 결과나 취약점이 발생하는 경우입니다.

일반적인 AI 정렬 문제:

• 목표가 명확히 정의되지 않아 LLM이 원하지 않거나 유해한 행동을 우선시하는 경우
• 정렬되지 않은 보상 함수 또는 훈련 데이터로 인해 의도하지 않은 모델 행동이 발생하는 경우
• 다양한 맥락과 시나리오에서 LLM의 행동을 충분히 테스트하고 검증하지 않은 경우

예방 방법:

• LLM의 목표와 의도된 행동을 설계 및 개발 과정 중에 명확히 정의합니다.
• 보상 함수와 훈련 데이터가 원하는 결과와 일치하며 원하지 않거나 유해한 행동을 유발하지 않도록 보장합니다.
• 다양한 시나리오, 입력 및 맥락에서 LLM의 행동을 정렬 문제를 식별하고 해결하기 위해 정기적으로 테스트하고 검증합니다.
• 지속적으로 LLM의 성능과 정렬을 평가하고 필요한 경우 모델을 업데이트하기 위해 모니터링 및 피드백 메커니즘을 구현합니다.

예시 공격 시나리오:

• 시나리오 1: 사용자 참여도를 최적화하기 위해 훈련된 LLM이 의도치 않게 논란이나 극단적인 콘텐츠를 우선시하여 잘못된 정보나 유해한 콘텐츠의 확산을 초래하는 경우
• 시나리오 2: 시스템 관리 작업을 지원하기 위해 설계된 LLM이 정렬되지 않아 유해한 명령을 실행하거나 시스템 성능이나 보안을 저하시키는 행동을 우선시하는 경우

AI 정렬에 집중하고 LLM의 목표와 행동이 의도한 사용 사례와 일치하도록 보장함으로써 개발자는 LLM 구현에서 의도하지 않은 결과와 취약점의 위험을 줄일 수 있습니다.

 

 

Inadequate AI Alignment