AI 레드팀이란? AI Application에서 공격 시나리오를 시뮬레이션하고 약점을 찾아내어 예방하기 위한 조직입니다. 이 프로세스는 가능한 다양한 침투 전술과 기능 문제로부터 AI 모델을 보호하는데 도움이 됩니다. 또한 AI 레드팀을 통해 AI 시스템 취약점을 발견하여, 안정성을 강화하고, AI가 안전하고 윤리적으로 활용되도록 하는 것이 목표입니다. 기존의 레드팀과 AI 레드팀은 애플리케이션의 보안 개선이 서로 같은 목표이지만 AI 레드팀은 애플리케이션의 접근 방식에 차이가 있어 "블랙박스"로 작동하며 이 차이로 시간에 따라 모델이 변화하고 learning data가 공개되어 있지 않아 문제 해결에 어려움이 있습니다. 추가로 환각(hallucination), 부정확하고 유해한 정보 제공 등 LLM의 ..
