[OWASP-LLM] Top 10 List for Large Language Models version 0.1 - (6) Overreliance on LLM-generated Content

LLM06:2023 LLM 기반 콘텐츠에 대한 과도한 의존

설명

LLM 기반 콘텐츠에 대한 과도한 의존은 오도된 정보의 전파, 의사 결정에서 인간의 참여 감소, 비판적 사고 능력의 감소를 초래할 수 있습니다. 기관 및 사용자들은 LLM 기반 콘텐츠를 검증 없이 믿을 수 있어서 잘못된 정보, 오해 또는 의도하지 않은 결과를 초래할 수 있습니다.

LLM 기반 콘텐츠에 대한 일반적인 문제점은 다음과 같습니다:

• 검증 없이 LLM 기반 콘텐츠를 사실로 인식하는 것
• LLM 기반 콘텐츠가 편향이나 오류가 없다고 가정하는 것
• 인간의 참여나 감독 없이 중요한 결정에 LLM 기반 콘텐츠에 의존하는 것

예방 방법

LLM 기반 콘텐츠에 대한 문제를 예방하기 위해 다음과 같은 모범 사례를 고려해야 합니다:

• 사용자들에게 LLM 기반 콘텐츠를 검증하고 다른 출처와 상담한 후 결정하거나 정보를 사실로 받아들이도록 장려합니다.
• LLM 기반 콘텐츠가 정확하고 적절하며 편향되지 않도록 인간의 감독 및 검토 과정을 도입합니다.
• 사용자들에게 LLM 기반 콘텐츠가 기계적으로 생성되었으며 완전히 신뢰할 수 없거나 정확하지 않을 수 있다는 사실을 명확히 전달합니다.
• 사용자들과 이해 관계자들에게 LLM 기반 콘텐츠의 한계를 인식하고 적절한 회의론적인 접근으로 다가가도록 교육합니다.
• LLM 기반 콘텐츠를 인간의 전문성과 참여를 대체하는 것이 아닌 보완적인 도구로 활용합니다.

예시 공격 시나리오

시나리오 1: 어느 뉴스 기관이 LLM을 사용하여 다양한 주제의 기사를 생성합니다. LLM은 검증 없이 거짓 정보를 포함한 기사를 생성하고 이를 게시합니다. 독자들은 이 기사를 신뢰하여 오도된 정보의 확산을 초래합니다.

시나리오 2: 어느 기업이 LLM을 활용하여 금융 보고서와 분석을 생성합니다. LLM은 잘못된 금융 데이터를 포함한 보고서를 생성하고 기업은 이를 기반으로 중요한 투자 결정을 내립니다. 이로 인해 부정확한 LLM 기반 콘텐츠에 의존한 결과로 인해 심각한 금전적 손실을 입게 됩니다.