LLM08:2023 부적절한 접근 제어 설명: 부적절한 접근 제어는 접근 제어나 인증 메커니즘이 올바르게 구현되지 않아, 무단 사용자가 LLM과 상호작용하고 취약점을 이용할 수 있는 상황을 말합니다. 일반적인 접근 제어 문제: LLM에 대한 엄격한 인증 요구 사항을 강제하지 않는 경우 역할 기반 접근 제어(RBAC) 구현이 부족하여 사용자가 의도된 권한을 초과하여 작업을 수행하는 경우 LLM에서 생성된 콘텐츠와 작업에 적절한 접근 제어를 제공하지 않는 경우 예방 방법: 다중 인증을 포함한 강력한 인증 메커니즘을 구현하여 오직 인가된 사용자만 LLM에 접근할 수 있도록 합니다. 사용자의 역할과 책임에 따라 사용자 권한을 정의하고 강제하기 위해 역할 기반 접근 제어(RBAC)를 사용합니다. LLM이 생성한 ..

LLM07:2023 불충분한 AI 조정 설명: 불충분한 AI 정렬은 LLM의 목표와 행동이 의도한 사용 사례와 일치하지 않아 원하지 않는 결과나 취약점이 발생하는 경우입니다. 일반적인 AI 정렬 문제: 목표가 명확히 정의되지 않아 LLM이 원하지 않거나 유해한 행동을 우선시하는 경우 정렬되지 않은 보상 함수 또는 훈련 데이터로 인해 의도하지 않은 모델 행동이 발생하는 경우 다양한 맥락과 시나리오에서 LLM의 행동을 충분히 테스트하고 검증하지 않은 경우 예방 방법: LLM의 목표와 의도된 행동을 설계 및 개발 과정 중에 명확히 정의합니다. 보상 함수와 훈련 데이터가 원하는 결과와 일치하며 원하지 않거나 유해한 행동을 유발하지 않도록 보장합니다. 다양한 시나리오, 입력 및 맥락에서 LLM의 행동을 정렬 문제..

LLM06:2023 LLM 기반 콘텐츠에 대한 과도한 의존 설명 LLM 기반 콘텐츠에 대한 과도한 의존은 오도된 정보의 전파, 의사 결정에서 인간의 참여 감소, 비판적 사고 능력의 감소를 초래할 수 있습니다. 기관 및 사용자들은 LLM 기반 콘텐츠를 검증 없이 믿을 수 있어서 잘못된 정보, 오해 또는 의도하지 않은 결과를 초래할 수 있습니다. LLM 기반 콘텐츠에 대한 일반적인 문제점은 다음과 같습니다: 검증 없이 LLM 기반 콘텐츠를 사실로 인식하는 것 LLM 기반 콘텐츠가 편향이나 오류가 없다고 가정하는 것 인간의 참여나 감독 없이 중요한 결정에 LLM 기반 콘텐츠에 의존하는 것 예방 방법 LLM 기반 콘텐츠에 대한 문제를 예방하기 위해 다음과 같은 모범 사례를 고려해야 합니다: 사용자들에게 LLM ..

https://kaiokendev.github.io/context Extending Context is Hard pages kaiokendev.github.io kaiokendev.github.io 확장 컨텍스트는 어렵지만 불가능하지는 않습니다† 표면적으로는 쉬운 작업이어야 합니다. 저는 긴 시퀀스 길이에 대해 사전 훈련된 모델을 미세 조정하는 방법을 연구하면서 이 글을 작성하고 있었습니다. 이 경우, 사전 훈련된 모델은 LLaMa이며, 사전 훈련 시퀀스 길이는 2048입니다. 긴 시퀀스에서 모델을 단순히 미세 조정하는 것은 항상 작동하지 않는 것처럼 보였지만, 가능해야 한다고 생각했으므로 완전히 도전해 보았습니다. 이제 1줄의 코드로 컨텍스트를 확장하는 방법이 있으며, 이에 많은 관심이 집중되고 있습니..

LLM05:2023 SSRF Vulnerabilities 설명: 서버 측 요청 위조(SSRF) 취약점은 공격자가 LLM을 악용하여 의도하지 않은 요청을 수행하거나 제한된 리소스(내부 서비스, API 또는 데이터 저장소)에 액세스할 때 발생합니다. 일반적인 SSRF 취약점: 입력 유효성 검사가 충분하지 않아 공격자가 LLM 프롬프트를 조작하여 무단 요청을 시작할 수 있습니다. 적절한 샌드박싱 또는 리소스 제한이 부족하여 LLM이 제한된 리소스에 액세스하거나 내부 서비스와 상호 작용할 수 있습니다. 네트워크 또는 응용 프로그램 보안 설정에서 잘못된 구성으로 인해 내부 리소스가 LLM에 노출될 수 있습니다. 예방 방법: 악의적이거나 예기치 않은 프롬프트가 무단 요청을 시작하지 못하도록 엄격한 입력 유효성 검사..

Yuval Noah Harari(Sapiens) VS Yann Le Cun (Meta) 인공지능 논쟁 원문 https://www.lepoint.fr/sciences-nature/yuval-harari-sapiens-versus-yann-le-cun-meta-on-artificial-intelligence-11-05-2023-2519782_1924.php Yuval Noah Harari (Sapiens) versus Yann Le Cun (Meta) on artificial intelligence EXCLUSIVE. The annihilation of democracy or new age of Enlightenment? Best-seller Sapiens author Yuval Noah Harari and..