분류 전체보기

LLM04:2023 무단 코드 실행 설명: 무단 코드 실행은 공격자가 LLM을 통해 자연어 프롬프트를 통해 기반이 되는 시스템에서 악성 코드, 명령 또는 동작을 실행하는 경우 발생합니다. 일반적인 무단 코드 실행 취약점: 사용자 입력의 살균화 또는 제한이 충분하지 않아, 공격자가 무단 코드 실행을 유발하는 프롬프트를 조작할 수 있습니다. LLM의 기능에 대한 적절한 격리 또는 제한이 되지 않아 기반이 되는 시스템과 의도하지 않은 방식으로 상호 작용할 수 있습니다. LLM에 시스템 수준의 기능 또는 인터페이스를 무심코 노출시킵니다. 예방 방법: LLM에서 악의적이거나 예상치 못한 프롬프트가 처리되지 않도록 엄격한 입력 유효성 검사 프로세스를 구현합니다. 적절한 격리 및 LLM의 기능 제한을 통해 기반이 되..

https://www.digitalocean.com/community/questions/deployment-is-always-in-a-building-state Deployment is always in a building state | DigitalOcean www.digitalocean.com - slack_bolt를 사용해 만든 App을 DigitalOcean App에 deploy하는 과정에서 생기는 오류 발생 원인 Build 단계에 app을 실행시켜 bolt app이 계속 실행되어 deploy 단계로 가지 못함. 해결 1. `package.json` "scripts": { "start": "node ./src/app.js", "build": "npm install" } 2. run_command ..

LLM03:2023 Inadequate Sandboxing 설명: 부적절한 샌드박싱은 LLM이 외부 리소스나 민감한 시스템에 접근할 때 적절하게 격리되지 않는 상태를 말합니다. 이는 잠재적인 악용, 무단 접근, 또는 LLM에 의한 의도하지 않은 동작을 초래할 수 있습니다. 일반적인 부적절한 샌드박싱 취약점: LLM 환경을 다른 중요한 시스템이나 데이터 저장소와 충분히 분리하지 못하는 경우 LLM이 적절한 제한 없이 민감한 리소스에 접근할 수 있는 경우 시스템 수준의 동작이나 다른 프로세스와의 상호작용과 같은 LLM의 기능을 제한하지 못하는 경우 예방 방법: LLM 환경을 다른 중요한 시스템과 리소스로부터 격리하기 위해 적절한 샌드박싱 기술을 구현합니다. LLM의 민감한 리소스 접근을 제한하고, 의도한 목..

제목: THE ONE THING 저자: 게리 켈러, 제이 파파산 keyword 마시멜로 이야기, 파레토 법칙, 도미노 효과

https://ia801600.us.archive.org/30/items/TedChiangSeventyTwoLetters/Ted_Chiang_72_Letters.pdf 테드 창의 "Seventy-Two Letters" 원래 발표된 곳: Vanishing Acts, 편집자: 엘렌 다틀로우. Tor Books에서 2000년 7월에 하드커버로 출판; 2001년 7월에 트레이드 패퍼백으로 출판. 테드 창에 의해 2000년에 저작권 소유. 허가를 받아 재인쇄됨. 어린 시절 로버트의 가장 좋아하는 장난감은 간단한 것이었다. 앞으로만 걸을 수 있는 점토 인형이었다. 부모님께서 정원에서 손님들과 함께 빅토리아의 왕위 계승이나 차티스트 개혁에 대해 이야기할 때, 로버트는 가족의 집 안에서 인형이 걸어가는 것을 따라다녔다..

LLM02:2023 데이터 유출 설명: 데이터 유출은 LLM이 응답을 통해 실수로 민감한 정보, 독점 알고리즘 또는 기타 기밀 세부 정보를 누출하는 경우 발생합니다. 이로 인해 민감한 데이터 또는 지적 재산에 대한 무단 액세스, 개인 정보 침해 및 기타 보안 위반이 발생할 수 있습니다. 일반적인 데이터 유출 취약점: LLM의 응답에서 민감한 정보를 불완전하거나 부적절하게 필터링하는 경우. LLM의 훈련 과정에서 민감한 데이터를 오버피팅하거나 메모리제이션하는 경우. LLM의 오해 또는 오류로 인해 기밀 정보가 무단으로 공개되는 경우. 예방 방법: LLM이 민감한 정보를 누출하지 않도록 엄격한 출력 필터링 및 문맥 인식 메커니즘을 구현합니다. LLM의 훈련 과정에서 차등 개인 정보 보호 기법이나 기타 데이터..

LLM01:2023 프롬프트 인젝션 설명: 프롬프트 인젝션은 필터를 우회하거나 LLM을 조작하여 모델이 이전 명령을 무시하거나 의도하지 않은 동작을 수행하도록 하는 설계된 프롬프트를 사용하는 것을 말합니다. 이러한 취약점은 데이터 유출, 무단 접근 또는 다른 보안 침해와 같은 의도하지 않은 결과를 초래할 수 있습니다. 일반적인 프롬프트 인젝션 취약점: LLM을 조작하여 민감한 정보를 노출시키는 프롬프트를 작성하는 것. 특정 언어 패턴이나 토큰을 사용하여 필터나 제한을 우회하는 것. LLM의 토큰화 또는 인코딩 메커니즘의 취약점을 이용하는 것. 잘못된 문맥을 제공하여 LLM이 의도하지 않은 동작을 수행하도록 하는 것. 예방 방법: 사용자가 제공하는 프롬프트에 대해 엄격한 입력 유효성 검사를 구현합니다. 문..