전체 글

Entrypoint 프로덕션 이미지의 기본 진입점을 사용하는 경우 컨테이너가 시작될 때 자동으로 수행되는 몇 가지 동작이 있습니다. 어떤 경우에는 환경 변수를 이미지에 전달하여 해당 동작 중 일부를 트리거할 수 있습니다.임의의 사용자가 컨테이너를 실행하도록 허용 Airflow 이미지는 Open-Shift와 호환되므로 임의의 사용자 ID와 그룹 ID 0( root)로 시작할 수 있습니다. Airflow와 다른 사용자로 이미지를 실행하려면 사용자의 GID를 .으로 설정해야 합니다 0. 다른 그룹을 사용하려고 하면 진입점이 오류와 함께 종료됩니다.OpenShift는 컨테이너를 시작할 때 UID를 무작위로 할당하지만, 이미지를 수동으로 실행하는 경우에도 이 유연한 UID를 활용할 수 있습니다. 이는 예를 들어 ..

신뢰할 수 있는 데이터 시스템 구축을 위한 블록 조립(1) 운영 데이터와 분석 데이터의 차이조직 내 데이터를 가장 크게 구분해 달라고 한다면 간단하게 운영 데이터와 분석 데이터로 나눌 수 있다. 운영 데이터의 품질과 신뢰성 관리는 종종 (DevOps, SRE), 분석 데이터의 관리는 소프트웨어 프로덕트와 관련이 있을 것이다. 간단한 예로 OLTP와 OLAP라고 볼 수 있다. 운영상이냐 분석을 위해 이냐 차이로 보면 된다.운영 데이터는 운영상 생성된 데이터, 조직에서 일상적인 운영을 통해 생성된 데이터이다. 특정 시점의 인벤토리 스냅샷, 고객 인상 및 거래 기록 모두 운영 데이터에 속한다.분석 데이터는 분석적으로 사용되는 데이터, 데이터 기반 의사 결정에 활용되는 데이터를 말한다. 전환률, 클릭률, 글로벌..

Intro줌인포는 데이터 품질문제로 고객의 20%가 이탈한 경험을 가지고 있다. 데이터 조직이 품질 문제를 처리하기 위해 전체 업무의 40%이상 소모한다. 하지만 데이터 관련 사소한 이슈는 지속적으로 발생하고 데이터 오류는 흔한 일이므로 놀랄 일은 아니었다.남극 탐험가들은 신뢰할 수 없는 저품질 데이터로 목적지인 남극의 위치를 잘못 계산1999년 화성 기후 궤도선(NASA) 사고는 미터법을 혼동하여 발생한 일, 이 일로 1억 2500만 달러 비용 발생필자는 이처럼 흔하지만 큰 사고를 발생할 수 있는데이터 다운타임을 방지 하기 위해 데이터 품질을 유지, 관리하는 방법을 제시하고자 문제를 분석했다.(1) 데이터 품질이란?신뢰성(reliability), 완전성(completeness), 정확성(accuracy..

오늘의 해킹 정황 더보기"GET /vendor/phpunit/phpunit/src/Util/PHP/eval-stdin.php HTTP/1.1" 404 19 "-" "Custom-AsyncHttpClient" 943 "backend not found" "/vendor/phpunit/phpunit/src/Util/PHP/eval-stdin.php""GET /vendor/phpunit/phpunit/Util/PHP/eval-stdin.php HTTP/1.1" 404 19 "-" "Custom-AsyncHttpClient" 944 "backend not found" "/vendor/phpunit/phpunit/Util/PHP/eval-stdin.php""GET /vendor/phpunit/src/Util/PHP..

Google VertaxAI Python SDK  gemini tokenizer는 원래 공개되지 않아 token을 계산하려면 API를 사용해야 하는 번거로움이 있었다. 그래서 Google Cloud Community에 질문을 등록했다. 요는 tiktoken과 같이 token 계산을 local로 할 수있게 공개해 달라는 것이었다. token 수를 알 수 없으면 gemini-api를 사용할 때 max_token에 맞게 계속 조정해야 하기 때문에 수 차례 API를 사용해야 한다. 이런 문제를 의식했는지 token 수를 API로 활용할 수 있게 공개했지만 문제는 두 번의 API 사용도 마음에 들지 않았다.   tiktoken으로 OpenAI에서는 tokenizer와 vocab을 공개해 투명하게 API 비용을 청..