Agent Threat Rules, 탐지 규칙과 인증의 차이

Agent Threat Rules는 AI 에이전트 위협을 실행 가능한 YAML 규칙으로 표현하는 공개 프로젝트입니다. 정책 문구와 탐지 로직의 차이를 읽고 규칙 검사 결과를 안전 인증으로 오해하지 않는 기준을 정리합니다.Agent Threat Rules, 위험 분류표에서 실행 규칙으로ATR 저장소는 Agent Threat Rules를 공개 탐지 규칙 형식으로 설명합니다. 규칙과 참조 TypeScript 엔진, Python 연계 구현이 공개되어 있으며 LICENSE는 MIT입니다. OWASP나 MITRE 같은 분류 체계가 위험을 이름 붙이는 역할이라면, ATR은 어떤 입력의 어떤 조건을 찾아낼지 기계가 읽을 수 있는 규칙으로 표현하려는 프로젝트입니다.그러나 공개 형식이라는 사실과 국제 표준 최종 승인 또는..

ToolHive로 도구 서버 격리와 비밀값 경계 점검

ToolHive에서 확인할 핵심은 도구 서버를 실행하는 환경과 접근 권한입니다. 컨테이너 격리, 비밀값 주입, 인증을 나눠 살펴보고 서버 자체를 믿어도 되는지는 별도로 판단하는 방법을 정리합니다.ToolHive, 실행 환경을 관리하는 공개 코드ToolHive는 MCP 서버 실행과 관리를 위한 오픈소스 프로젝트이며 저장소 LICENSE는 Apache-2.0입니다. 로컬 Docker·Podman 기반 실행, Kubernetes 운영 및 원격 서버 프록시를 안내합니다. 모든 연결이 로컬 컨테이너 안에서 실행되는 것은 아닙니다. 원격 MCP 서버를 프록시로 연결하면 실제 서버의 실행 환경은 여전히 원격 운영자에게 있습니다.이 차이를 먼저 구분해야 격리의 범위를 설명할 수 있습니다. 로컬 컨테이너는 호스트 파일 ..

Agent Scan, 공개 CLI의 외부 전송 경계 점검

Agent Scan의 코드는 공개되어 있지만 기본 보안 분석까지 모두 로컬에서 끝나지는 않습니다. 도구 설정을 검사할 때 실행되는 명령과 외부로 전달되는 내용을 먼저 확인하는 절차를 정리합니다.Agent Scan, 오픈소스 범위부터 확인이 프로젝트는 기존 invariantlabs-ai/mcp-scan 경로에서 현재 snyk/agent-scan으로 연결됩니다. 공개 저장소의 클라이언트 코드는 Apache-2.0이며 AI 에이전트, MCP 서버, 스킬을 발견하고 검사하는 도구로 설명됩니다. 여기서 공개 클라이언트와 원격 분석 서비스를 분리해서 이해해야 합니다. 소스를 읽고 수정할 수 있다는 사실만으로 외부 API까지 자체 호스팅 가능한 공개 구현이라고 결론 내릴 수 없습니다.현재 README의 시작 절차는 ..

LlamaFirewall로 에이전트 검사 경계 이해하기

LlamaFirewall 자료를 살펴보면 AI 에이전트 방어는 입력 필터 하나로 끝나지 않습니다. 사용자 메시지, 도구 응답, 추론과 생성 코드를 나눠 검사하고 실행 권한은 별도로 제한하는 방법을 정리합니다.LlamaFirewall에서 확인할 실제 구성LlamaFirewall의 공식 코드는 Meta의 PurpleLlama 저장소 안 LlamaFirewall 디렉터리에 있습니다. 이름에 Firewall이 들어가지만 네트워크 방화벽과 같은 제품은 아닙니다. 공식 문서는 일반 채팅과 여러 단계의 에이전트 작업을 위한 스캐너 조합 프레임워크로 설명합니다. 설치만으로 모든 도구 호출을 가로채거나 권한을 자동 통제한다고 해석하면 안 됩니다.핵심 방어 구성은 PromptGuard 2, AlignmentCheck, C..

Presidio 한국어 개인정보 탐지, 누락부터 점검하기

Presidio 한국어 적용은 설치보다 탐지 범위 확인이 먼저입니다. AI 상담 기록을 외부 모델로 보내기 전, 언어 모델과 인식기를 구분하고 놓친 개인정보까지 확인하는 운영 절차를 정리합니다.Presidio 한국어, 기본 설정과 추가 구성을 구분하기Presidio는 텍스트 등의 민감정보를 찾고 비식별화하는 오픈소스 도구입니다. 분석 단계인 Analyzer와 변환 단계인 Anonymizer를 구분해서 생각하면 이해하기 쉽습니다. 탐지한 위치를 바꾸는 것과 모든 개인정보를 찾아냈다는 것은 다른 주장입니다. 공식 README도 자동 탐지가 민감정보를 전부 발견한다고 보장하지 않으며 추가 보호 수단이 필요하다고 명시합니다.특히 공식 다국어 문서는 기본 구성에 영어 인식기와 모델이 포함된다고 설명합니다. 따라서..

Giskard로 검색증강생성 답변 위험 평가하기

Giskard는 RAG와 AI 에이전트를 평가하는 오픈소스 Python 라이브러리입니다. 현행 v3의 지식베이스 기반 평가를 중심으로 테스트셋을 관리하는 방법과, 높은 점수만으로 답변의 진실성이나 보안을 보장할 수 없는 이유를 설명합니다.Giskard v3에서는 옛 RAGET 예제를 그대로 쓰지 않는다검색으로 찾은 오래된 튜토리얼과 현재 설치되는 패키지가 다르면 시작부터 혼란스럽습니다. 현재 공식 저장소는 Giskard-AI/giskard-oss이며, README는 v3가 새로 작성된 구조이고 v2는 더 이상 적극 유지보수하지 않는다고 명시합니다. 현행 LICENSE 원문은 Apache-2.0입니다. 과거 버전의 라이선스 설명을 확인 없이 가져오면 안 됩니다.공식 이전 가이드는 v2의 giskard.ra..

NeMo 가드레일, AI 입출력 정책 설계와 한계

NeMo Guardrails는 LLM 애플리케이션의 입력·출력·대화 흐름에 정책을 넣는 오픈소스 도구입니다. 단순히 위험을 기록하는 모니터링과 실제 응답 경로를 제어하는 레일의 차이, 운영 전 확인할 한계를 정리합니다.NeMo Guardrails는 관찰이 아니라 호출 경로에 연결해야 한다프롬프트에 금지 문장을 적는 것, 로그에서 위반을 찾는 것, 사용자에게 돌려줄 답변을 실제로 막는 것은 서로 다른 작업입니다. NeMo Guardrails는 애플리케이션과 LLM 사이에 프로그래밍 가능한 레일을 두는 도구입니다. 다만 라이브러리를 설치했다고 모든 요청이 자동 보호되지는 않습니다. 검사하도록 연결한 경로와 활성화한 정책이 있어야 의미가 있습니다.이전 NVIDIA/NeMo-Guardrails 주소는 현재 NV..

garak으로 LLM 취약점 탐지 결과 해석하기

garak은 LLM의 원치 않는 행동을 탐색하는 오픈소스 취약점 스캐너입니다. 결과표의 FAIL을 곧바로 실제 침해로 읽지 않고, probe·detector·원문 증거와 실행 오류를 나누어 해석하는 방법을 설명합니다.garak 결과는 세 부품을 알아야 읽힌다스캐너의 한 줄 결과만 보고 모델을 안전 또는 위험으로 분류하면 중요한 맥락이 빠집니다. garak에서 generator는 평가 대상 모델과 연결하는 인터페이스이고, probe는 어떤 입력으로 원치 않는 행동을 탐색할지 정하며, detector는 생성된 응답에서 문제의 신호를 판정합니다. 같은 응답도 무엇을 찾는 detector인지에 따라 의미가 달라집니다.공식 README는 환각, 정보 노출, 프롬프트 인젝션, 독성 출력 등 여러 약점을 탐색한다고 ..

PyRIT로 AI 위협 시나리오와 채점 기준 설계하기

PyRIT는 생성형 AI 위험 평가의 시나리오·데이터·채점기를 조합하는 오픈소스 프레임워크입니다. 허가된 테스트 환경에서 무엇을 실패로 볼지 먼저 정의하고, 재현 가능한 평가 기록을 남기는 절차를 설명합니다.PyRIT는 공격 문장 모음보다 평가 프로토콜에 가깝다위험한 답변 하나를 얻는 것과 서비스의 위험을 설명하는 것은 다릅니다. 어떤 사용자 권한에서, 어떤 데이터와 대화 길이로, 무엇을 달성하려 했고 어떤 증거로 실패를 판단했는지가 있어야 개선 전후를 비교할 수 있습니다. PyRIT의 역할은 이 평가 절차를 구성하는 여러 부품을 연결하는 데 있습니다.현재 기준 저장소는 microsoft/PyRIT입니다. 예전 Azure/PyRIT는 2026년 3월 27일 보관 처리됐고 README가 새 주소로 이동했다..

promptfoo로 프롬프트 보안 회귀검사 설계하기

promptfoo는 프롬프트와 모델 출력의 변화를 반복 평가하는 오픈소스 도구입니다. 보안 요구사항을 단언문으로 바꾸고 CI 배포 기준에 연결하는 방법과, 높은 통과율만으로 안전을 판단하면 안 되는 이유를 정리합니다.promptfoo가 필요한 순간은 프롬프트를 바꿀 때다고객지원 봇의 답변을 친절하게 다듬었는데, 이전에는 거절하던 비공개 정보 요청에도 설명을 붙이기 시작했다고 가정해 봅시다. 이때 필요한 것은 몇 번 대화해 보고 느낌을 적는 일이 아니라, 동일한 입력과 정책으로 변경 전후를 비교하는 절차입니다. promptfoo는 프롬프트·제공자·테스트를 선언형 설정으로 관리하고 결과를 비교하는 CLI와 라이브러리입니다.공식 저장소는 현재 OpenAI 소속이라는 안내와 함께 MIT 라이선스를 유지한다고 명..