owasp/secure-agent-playbook

llm-risk-assess

Comprehensive LLM security assessment against OWASP Top 10 for LLM Applications 2025.

Zobacz źródło

Jak używać

  1. Skopiuj polecenie instalacji i sprawdź źródła przed instalacją we własnym środowisku agenta.
  2. W oryginale sprawdź wymagane narzędzia, dane dostępowe i obsługiwane środowiska.
  3. Opisz dane wejściowe i oczekiwany rezultat; porównaj wynik ze źródłami.
npx skills add https://github.com/owasp/secure-agent-playbook --skill llm-risk-assess

Przed rozpoczęciem

  • Instalacja nie obejmuje subskrypcji modelu, limitu API ani uprawnień do plików.
  • Gwiazdki i instalacje pokazują aktywność, a nie niezależny test jakości lub bezpieczeństwa.
Oryginalny dokument Skill

Treść z repozytorium z zachowaniem nagłówków, przykładów, kodu, tabel, linków i obrazów.

LLM Risk Assessment (2025)

Comprehensive evaluation of LLM applications against OWASP Top 10 for LLM Applications 2025. Follow the detailed procedure in plays/llm-risk-assess.md.

Steps

  1. Architecture & Threat Modeling
  • Map LLM provider (OpenAI, Anthropic, local models)
  • Document data flows: user input → preprocessing → prompt construction → LLM → output processing → actions
  • Identify RAG components, tool integrations, memory systems
  • Define trust boundaries and attack surfaces
  1. Automated Security Testing
  • Run prompt injection probes (Garak, Giskard, custom scripts)
  • Test output handling vulnerabilities
  • Scan for secrets in prompts and configurations
  • Validate vector database security
  1. Assess All 10 OWASP LLM 2025 Risks with attack scenarios:
  • LLM01 Prompt Injection — Direct/indirect injection, jailbreaks, goal hijacking, delimiter bypasses
  • LLM02 Sensitive Information Disclosure — Training data leakage, PII exposure, system info extraction, memorized secrets
  • LLM03 Supply Chain — Model poisoning, malicious dependencies, insecure plugins, provenance issues
  • LLM04 Data and Model Poisoning — Training data poisoning, RAG poisoning, embedding manipulation
  • LLM05 Improper Output Handling — XSS, command injection, SQLi, path traversal via LLM outputs
  • LLM06 Excessive Agency — Unauthorized tool calls, permission escalation, dangerous action chains
  • LLM07 System Prompt Leakage — Prompt extraction attacks, secret disclosure, instruction reverse engineering
  • LLM08 Vector and Embedding Weaknesses — Adversarial embeddings, retrieval poisoning, similarity attacks
  • LLM09 Misinformation — Hallucinations, authoritative presentation, grounding failures, harmful domains
  • LLM10 Unbounded Consumption — Token exhaustion, cost attacks, resource exhaustion, DoS
  1. Red Team Testing
  • Attempt real-world attack scenarios
  • Test defense bypasses and evasion techniques
  • Validate guardrails and safety controls

Output

Comprehensive LLM security report:

  • Architecture diagram with trust boundaries
  • Risk matrix (all 10 categories with severity/status)
  • Detailed findings with proof-of-concept examples
  • Red team test results and bypass techniques
  • Remediation roadmap with code examples
  • Defense validation checklist

OWASP References

  • OWASP Top 10 for LLM Applications 2025
  • OWASP AI Exchange (owaspai.org)
  • OWASP AI Testing Guide
  • OWASP Cheat Sheet: Prompt Injection Prevention
  • OWASP Prompt Injection Taxonomy (Arcanum)

Powiązane zadania

z tego samego repozytorium

Więcej Skills

Wszystkie Skills
owasp
Społeczność

web-security-review

Review web applications against the OWASP Top 10 for Web Applications (2021). Use when auditing web apps, reviewing server-side code, or assessing web frameworks for the classic OWASP Top 10 risks including injection, broken auth, and XSS.

Instalacje / 1h
2
GitHub Stars
209
Aktualizacja
15 paź
owasp
Społeczność

api-security-review

Comprehensive API security review against OWASP API Security Top 10 (2023). Use when reviewing OpenAPI/Swagger specs, auditing REST/GraphQL/gRPC implementations, testing authentication mechanisms, or checking API gateway configurations. Covers BOLA/IDOR, broken auth, mass assignment, rate limiting, SSRF, and more with real-world attack scenarios.

Instalacje / 1h
1
GitHub Stars
204
Aktualizacja
15 paź
owasp
Społeczność

prompt-injection-test

Test LLM-integrated applications against known prompt injection techniques, evasion methods, and attack intents using the Arcanum PI Taxonomy. Use when red-teaming AI apps, validating guardrails, or deepening LLM01 (Prompt Injection) assessments.

Instalacje / 1h
1
GitHub Stars
204
Aktualizacja
15 paź
owasp
Społeczność

code-review-security

Security-focused code review mapped to OWASP Top 10 and ASVS. Use when reviewing pull requests, auditing files or modules for vulnerabilities, or performing pre-merge security gate checks. Covers injection, auth, authorization, cryptography, data exposure, misconfiguration, and deserialization.

Instalacje / 1h
1
GitHub Stars
184
Aktualizacja
25 wrz