Segurança de IA e de LLM
Injeção de prompt, segurança de agente e de MCP, e o OWASP Top 10 para aplicação com LLM.
Área nova e cheia de material ruim. Esta lista passou por filtro de curso de marketing disfarçado, que aqui é a maioria — o que sobrou tem conteúdo técnico verificável.
Esta página usa uma quinta coluna, Nota, que os arquivos 00–07 não têm. É
deliberado: são áreas de nicho em que o nome do item não diz o que ele é. O
formato segue o de labs/, que já usa nota.
| Curso / material | Fonte | Lang | Tags | Nota |
|---|---|---|---|---|
| OWASP Top 10 para Aplicações de LLM e IA Generativa (2025) — tradução oficial | genai.owasp.org | PT | grátis | O documento de referência da área em português, com os dez riscos e as mitigações na versão 2025 |
| Gandalf — desafio de injeção de prompt | play.lakera.ai | EN | grátis lab | Oito níveis em que você tem de extrair a senha de um LLM com defesas cada vez mais duras — a porta de entrada mais rápida da área |
| Web LLM Attacks — módulo e labs | portswigger.net | EN | grátis lab | Injeção de prompt indireta, abuso de API exposta a LLM e envenenamento de fonte de dados, com labs que rodam no navegador |
| Fascículo Inteligência Artificial (Cartilha de Segurança) | cartilha.cert.br | PT | grátis | Material oficial em português sobre uso seguro de IA e LLM: o que não colar no chat, deepfake e golpe assistido por IA |
| Adversarial Machine Learning — taxonomia e terminologia (NIST AI 100-2 E2025) | csrc.nist.gov | EN | grátis | A referência que dá nome às coisas: envenenamento de dados, evasão, extração de modelo e ataques específicos de IA generativa |
| Agentic AI — Threats and Mitigations | genai.owasp.org | EN | grátis | Modelagem de ameaça de agente autônomo: uso indevido de ferramenta, memória envenenada, identidade e cadeia de delegação |
| AI Goat — CTF local de LLM vulnerável | github.com | EN | grátis lab | Série de desafios de LLM vulnerável que roda inteira na sua máquina, sem cadastro e sem conta de nuvem |
| Damn Vulnerable MCP Server (labs de MCP) | github.com | EN | grátis lab | Servidor MCP propositalmente vulnerável para praticar envenenamento de ferramenta, vazamento de contexto e escalada via agente |
| garak — scanner de vulnerabilidade de LLM | github.com | EN | grátis lab | Roda centenas de sondas de jailbreak, vazamento de prompt e alucinação contra um modelo e devolve relatório — o nmap dos LLMs |
| MITRE ATLAS — base de conhecimento de ataques a sistemas de IA | atlas.mitre.org | EN | grátis | O ATT&CK da IA: táticas, técnicas e estudos de caso reais de ataque a modelo em produção |
| Prompt Airlines — CTF de chatbot de atendimento | promptairlines.com | EN | grátis lab | CTF em que o objetivo é manipular o chatbot de uma companhia aérea fictícia até conseguir uma passagem de graça |