Red teaming op AI-systemen is adversarial testing: actief proberen het systeem te breken voordat misbruikers dat doen. Voor high-risk en GPAI verplicht onder AI Act, voor andere systemen sterk aanbevolen.

Wat red teaming wel en niet is

Wel: gestructureerde adversarial probing (prompt injection, jailbreaks, training-data-extraction-attempts, refusal-bypass). Niet: penetration testing van infrastructuur, dat is een aparte exercitie.

Methodieken

OWASP LLM Top 10 als checklist. AI Verify framework van Singapore voor structured assessment. NIST AI RMF voor governance-context. Per use-case een test-suite die past bij de threat model.

Eigen team versus extern

Initieel red teaming meestal extern: gespecialiseerd security-team met LLM-expertise. Lopend daarna: intern team dat regular tests draait. Voor frontier-AI labs gemengd: intern dagelijks plus extern per release.

Frequentie en triggers

Per release een baseline red teaming, plus na elke prompt-update of model-version-bump. Continu monitoring op nieuwe attack-patterns in de wild en red-teamen op die specifieke vectoren. Niet eens-per-jaar-exercitie.

Verwant: Freelance AI consultant inhuren, AI Act robustness.