Unsere Prioritäten
Zielausrichtung (Alignment) und Agentensicherheit
Wie sich Ziele und Verhalten von KI-Systemen im Einklang mit menschlichen Absichten halten lassen, auch wenn sie als Agenten handeln, die Werkzeuge und externe Daten nutzen.
Evaluation und Testen
Ehrliche Messung dessen, was Modelle können: faire Vergleiche, saubere Benchmarks und Robustheitstests gegen adaptive Angriffe.
Robustheit und Kontrolle
Abwehr von Prompt-Injection, Data-Poisoning und dem Kapern von Agentenzielen sowie minimale Berechtigungen für die Werkzeuge, die Agenten nutzen.
Aufsicht und Risikomanagement
Technische Nachweise statt Behauptungen: wie sich Robustheit und Sicherheit eines Systems gemäß Artikel 15 des EU AI Act und dem Cyber Resilience Act belegen lassen.
Aktionsplan
2026
- Bias Detection Under Article 4a of the EU AI Act: When Synthetic, Anonymised or Differentially Private Data Is Enough. Technical evidence options, a simulation study and a real-data replication
- Using Generative AI to Create Synthetic Medical Data for Patient Privacy Protection: A Review and an Empirical Evaluation of the Fidelity-Utility-Privacy Trade-offData package: Synthetic medical data and patient privacy benchmark (WHAS500, WDBC, FLCHAIN)
Geplant für 2027
Themen der technischen Berichte und Studien, die wir bis Ende 2027 veröffentlichen wollen. Sie erscheinen auf Englisch.
- Agent hijacking
- Fair comparisons
- Benchmark contamination
- Multi-agent risks
- Prompt injection
- Tool sandboxing
- Robustness evidence
- und viele mehr
Artikel aus diesem Bereich
Artikel zu diesem Thema finden Sie in der Rubrik Research & Insights.