Nasze priorytety
Zgodność celów i bezpieczeństwo agentów
Jak utrzymać cele i zachowania systemów AI zgodne z intencjami ludzi, także gdy działają jako agenci korzystający z narzędzi i danych z zewnątrz.
Ocena i testowanie
Rzetelne pomiary tego, co modele potrafią: uczciwe porównania, czyste zbiory testowe i testy odporności na ataki adaptacyjne.
Odporność i kontrola
Obrona przed wstrzykiwaniem poleceń, zatruwaniem danych i przejmowaniem celów agentów oraz ograniczanie uprawnień narzędzi, z których korzystają.
Nadzór i zarządzanie ryzykiem
Dowody techniczne zamiast deklaracji: jak wykazać odporność i bezpieczeństwo systemu zgodnie z art. 15 AI Act i z aktem o cyberodporności (Cyber Resilience Act).
Plan działań
2026
- Bias Detection Under Article 4a of the EU AI Act: When Synthetic, Anonymised or Differentially Private Data Is Enough. Technical evidence options, a simulation study and a real-data replication
- Using Generative AI to Create Synthetic Medical Data for Patient Privacy Protection: A Review and an Empirical Evaluation of the Fidelity-Utility-Privacy Trade-offData package: Synthetic medical data and patient privacy benchmark (WHAS500, WDBC, FLCHAIN)
Zapowiedzi na 2027
Tematy raportów technicznych i badań, które planujemy opublikować do końca 2027 roku. Ukażą się w języku angielskim.
- Agent hijacking
- Fair comparisons
- Benchmark contamination
- Multi-agent risks
- Prompt injection
- Tool sandboxing
- Robustness evidence
- i wiele innych
Artykuły z tego obszaru
Artykuły na ten temat znajdziesz w dziale Research & Insights.