Mit dieser Aufforderung zur Einreichung von Vorschlägen soll eine technologische Herausforderung organisiert werden, die sich auf Dialogsysteme zwischen Mensch und KI konzentriert, bei denen die Privatsphäre gewahrt bleibt. Ziel ist es, eine umfassende Testumgebung zu schaffen, in der fortschrittliche Dialogsysteme, insbesondere solche, die für den Einsatz im Verteidigungsbereich entwickelt wurden, rigoros evaluiert werden können. Mit einem indikativen Budget von 7.000.000 EUR unterstützt die Aufforderung einen einzigen finanzierten Vorschlag, um sicherzustellen, dass das ausgewählte Projekt gut ausgestattet ist, um die komplexen und vielschichtigen Herausforderungen der Mensch-KI-Interaktion in sicherheitssensiblen Bereichen anzugehen.

Das Hauptziel dieses Aufrufs besteht darin, einen robusten Rahmen für die Bewertung der Leistung von Dialogsystemen in Verteidigungssituationen zu schaffen. Diese Systeme sind trotz ihrer beeindruckenden Fähigkeiten dafür bekannt, dass sie verschiedene Fehler und Unstimmigkeiten aufweisen. Um ihre Zuverlässigkeit zu verbessern, werden im Rahmen dieser Herausforderung gemeinsame Datensätze, klar definierte Metriken und Bewertungsprotokolle erstellt. Dieser Ansatz wird nicht nur den Fortschritt vorantreiben, indem er verbesserungswürdige Bereiche aufzeigt, sondern auch das Vertrauen zwischen Systementwicklern, Nutzern und Geldgebern stärken, indem er objektive, datengestützte Einblicke in die Systemleistung bietet.

Zu den wichtigsten Aktivitäten im Rahmen dieser Aufforderung gehört die Einrichtung der notwendigen Infrastruktur für Tests und Bewertungen. Dazu gehört die Sammlung, Kommentierung und Pflege von Daten, die für tatsächliche Anwendungsfälle im Verteidigungsbereich repräsentativ sind, um sicherzustellen, dass die Evaluierungsumgebung den realen Bedingungen entspricht. Detaillierte Evaluierungspläne werden in enger Absprache mit den teilnehmenden Teams und repräsentativen Verteidigungsanwendern entwickelt und verfeinert. Diese Benutzer werden eine aktive Rolle beim Testen der Demonstratoren spielen und kritisches Feedback geben, das zur Gestaltung der endgültigen Bewertungsmetriken und -protokolle beitragen wird.

Die technologische Herausforderung zielt darauf ab, Wissen von verschiedenen Interessengruppen zu integrieren. Von den Vorschlägen wird erwartet, dass sie einen gründlichen Plan enthalten, der die Erstellung von Richtlinien für die Datenkommentierung, Qualitätsbewertungsverfahren und die Verteilung der kuratierten Datenbanken umfasst. Darüber hinaus beinhaltet die Herausforderung die Organisation von experimentellen Testkampagnen zur objektiven Messung der Systemleistung nach vordefinierten Protokollen. Die Herausforderung sieht außerdem die Organisation von Debriefing-Workshops vor, in denen die Erkenntnisse und Ergebnisse der Testkampagnen diskutiert und potenzielle Verbesserungen ermittelt werden sollen.

Über den technischen Schwerpunkt hinaus zielt die Aufforderung darauf ab, den Aufbau einer Gemeinschaft auf europäischer Verteidigungsebene zu fördern, indem die Zusammenarbeit zwischen Forschungsteams, Verteidigungsanwendern und Industrieakteuren unterstützt wird. Zu den erwarteten Ergebnissen gehören die Standardisierung von Testverfahren für Dialogsysteme, mehr Klarheit über die Systemleistung und die Entwicklung von vertrauenswürdigen KI-Systemen, die die operative Entscheidungsfindung unterstützen können. Durch die Schaffung einer zentralisierten Testumgebung und verlässlicher Messgrößen soll die Herausforderung außerdem weitere Innovationen und kontinuierliche Verbesserungen im Bereich der Mensch-KI-Dialogsysteme anregen.

Insgesamt stellt dieser Aufruf eine bedeutende Gelegenheit dar, den Stand der Technik bei Dialogsystemen für Verteidigungsanwendungen voranzutreiben. Sie zielt darauf ab, Lösungen zu entwickeln, die nicht nur die strengen Anforderungen an die Verwaltung von Verschlusssachen erfüllen, sondern auch ihre Antworten durch transparente und robuste Bewertungsmethoden rechtfertigen.

Eröffnung: 18.02.2025
Einsendeschluss(e): 16.10.2025