Das Projekt Agile-AI, das vom 1. November 2019 bis zum 30. November 2022 unter dem Förderkennzeichen 01 IS 19059A finanziert und von der Bauhaus-Universität Weimar durchgeführt wurde, hatte zum Ziel, agile Softwareentwicklungspraktiken auf die Entwicklung von Systemen der Künstlichen Intelligenz zu übertragen, wobei der Schwerpunkt auf dem iterativen Entwurf und der Ausführung von KI-Experimenten lag. Das Projekt wurde in drei miteinander verbundene Teilprojekte unterteilt: die Experiment Specification Language (ESL), die Experiment Execution Platform (EEP) und die Experiment Retrieval Engine (ERE). Dieser Artikel konzentriert sich auf die technischen Errungenschaften des ERE-Teilprojekts und fasst gleichzeitig den kollaborativen Rahmen zusammen, der diese Arbeit ermöglichte.
Der wichtigste technische Beitrag von ERE war der Entwurf und die Implementierung einer Suchmaschine, die sowohl historische als auch laufende KI-Experimentierreihen durchsuchen, filtern und analysieren kann. Die Engine enthält eine spezielle Abfragesprache, die es Forschern ermöglicht, Suchkriterien auf der Grundlage von Eingabedatenmerkmalen, Experiment-Metadaten und der Qualität der erzeugten Ergebnisse festzulegen. Um eine effiziente Suche zu unterstützen, hat das Team neuartige Indexstrukturen entwickelt, die auf die hochdimensionale und heterogene Natur von Experimentartefakten zugeschnitten sind. Außerdem wurde ein Evaluierungsrahmen eingeführt, der eine systematische Bewertung der Abfrageeffektivität und der Auswirkungen verschiedener Indizierungsstrategien ermöglicht. Obwohl in dem Bericht keine expliziten Leistungszahlen veröffentlicht werden, wird darauf hingewiesen, dass die Engine mit einer repräsentativen Reihe von Experimentiersammlungen verglichen wurde und dabei deutliche Verbesserungen bei der Abrufgeschwindigkeit und der Relevanz im Vergleich zu generischen Suchsystemen zeigte. Bei der Bewertung wurde auch die Fähigkeit der Engine hervorgehoben, inkrementelle Aktualisierungen zu verarbeiten, eine wichtige Voraussetzung für kontinuierliche Experiment-Pipelines.
Neben der Abfrage-Engine selbst hat das ERE-Teilprojekt eine Reihe von wiederverwendbaren Komponenten entwickelt, die sich in das breitere Agile-AI-Ökosystem integrieren lassen. Diese Komponenten stellen APIs für die Aufnahme von Experiment-Metadaten, die Bewertung der Ergebnisqualität und die Ausführung von Abfragen in Echtzeit zur Verfügung und ermöglichen so eine nahtlose Interaktion mit den Modulen ESL und EEP. Der modulare Aufbau stellt sicher, dass die Retrieval Engine von anderen Forschungsgruppen oder Industriepartnern, die an der Verwaltung und Reproduzierbarkeit von Experimenten interessiert sind, unabhängig übernommen werden kann.
Die kollaborative Dimension des Projekts wurde von der Bauhaus-Universität Weimar verankert, die als Hauptuntersuchungsleiter und Projektkoordinator fungierte. Das Projekt war Teil eines größeren Konsortiums, dem mehrere Forschungseinrichtungen und Industriepartner angehörten, wobei in diesem Bericht nicht alle Mitarbeiter aufgeführt werden. Die Rollen innerhalb des Konsortiums waren auf die drei Teilprojekte verteilt: Das ESL-Team konzentrierte sich auf das Sprachdesign und den Compilerbau, das EEP-Team entwickelte verteilte Ausführungs- und Skalierungsmechanismen für Cluster-Umgebungen, und das ERE-Team konzentrierte sich auf Abfragealgorithmen und die Bewertung. Der Zeitplan des Projekts war in iterative Sprints gegliedert, die agile Praktiken widerspiegeln, mit regelmäßigen teamübergreifenden Überprüfungen, um die Abstimmung und den Wissenstransfer sicherzustellen.
Das Projekt wurde von der Deutschen Forschungsgemeinschaft finanziert, wie aus dem Förderkennzeichen hervorgeht. Die Zuweisung deckte Personalkosten, Rechenressourcen und Verbreitungsaktivitäten, einschließlich Konferenzpräsentationen und Zeitschriftenpublikationen. Die Ergebnisse des Projekts sollen als Open Source verfügbar sein, um die Reproduzierbarkeit zu fördern und eine Community of Practice im Bereich der agilen KI-Entwicklung zu unterstützen. Durch die Bereitstellung einer spezialisierten Suchmaschine und deren Integration in ein kohärentes agiles Framework hat die Agile-AI-Initiative den Stand der Technik bei der Verwaltung von Experimenten vorangetrieben und eine Grundlage für die zukünftige Forschung im Bereich reproduzierbarer KI-Systeme geschaffen.