Einfachere und systematische Qualifizierung von KI-Anwendungen

Ein neues Software-Framework soll Unternehmen die Abnahme bzw. Auditierung von Anwendungen erleichtern, die auf Künstlicher Intelligenz (KI) basieren. Das Framework erarbeiten das Fraunhofer IPA und das Institut für Industrielle Fertigung und Fabrikbetrieb IFF der Universität Stuttgart gemeinsam im Forschungsprojekt »AIQualify« der Forschungsgemeinschaft Qualität.

KI-basierte Anwendungen sind auf dem Vormarsch und das insbesondere in der industriellen Bildverarbeitung und Qualitätskontrolle. Sie können den monotonen und zeitaufwendigen manuellen Prozess mittlerweile sehr zuverlässig automatisiert ausführen und bieten insbesondere mittelständischen Unternehmen einen Wettbewerbsvorteil. Das gilt vor allem dann, wenn die Prüfteile oder auch mögliche Defekte variabel sind und somit klassische regelbasierte Systeme an ihre Grenzen stoßen.

Was jedoch beim KI-Einsatz für Unsicherheit sorgt, sind die mangelnde Transparenz und Nachvollziehbarkeit dieser Anwendungen. Sie nutzen meist Verfahren des Maschinellen Lernens (ML). Die hierbei eingesetzten künstlichen neuronalen Netze lernen eigenständig aus großen Datenmengen. Wie genau aber ein Ergebnis und im schlechten Fall auch ein fehlerhaftes Ergebnis basierend auf diesem Lernprozess zustande gekommen ist, können selbst KI-Fachleute nur selten erklären. Und genau das sorgt für Vorsicht gegenüber der Technologie auf Unternehmensseite. Zudem kann es zu rechtlichen Problemen führen, wenn künftig im Rahmen des »EU AI Acts« mehr Regularien beim Einsatz von KI-Technologien eingehalten werden müssen.

KI-Audits vereinfachen und unterstützen

Um hier Abhilfe zu schaffen und insbesondere Unternehmen mit wenig Erfahrung im KI-Einsatz mehr Sicherheit zu geben, braucht es geeignete Standards und Entwicklungsmethoden. Mit ihnen soll es einfacher werden, die Eignung bzw. Qualifizierung einer ML-basierten KI-Anwendung auch ohne das bisher nötige Fachwissen nachzuweisen.

Genau dieses Ziel verfolgt das Forschungsprojekt »AIQualify« mithilfe eines entstehenden Software-Frameworks. Ein softwarebasiertes Assistenzsystem unterstützt Anwender dabei, Prüf- und Bewertungskriterien zu ermitteln und zu formulieren. Diese werden in einer sogenannten Argumentationsstruktur zentral gebündelt und anschließend dafür genutzt, die KI-Anwendung entlang dieser Kriterien abzunehmen. Grundlage hierfür ist eine Auditierungsplattform, die für jede Entwicklungsphase von ML-Komponenten der KI-Anwendung spezifische Auditierungsmodule bereitstellt. Die Plattform soll modular gestaltet sein, sodass Prüfmodule einfach integriert oder erweitert werden können. Neben der isolierten Qualifizierung kann das Framework auch iterativ als ein Element für den Entwicklungsprozess eines KI-Systems eingebunden werden.

Gesamten Entwicklungsprozess einbeziehen

Prof. Marco Huber, Leiter des Projekts, betont den Neuigkeitswert des entstehenden Ansatzes: »Wir berücksichtigen nicht nur die fertige Anwendung, sondern setzen viel früher an. Jede Entwicklungsphase einer KI-Anwendung erfordert Entscheidungen und sie alle können das Ergebnis beeinflussen. Deshalb betrachten wir unter anderem auch Aspekte wie die Datenauswahl, Vorverarbeitung, Gütekriterien und die Modellauswahl.«

Das Software-Framework ermöglicht somit drei Arten der Qualifizierung: 1. durch das Unternehmen selbst, 2. durch einen Kunden, Lieferanten oder Partner und schließlich 3. durch unabhängige Institutionen. Daraus ergeben sich drei Zielgruppen: Dienstleister für ML-basierte Qualitätsprüfung und -management, produzierende Unternehmen sowie schließlich Dienstleister für Konformitätsprüfungen und Auditierungen. Insbesondere kleine und mittlere Unternehmen (KMU) sollen dazu befähigt werden, fremdbezogene KI-Systeme zu qualifizieren, um so auch ohne eigene KI-Fachkräfte die Leistungsfähigkeit eines KI-Systems bewerten zu können.

Framework anhand von Beispielanwendungen evaluieren

Zwei Anwendungsfälle dienen dazu, das Software-Framework praktisch zu testen. Aus dem Forschungskontext der Projektpartner kommt die kamerabasierte Defekterkennung von Lochscheiben mithilfe von KI. Das Besondere dabei ist, dass neben echten Kamerabildern auch synthetische Bilder mit Defekten erzeugt und genutzt werden können. Dies erlaubt, unterschiedliche Schweregrade der Prüfaufgabe zu betrachten, um die Eignung der ML-Komponente bewerten zu können. Der zweite Anwendungsfall kommt direkt aus der industriellen Praxis. Ein Projektausschuss u. a. bestehend aus produzierenden Unternehmen wird diesen Anwendungsfall zum Projekt beisteuern und darüber hinaus auch das gesamte Projekt begleiten.

Projektübersicht AIQualify

Vollständiger Name: AIQualify – Framework zur Qualifizierung von KI-Systemen
in der industriellen Qualitätsprüfung

Laufzeit: 01. Mai 2023 bis 30. April 2025

Partner: Fraunhofer-Institut für Produktionstechnik und Automatisierung IPA;
Institut für Industrielle Fertigung und Fabrikbetrieb IFF der Universität Stuttgart

Assoziierte Mitglieder im Projektausschuss: 36ZERO Vision, Audi, Babtec
Informationssysteme, Bosch, EVT, Festool, Maddox AI, preML, scitis.io, sentin und Wickon Hightech. Zudem unterstützen die Allianz Industrie 4.0, der Bitkom und
die Universität Speyer das Projekt.

Förderhinweis: Das IGF-Vorhaben 22929 BG der FQS – Forschungsgemeinschaft Qualität e. V. wird über die AiF im Rahmen des Programms zur Förderung der
Industriellen Gemeinschaftsforschung (IGF) durch das Bundesministerium für Wirtschaft und Klimaschutz (BMWK) aufgrund eines Beschlusses des Deutschen Bundestages gefördert.

Wissenschaftliche Ansprechpartner:

Prof. Dr.-Ing. Marco Huber | Telefon +49 711 970-1960 | marco.huber@ipa.fraunhofer.de

Weitere Informationen:

http://www.aiqualify.de

http://www.ipa.fraunhofer.de/