6 02/2025 Künstliche Intelligenz Text & Bild: NewTec GmbH Buchenweg 3 89284 Pfaffenhofen a. d. Roth KI-Technologien entwickeln sich mit großer Geschwindigkeit und ihr Einsatz hat in den letzten Jahren deutlich zugenommen – immer mehr Anwendung tragen das Label KI. Oft sind damit Erwartungen an neue Möglichkeiten zur Verbesserung der Funktionalität und Leistung technischer Systeme verknüpft. Auch bei Steuersystemen verspricht eine Integration von KI-Technologie neue Möglichkeiten, wenn es z. B. darum geht, Verfügbarkeit und Performance von Maschinen zu erhöhen. Allerdings fühlen sich Hersteller und Entwickler häufig wie auf dünnem Eis. Einerseits gibt es einen gewissen Marktdruck zur Implementierung von KI-Technologien, andererseits soll KI auch in Anwendungen integriert werden, wo ein Versagen der Technologie mit Risiken verbunden ist – nicht nur Risiken in Hinblick auf mögliche Maschinen- oder Umweltschäden, sondern auch Gesundheitsschäden von Menschen. Zudem gilt es, regulatorische Anforderungen zu berücksichtigen, allen voran die des EU AI Act. Die Gesetzeslage Die Verordnung (EU) 2024/1689 über künstliche Intelligenz (EU AI Act) stellt umfangreiche Anforderungen an die Entwicklung, Integration und Anwendung von KI-Technologie. Dabei verfolgt sie einen risikobasierten Ansatz und teilt KI-Produkte in vier Risikoklassen ein: „minimales“, „begrenztes“, „hohes“ und „unannehmbares“ Risiko. Bei Maschinen und Geräten gilt es besonders die Klasse der Hochrisiko-Systeme zu beachten, bei deren Entwicklung ab August 2027 verschiedene Anforderungen umgesetzt werden müssen. Zu den Hochrisiko-Systemen zählen beispielsweise KI-Produkte oder Produkte mit sicherheitsrelevanten KI-Komponenten aus den Bereichen Medizintechnologie, Aufzüge, Fahrzeuge, Flugzeuge oder kritische Infrastrukturen. Diese müssen gemäß Artikel 15 des EU AI Act so konzipiert sein, dass sie ein angemessenes Genauigkeitsniveau erreichen. Darüber hinaus müssen die Genauigkeitsniveaus und die Genauigkeitsmetriken in der begleitenden Dokumentation angegeben werden. Was ist die angemessene Genauigkeit? Das Genauigkeitsniveau von KI-Systemen ist im Hinblick auf die Funktionssicherheit (Safety, FuSi) eines sicherheitsgerichteten Systems von zentraler Bedeutung. Aber wie wird das Genauigkeitsniveau von KI-Systemen ermittelt? Artikel 9 des EU AI Act schreibt vor, dass für risikoreiche Anwendungen von KI-Technologie ein Risikomanagementsystem vorhanden sein muss. Typischerweise umfasst ein solches Risikomanagementsystem die potenziellen Gefahren eines Systems und bewertet deren Risiko durch Kombination verschiedener Parameter, insbesondere Eintrittswahrscheinlichkeit und Art bzw. Schweregrad unerwünschter Folgen bzw. Schadenswirkungen. Im Rahmen des Risikomanagements erfolgt eine Ermittlung eines angemessenen Genauigkeitsniveaus per Systemanalyse, indem funktionale Unzulänglichkeiten der KI-Komponente und damit verbundene Gefahren identifiziert und sodann mit der Eintrittswahrscheinlichkeit und dem Schweregrad unerwünschter Folgen in Beziehung gesetzt werden. Die Besonderheit von KI-Technologien Bei KI-Technologien muss allerdings eine Besonderheit beachtet werden: Während klassische Systeme auf deterministischen Prozessen basieren, die eine eindeutige Bestimmung der Genauigkeit ermöglichen, wird die Leistung von KI-Technologien von einer Reihe von Zufallsvariablen bestimmt – mit entsprechender Varianz. Für viele KI-Technologien lassen sich Aussagen über ihre Genauigkeit daher nur im Sinne von statistischen Schätzungen machen. Um zu ermitteln, ob eine KI-Technologie das erforderliche Genauigkeitsniveau erreicht, genügt es daher nicht, die Zahl der richtigen (genauen) Ergebnisse mit der Zahl der ungenauen Ergebnisse ins Verhältnis zu setzen. Vielmehr ist es nötig, die Wahrscheinlichkeit zu quantifizieren, mit der die KI bei gegebener Varianz die erforderliche Genauigkeit erreicht (die „Konfidenz“). Diese muss in Bezug zu dem Risiko gesetzt werden, das mit einer potenziellen funktionalen Unzulänglichkeit der KI-Technologie verbunden ist. Je höher das Risiko ist, desto größer muss die Wahrscheinlichkeit sein, dass die angezielte Genauigkeit erreicht wird. Die folgende Tabelle soll dies beispielhaft verdeutlichen. Bei einem mittleren Gefährdungsrisiko (das sich aus einer funktionalen Unzulänglichkeit der KITechnologie ergibt), benötigt die KI-Technologie laut Beispiel-Tabelle eine 95-prozentige Konfidenz, dass der Genauigkeitswert – und damit das angemessene Genauigkeitsniveau – erreicht wurde. Die Konfidenz lässt sich dabei durch statistische Methoden ermitteln, die zu beschreiben den Rahmen dieses Artikels sprengen würde. Mehr Informationen dazu finden sich aber in dem Whitepaper „Künstliche Intelligenz und Sicherheit“, das unter whitepaper.newtec.de/ki-und- safety-whitepaper heruntergeladen werden kann. KI-Safety-Check von NewTec Als Spezialist für Safety und Security unterstützt NewTec Hersteller bei der KI-Integration in sicherheitsgerichtete Systeme und bei der Einhaltung aller regulatorischen Anforderungen, insbesondere des EU AI Act. Mit einem KI-Safety-Check ermitteln unsere Experten beispielsweise, ob eine KI-Technologie das dem Gefährdungslevel entsprechende erforderliche Genauigkeitsniveau erreicht. Der KI-Safety-Check wird vom TÜV Rheinland unterstützt und beinhaltet u. a. die Identifizierung möglicher kritischer KI-Ausfälle, die Ermittlung der nötigen Genauigkeit und Performance zur Verhinderung von Ausfällen sowie eine Analyse der Risiken, die mit einem möglichen Ausfall verbunden sind. NewTec unterstützt Hersteller bei Ermittlung der „angemessenen Genauigkeit“ von KI-Technologien KI in sicherheitsgerichteten Systemen Anzeige Halle 5 / Stand 170
RkJQdWJsaXNoZXIy NzYxOTg=