Künstliche Intelligenz ist in kurzer Zeit von einer experimentellen Technik zu einer geschäftskritischen Funktion geworden. In nur drei Jahren haben 78 % der Organisationen KI für mindestens einen Geschäftsprozess eingeführt, und 84 % der CEOs planen, die Investitionen im Jahr 2025 zu erhöhen. Vor diesem Hintergrund hat die Europäische Union das weltweit erste umfassende Regelwerk für KI eingeführt – den EU AI Act. 

Die Verordnung ist ein entscheidender Schritt, um Innovation und Verantwortung auszubalancieren, und schafft die rechtliche Grundlage dafür, wie KI-Systeme entwickelt, auf den Markt gebracht und gesteuert werden. Sie stärkt direkt das Vertrauen in Organisationen und die verantwortungsvolle Nutzung. Für Unternehmen ist dies zugleich Herausforderung und Chance: Wer sich jetzt ausrichtet, kann Compliance in einen Wettbewerbsvorteil verwandeln; wer das versäumt, riskiert Sanktionen bis zu 35 Millionen Euro oder 7 % des weltweiten Umsatzes. 

Cyera_Cloud_Webinar_YT

 

What the EU AI Act is and why it matters 

 The EU AI Act regulates how AI systems are designed, placed on the market, and used in the EU, with extraterritorial reach wherever their outputs are used in the Union. It sits alongside GDPR: GDPR governs lawful personal data processing; the AI Act governs the AI system lifecycle — data quality, documentation, human oversight, robustness, transparency, and post-market monitoring. In practice, most organisations will need to demonstrate compliance with both whenever AI processes personal data. 

‘The EU AI Act requires organisations to ensure their staff have a sufficient level of AI literacy, taking into account their technical knowledge, experience, and the context in which AI is used. This means employees need to understand what AI is, how the specific systems they use work, the opportunities and risks involved, and their legal and ethical implications,’ says Integrity360 CTO Richard Ford. 

To operationalise this, deliver role-based AI literacy programmes to all stakeholders, ensuring clear understanding of ethical, legal, and operational risks. 

The AI Act entered into force on 1 August 2024. Prohibitions on unacceptable risk uses began on 2 February 2025, with broader obligations phasing in from 2 August 2026 and some high-risk requirements extending toward 2027. Use the current window to build inventories, controls, testing, and evidence so you are audit ready as enforcement tightens. 

 

Unacceptable and high risk: what is in scope? 

Unacceptable risk (prohibited outright)

 Banned applications include: 
• Cognitive behavioural manipulation of people or specific vulnerable groups, for example a voice-activated toy that encourages dangerous behaviour in children 
• Social scoring, classifying people based on behaviour, socio-economic status, or personal characteristics 
• Biometric identification and categorisation of people 
• Real-time and remote biometric identification systems in public spaces, such as facial recognition 

Law-enforcement carve-outs are narrow. Real-time remote biometric identification can be permitted only for a limited set of serious cases. Post remote biometric identification can be used to prosecute serious crimes and only with court approval. Digital Strategy 

An example of this would be where an AI monitors live signals like faces, voices, messages and biometrics to infer staff emotions during work, raising significant privacy, accuracy and bias concerns. 

High risk (strictly regulated) 

High-risk systems are those that could negatively affect safety or fundamental rights. They fall into two buckets: 

  • AI used in products covered by EU product-safety law, for example toys, aviation, automotive, medical devices, and lifts 
  • AI used in specific areas that must be registered in an EU database: management and operation of critical infrastructure; education and vocational training; employment, worker management and access to self-employment; access to essential private and public services and benefits; law enforcement; migration, asylum and border control management; and assistance in legal interpretation and application of the law 

All high-risk systems require lifecycle controls and need to be assessed before market entry and throughout their life. Individuals will be able to lodge complaints with national authorities. 

The other risk categories are: 

limited risk: AI that triggers basic transparency duties — e.g. tell users they’re interacting with AI and label AI-generated or manipulated content (such as chatbots and deepfakes) — without heavier conformity or registration obligations. 

minimal risk: AI with negligible impact — like spam filters or simple recommenders — faces no additional legal duties under the Act, though providers are encouraged to follow voluntary codes of conduct and good practice. 

 AI Risk Management_Webinar_Zoom Waiting PageYouTube

  

Was ist der EU AI Act und warum ist er wichtig? 

Der EU AI Act ist ein entscheidener Schritt in zu einem Gleichgewicht zwischen Innovation und Verantwortlichkeit und schafft eine rechtliche Grundlage  für die Entwicklung, den Einsatz und die Regulierung von KI-Systemen, wodurch das Vertrauen in Organisationen und eine verantwortungsvolle Nutzung direkt gestützt werden. Er ergänzt die DSGVO: der AI Act regelt den gesamten Lebenszyklus von KI-Systemen – von der Datenqualität über Dokumentation und menschliche Kontrolle bis hin zu Robustheit, Transparenz und der Überwachung nach dem Inverkehrbringen. In der Praxis müssen die meisten Organisationen meist beide Regelwerke nachweisen, sobald KI personenbezogene Daten verarbeitet. 

„Der EU AI Act verlangt von Organisationen, sicherzustellen, dass ihre Mitarbeitenden über ein ausreichendes Maß an KI-Kompetenz verfügen, abhängig von Technikkenntnissen, Erfahrung und Nutzungskontext. Mitarbeitende müssen verstehen, was KI ist, wie die eingesetzten Systeme funktionieren, welche Chancen und Risiken bestehen und welche rechtlichen sowie ethischen Implikationen sich ergeben“, sagt Richard Ford, CTO von Integrity360. 

Um das operativ umzusetzen, sollten Organisationen rollenbasierte KI-Schulungsprogramme für alle Stakeholder anbieten, die ein klares Verständnis der ethischen, rechtlichen und operativen Risiken sicherstellen. 

Der AI Act ist am 1. August 2024 in Kraft getreten.  

  • Verbote für Anwendungen mit „unvertretbarem Risiko“ gelten seit dem 2. Februar 2025 
  • breitere Pflichten greifen ab dem 2. August 2026 ein 
  • einige Hochrisiko-Anforderungen laufen bis 2027 

Nutzen Sie das aktuelle Zeitfenster, um Inventare, Kontrollen, Tests und Nachweise aufzubauen, damit Sie auditbereit sind, wenn die Durchsetzung strenger wird. 

Unvertretbares und hohes Risiko: was fällt darunter? 

Unvertretbares Risiko (vollständig verboten) 
Verbotene Anwendungen umfassen: 

  •  
    Kognitiv-verhaltensbezogene Manipulation von Personen oder besonders schutzbedürftigen Gruppen, z. B. ein sprachgesteuertes Spielzeug, das Kinder zu gefährlichem Verhalten anregt 
     
  • Soziale Bewertung (Social Scoring), also die Einstufung von Menschen nach Verhalten, sozioökonomischem Status oder persönlichen Merkmalen 
  •  
    Biometrische Identifizierung und Kategorisierung von Personen 
     
  • Biometrische Fernidentifizierung in Echtzeit in öffentlichen Räumen, etwa Gesichtserkennung 

Ausnahmen für die Strafverfolgung sind eng gefasst. Echtzeit-Fernidentifizierung ist nur in wenigen schweren Fällen zulässig. Nachträgliche Fernidentifizierung darf zur Verfolgung schwerer Straftaten eingesetzt werden, ausschließlich mit gerichtlicher Genehmigung. 

 

Digitale Strategie 

Ein Beispiel: Echtzeit-Emotionserkennung bei Beschäftigten, bei der KI Gesichter, Stimmen, Nachrichten und biometrische Daten überwacht, um Emotionen während der Arbeit abzuleiten – mit erheblichen Bedenken hinsichtlich Datenschutz, Genauigkeit und Bias. 

 

Hohes Risiko (streng reguliert) 

Als Hochrisiko gelten Systeme, die Sicherheit oder Grundrechte negativ beeinflussen können. Zwei Gruppen: 

  • KI in Produkten unter EU-Produktsicherheitsrecht, z. B. Spielzeug, Luftfahrt, Automobil, Medizinprodukte, Aufzüge 
  • KI in spezifischen Bereichen, die in einer EU-Datenbank registriert werden müssen: 
  • Betrieb kritischer Infrastrukturen 
  • Bildung und berufliche Weiterbildung 
  • Beschäftigung, Arbeitssteuerung und Zugang zur Selbstständigkeit 
  • Zugang zu wesentlichen privaten und öffentlichen Diensten und Leistungen 
  • Strafverfolgung 
  • Migration, Asyl und Grenzkontrollen 
  • Unterstützung bei Rechtsauslegung und Rechtsanwendung 

Alle Hochrisiko-Systeme benötigen Lebenszyklus-Kontrollen und werden vor dem Inverkehrbringen und laufend bewertet. Einzelpersonen können Beschwerden bei den nationalen Behörden einreichen. 

 

Weitere Risikokategorien: 

Begrenztes Risiko: KI mit grundlegenden Transparenzpflichten, z. B. Nutzer darüber informieren, dass sie mit KI interagieren, sowie Kennzeichnung von KI-generierten oder manipulierten Inhalten (z. B. Chatbots, Deepfakes), ohne schwerere Konformitäts- oder Registrierungspflichten. 

Minimales Risiko: KI mit vernachlässigbarer Auswirkung, etwa Spamfilter oder einfache Empfehlungssysteme, unterliegt keinen zusätzlichen gesetzlichen Pflichten nach der Verordnung, auch wenn Anbieter angehalten sind, freiwillige Verhaltenskodizes und Best Practices zu befolgen. 

 

Vergleich mit globalen Ansätzen 

Weltweit setzt die EU den Maßstab, während andere Rechtsräume eher auf Interoperabilität als strikte Gleichwertigkeit hinarbeiten. Das Vereinigte Königreich verfolgt derzeit einen prinzipienbasierten, behördengeleiteten Ansatz. Die USA bleiben ein Mosaik aus bundesweiten Leitlinien, Behördenmaßnahmen und einzelstaatlichen Gesetzen. Für multinationale Unternehmen, die Daten von EU-Bürgern verarbeiten, ist die Anpassung an die im AI-Act festgelegten Kontrollen der einfachste Weg, um weiterhin auf dem neuesten Stand zu bleiben. 

 

Ihre Organisation auf Compliance vorbereiten 

Vorbereitung beginnt mit Transparenz. Identifizieren Sie alle KI-Einsätze in den Bereichen, kartieren Sie Datenflüsse und bewerten Sie die Risiko-Exposure. Starke Daten-Governance-Praktiken, einschließlich Datenklassifizierung, Lebenszyklus-Tracking und Third-Party-Assurance, sind unerlässlich. 

Ebenso wichtig ist die Fähigkeit, Erklärbarkeit und Rechenschaftspflicht nachzuweisen. Das erfordert Investitionen in KI-Observability, die Modellleistung überwacht, Bias erkennt und Entscheidungsprozesse protokolliert. Diese Maßnahmen unterstützen die Compliance und fördern Innovation, weil Teams besser verstehen, wie und warum sich KI-Systeme verhalten. 

Verankern Sie Compliance in der übergreifenden Sicherheitsstrategie. Identitätsmanagement, Zugriffskontrolle und Lieferketten-Sicherheit schützen die Integrität der KI-Operationen. Partnerschaften mit Expertinnen und Experten helfen, Reifegrad-Assessments durchzuführen und Governance-Modelle an ein dynamisches Regulierungsumfeld anzupassen. 

 

Die Rolle von Vertrauen, Data Governance und Identitätssicherheit 

Vertrauen ist die Lizenz zum Skalieren. Die Verordnung verankert Vertrauen durch Transparenz, Aufsicht und Marktüberwachung. Konkret heißt das: 

  •  
    Data Governance: rechtmäßige Datenquellen und Lizenzen, Qualitätsregeln, Bias-Kontrollen, Datenherkunft (Lineage) von der Aufnahme bis zur Inferenz sowie Aufbewahrungsrichtlinien gemäß Zweck 
  •  
    Identität und Zugriff: starke Authentifizierung, Least-Privilege-Zugriffe auf Modelle, Datensätze und Pipelines sowie manipulationssichere Audit-Logs 
  •  
    Menschliche Kontrolle: klare Eingriffspunkte, Eskalationspfade und Befugnis, Modelle bei überschrittenen Risiko-Schwellen anzuhalten oder zurückzurollen 

 

 

CyberfireMDR GER

 

Wo ISO/IEC 42001 hineinpasst 

ISO/IEC 42001 ist der Managementsystem-Standard für KI. Er übersetzt Richtlinien in Praxis, indem Geltungsbereich, Rollen und Kontrollen definiert werden – ähnlich wie ISO 27001 für Informationssicherheit. ISO 42001 bietet einen Rahmen zur Steuerung von KI-Risiken und hilft Organisationen, die Anforderungen des EU AI Act zu erfüllen, indem die notwendige Infrastruktur für Dokumentation, Risikobewertung und Transparenz geschaffen wird. 

Praktisch liefert ein 42001-konformes KI-Managementsystem: ein Inventar der KI-Nutzungen nach Risiko, dokumentierte Datenlineage und Qualitätskontrollen, Model Cards und Release-Gates, Pläne für menschliche Aufsicht, Post-Market-Monitoring sowie prüfbare Register zu Vorfällen und Korrekturmaßnahmen. 

 

Wettbewerbsvorteil sichern 

Auch wenn Compliance zunächst wie ein Kostenfaktor erscheint, verschafft Vorbereitung auf den EU AI Act einen strategischen Vorteil. Unternehmen, die verantwortungsvolle KI-Praxis nachweisen können, besitzen einen klaren Differenzierungsfaktor – besonders in Branchen, in denen Transparenz und ethische Standards entscheidend sind. 

Eine Verantwortungskultur senkt nicht nur das Sanktionsrisiko, sondern treibt auch Innovation voran. Adaptive Governance, Echtzeit-Observability und kontinuierliche Verbesserungszyklen ermöglichen es, KI sicher und selbstbewusst zu skalieren. 

In einer Zeit, in der KI die Wettbewerbsfähigkeit prägt, verschaffen sich die vorbereiteten Unternehmen einen Vorsprung. Der EU Data and AI Act ist nicht nur eine rechtliche Pflicht; er ist ein Rahmen für Vertrauen, Innovation und die verantwortungsvolle Weiterentwicklung der Künstlichen Intelligenz. 

 

IR GER CTA

 

Wie Integrity360 helfen kann 

 Bewertung der KI-Bereitschaft 
Wir vergleichen Ihre aktuelle KI-Infrastruktur mit dem KI-Gesetz, erfassen Risiken und erstellen einen priorisierten Plan zur Behebung von Mängeln mit klaren Zuständigkeiten. 

Governance, Risk und Compliance 
Wir entwerfen und implementieren ein KI-Risikomanagement-Framework, das auf Ihre bestehenden Sicherheits-, Datenschutz- und SDLC-Prozesse abgestimmt ist. Dazu gehören Richtlinien, Kontrollen, Nachweispläne und Playbooks. 

Data Governance und Identitätssicherheit 
Wir klassifizieren Daten, definieren Herkunft und Aufbewahrung und sichern den Zugriff auf Modelle, Datensätze, Tools und Pipelines mit robusten Identitätskontrollen. 

Sicherheit durch Dritte und Lieferkette 
Wir katalogisieren Anbieter und Modelle, verankern vertragsrechtliche Klauseln im Einklang mit der Verordnung und etablieren eine laufende Assurance. 

Wenn Ihre Organisation Unterstützung bei der Abwehr von KI-bedingten Bedrohungen und der Einhaltung des EU AI Act benötigt, kontaktieren Sie die Expertinnen und Experten von Integrity360.