EU-Verordnung über künstliche Intelligenz (AI Act): Sind Bildungseinrichtungen bereit, ihre eigene Nutzung von KI zu hinterfragen?

Der AI Act wird häufig als neue Geschäftschance für Bildungseinrichtungen dargestellt, und in gewisser Weise stimmt das auch: Die Unternehmen werden ihre Kompetenzen im Umgang mit künstlicher Intelligenz ausbauen müssen. Für Unternehmen aus dem Bildungssektor beginnt das Thema jedoch vielleicht an anderer Stelle.

Bevor man einen neuen Kurs zu den Themen „verantwortungsvoller Einsatz der KI“, „AI Act“ oder „KI-Kompetenz“ konzipiert, sollte man zunächst einen Blick auf den eigenen Einsatz von KI werfen: Wer im Unternehmen nutzt KI? Welche Inhalte werden damit erstellt? Mit welchen Daten? Wie sieht die menschliche Kontrolle der Ergebnisse aus? Und wie wirkt sich dies auf Lernende, Kunden und Referenten aus?

Denn der AI Act bringt nicht nur neue Marktchancen mit sich, sondern zwingt Bildungseinrichtungen vor allem dazu, ihre eigene Nutzung von KI zu professionalisieren.

Der AI Act betrifft bei weitem nicht nur die Tech-Giganten.

Wenn von künstlicher Intelligenz und europäischer Regulierung die Rede ist, denkt man schnell an die großen Akteure der Digitalbranche, an Softwarehersteller, Plattformen, generative Modelle und an Ingenieure in weißen Kitteln, die vor Codezeilen sitzen.

Der AI Act betrifft jedoch nicht nur diejenigen, die Systeme der künstlichen Intelligenz entwickeln, sondern auch Bildungseinrichtungen, da sie Tools mit integrierter KI zur Erstellung von Inhalten, als Unterstützung bei der didaktischen Gestaltung, zur Korrektur, Datenanalyse, als Chatbot, zur Automatisierung von Verwaltungsaufgaben, als Scoring-Tool, zur Übersetzung und Zusammenfassung von Dokumenten usw. einsetzen.

Die EU-Verordnung über künstliche Intelligenz trat am 1. August 2024 in Kraft und wird schrittweise umgesetzt; vollumfänglich soll sie – vorbehaltlich bestimmter Ausnahmen – ab dem 2. August 2026 gelten. Einige Bestimmungen gelten bereits seit dem 2. Februar 2025, insbesondere diejenigen zur KI-Kompetenz.

An dieser Stelle wird das Thema für Anbieter aus dem Bildungssektor interessant. Denn die Frage lautet nicht nur: „Kann ich meinen Kunden eine KI-Schulung verkaufen?“, sondern vielmehr: Nutzt mein eigenes Unternehmen KI auf kontrollierte, kohärente und verantwortungsvolle Weise?

Die Antwort auf diese Frage ist manchmal nicht so einfach. Aber mal ganz unter uns: Ich bin mir sicher, dass Sie im Fortbildungsbereich bereits KI-Tools eingesetzt haben – vielleicht sogar täglich und ganz unabhängig davon, ob Sie als Referent, Didaktikexperte, in einer Leitungsfunktion oder im Vertrieb tätig sind.

Der Bildungssektor setzt KI bereits ein, auch ohne formellen Rahmen

Seien wir ehrlich: Viele Bildungseinrichtungen setzen KI bereits ein.

Nicht unbedingt in großem Umfang, oft ohne einen allgemeinen strategischen Plan und erst recht nicht mit einem internen, vom Vorstand genehmigten Leitfaden. Tatsache ist: KI wird bereits genutzt. Einige Beispiele:

Ein Mitarbeiter nutzt ChatGPT, um ein Programm umzuformulieren. Ein Referent erstellt mit Hilfe der KI Fragen für ein Quiz. Ein anderer Referent bereitet eine Unterrichtseinheit mit einem Tool zur Texterstellung vor. Ein Marketingmitarbeiter schreibt mithilfe von KI Beiträge für LinkedIn. Ein Vertriebsmitarbeiter fasst mit KI eine Ausschreibung zusammen. Die Qualitätsprüfung erstellt mit einem KI-Tool eine Übersicht über Umfragen zur Kundenzufriedenheit. Ein Anbieter testet einen Chatbot auf seiner Website oder seiner LMS-Plattform.

Kurz gesagt: Die KI hat bereits durch die Hintertür Einzug in Bildungseinrichtungen gehalten, was aber nicht nur Probleme, sondern auch Vorteile mit sich bringt. KI kann Zeit sparen und dabei helfen, Ideen zu strukturieren, Entwürfe zu erstellen, Inhalte neu zu formulieren, Medien zu verbessern, Beispiele zu finden und bestimmte administrative Aufgaben erleichtern.

Das Problem besteht also nicht in der Tatsache, dass die KI eingesetzt wird, sondern dass sie manchmal so eingesetzt wird, als wäre sie neutral, zuverlässig und der Einsatz ohne weitere Folgen. In der beruflichen Bildung sind die Inhalte, die vermittelt werden, jedoch keineswegs unbedeutend: Schulungsprogramme, Bewertungen, Bescheinigungen, Bedarfsanalysen, Anpassungen des Materials an die Zielgruppe und Lehrmaterialien sind für die Qualität des Bildungsangebots ausschlaggebend. Und dies liegt mitunter auch in der Verantwortung der Unternehmen.

Die eigentliche Frage: Was steckt hinter der KI?

Eines der ersten Themen, mit dem man sich befassen muss, ist wahrscheinlich am einfachsten zu verstehen: Daten.

Die Daten, die in einer Bildungseinrichtung täglich verarbeitet werden, sind nicht immer neutral. Hierzu gehören Kundendaten, betriebliche Anforderungen, interne Dokumente, individuelle Sachverhalte, Bewertungen, Bilanzen, Angaben zum Personal, zu Kursteilnehmern und Behinderungen, Anwesenheitslisten und auch eigens erstellte Medien.

Wenn man eine vollständige Kundenanfrage in ein öffentliches KI-Tool kopiert, hat dies nicht dieselben Auswirkungen, wie wenn man nach einem Titel für einen Blogbeitrag sucht. Wenn Bewertungen von Leistungen, eine pädagogische Bilanz oder die Beschreibung einer persönlichen Lage in ein Tool eingegeben werden, das man nur unzureichend beherrscht, ist das alles andere als harmlos. Und doch geschieht dies häufig, und zwar meist ohne böse Absicht.

KI-Nutzer wollen schneller vorankommen, Sätze umformulieren, Sachverhalte zusammenfassen, eigene Dokumente verfassen, sie sagen sich: „So schlimm kann das doch gar nicht sein.“ Es geht aber nicht nur um den praktischen Nutzen eines Tools.

Die Frage ist, welche Daten man der KI anvertraut und zu welchem Zweck. Wie wird der Datenschutz gewährleistet und kontrolliert?

Bildungseinrichtungen müssen daher zumindest festlegen können, in welchen Bereichen KI eingesetzt werden darf und in welchen nicht.

Einige Beispiele:

• Darf man ein internes Schulungsprogramm in ein KI-Tool integrieren? 
• Darf man den Anforderungskatalog eines Kunden in ein KI-Tool eingeben? 
• Darf man Praktikumsbewertungen von der KI analysieren lassen? 
• Darf man die KI bitten, eine individuelle Beurteilung umzuformulieren? 
• Darf man mit Hilfe der KI ein Angebot für eine Ausschreibung erstellen? 
• Darf man einen Chatbot einsetzen, um Fragen von Lernenden zu beantworten? 
• Darf ein freiberuflicher Referent seine eigenen KI-Tools frei nutzen, um Unterrichtsmaterialien zu erstellen? 

Diese Fragen sind nicht rein theoretischer Natur, denn KI wird in diesen Bereichen bereits eingesetzt. Wenn die Bildungseinrichtungen keine Rahmenbedingungen festlegen, wird am Ende jeder seine eigenen Regeln aufstellen.

KI kann die Qualität verbessern … oder trügerische Lösungen vorschlagen

Ein weiteres wichtiges Thema ist die Qualität der produzierten Inhalte. KI vermittelt oft den Eindruck, dass der Inhalt seriös ist, weil er gut präsentiert wird, was durchaus beeindrucken kann, denn der Text liest sich flüssig, der Aufbau ist klar, der Titel ist gut gewählt, die Sätze sind ansprechend formuliert. Man hat den Eindruck, dass die gesamte Arbeit damit erledigt ist. Aber entspricht dies der Wirklichkeit?

Dies ist wahrscheinlich die größte Gefahr des Einsatzes von KI in einer Bildungseinrichtung: der „gut formulierte Fehler“. Ein KI-Tool kann ein Programm erstellen, das zwar sehr überzeugt, aber in puncto Pädagogik viele Schwachstellen hat. KI kann gesetzliche Vorgaben erfinden und Zertifizierungen, Zulassungen, Genehmigungen oder einfache Bescheinigungen miteinander verwechseln. Sie kann Lernziele vorgeben, die zwar gut klingen, mit denen die angestrebten Kompetenzen aber nicht wirklich erlernt werden können. Und im Bildungssektor kann das schnell zu einem Problem werden. Denn pädagogische Inhalte bestehen nicht nur aus Texten, sie verfolgen auch einen Zweck. Diese Inhalte müssen dem Bedarf, der Zielgruppe, den Zielvorgaben, den Bewertungsmodalitäten, den pädagogischen Mitteln, etwaigen gesetzlichen Anforderungen und den tatsächlichen Kompetenzen des Referenten entsprechen.

KI kann bei der Erstellung von Lehrmaterial helfen, darf auf Unternehmensebene jedoch keine Entscheidungen treffen.

KI-Kompetenz 

Artikel 4 der KI-Verordnung verpflichtet Anbieter und Betreiber von KI-Systemen, Maßnahmen zu ergreifen, mit denen so weit wie möglich gewährleistet wird, dass ihr Personal und die Personen, die diese Systeme in ihrem Auftrag nutzen, über ausreichende Kenntnisse im Umgang mit KI verfügen. Diese Verpflichtung muss die technischen Kenntnisse, die Erfahrung, die Ausbildung, den Anwendungskontext und die von der Nutzung dieser Systeme betroffenen Personen berücksichtigen. In diesem Zusammenhang ist von „KI-Kompetenz“ die Rede. Der Begriff mag etwas abstrakt klingen, im Grunde ist der Ansatz aber recht einfach: Wer KI einsetzt, darf dies nicht planlos machen, sondern muss hinreichend verstehen, was er tut. In diesem Punkt geht die Thematik weit über das reine „Prompt Engineering“ hinaus.

Bei einer KI-Schulung des Personals soll nicht vermittelt werden, wie man ChatGPT erfolgreich promptet.

Eine KI-Schulung muss sich dahingegen mit folgenden Fragen befassen:

• Was ist ein KI-System?
• Was kann die KI leisten, was nicht?
• Warum können KI-generierte Antworten falsch sein?
• Was ist eine Halluzination?
• Wie können Informationen überprüft werden?
• Welche Daten dürfen an die KI übermittelt werden?
• Welche Anwendungsfälle sind sensibel?
• Wann ist menschliches Eingreifen unverzichtbar?
• Wie müssen bestimmte Verwendungsweisen dokumentiert werden?
• Wie kann man betroffene Personen bei Bedarf informieren? 

Für Bildungseinrichtungen sind diese Fragen entscheidend, denn das jemand im Team ChatGPT gut beherrscht, reicht nicht aus. Wenn in einem Unternehmen mehrere Personen KI nutzen, muss jede dieser Personen verstehen, wie und wofür sie die KI einsetzt.

Wer sich für LinkedIn-Posts inspirieren lässt, muss nicht unbedingt über dieselben Fachkenntnisse verfügen wie jemand, der mithilfe von KI Bewertungen analysiert, Unterrichtsmaterialien erstellt oder Lernprozesse begleitet.

Die zu erwartende KI-Kompetenz muss daher dem jeweiligen Verwendungszweck entsprechen.

Welche Vorkehrungen Bildungseinrichtungen treffen sollten

Die Behauptung, dass jede Bildungseinrichtung umgehend ein hochkomplexes Dokumentationssystem zum Thema KI aufbauen muss, ist übertrieben.

Und kleine Unternehmen verfügen nicht über dieselben Mittel wie große Konzerne. Darüber hinaus geht es nicht darum, nur um des Verfahrens willen ein neues Verfahren ins Leben zu rufen. Allerdings ist es schon heute schwierig, das Thema komplett zu ignorieren, und das wird sich in Zukunft nicht ändern – ganz im Gegenteil. Bildungseinrichtungen können bereits mit einigen einfachen, pragmatischen Maßnahmen das Thema vorantreiben.

KI-Anwendungen kartografieren

Erste Bestandsaufnahme: Wer sind die Nutzer von KI im Unternehmen? Welche Tools werden eingesetzt, für welche Aufgaben? Auf Grundlage welcher Daten, die wie geprüft werden? Die Beantwortung dieser Fragen kann sehr aufschlussreich sein. So manche Geschäftsleitung geht davon aus, dass KI in ihrem Unternehmen kaum genutzt wird, während in Wirklichkeit bereits viele Mitarbeiter sie tagtäglich einsetzen.

Einsatzbereiche nach Sensibilität klassifizieren

Nicht alle Einsatzbereiche können miteinander verglichen werden, denn wenn man die KI um zehn Vorschläge für Überschriften bittet, birgt nicht das gleiche Risiko wie das Füttern der KI mit einer individuellen Beurteilung. Der Einsatz von KI zur Überarbeitung einer Werbe-E-Mail hat nicht dieselbe Tragweite wie die Verwendung eines KI-Tools zur Erstellung eines Zertifikats. Bildungseinrichtungen müssen daher zwischen einfachen, sensiblen und zu untersagenden Verwendungszwecken unterscheiden. Hierdurch können zwei Extreme vermieden werden: entweder alles zu verbieten oder alles zuzulassen.

Entscheiden, welche Daten nicht übertragen werden dürfen

Dies ist wahrscheinlich eine der dringendsten Regeln, die es festzulegen gilt.

Eine Bildungseinrichtung sollte klar festlegen, welche Daten nicht in ein unkontrolliertes KI-Tool kopiert werden dürfen: personenbezogene und sensible Daten, vertrauliche Kundendokumente, persönliche Sachverhalte, Personalangelegenheiten, namentliche Bewertungen, strategische Geschäftsinformationen usw. Diese Regelung muss einfach, verständlich und umsetzbar sein, sonst wird sie von niemandem befolgt.

Teams in den richtigen Verhaltensweisen schulen

Artikel 4 der KI-Verordnung besagt nicht, dass das gesamte Personal in KI geschult werden muss.

Gefordert werden ausreichende Kenntnisse der KI je nach Anwendungszweck, Kontext und betroffenen Personen.

Bildungseinrichtungen können dies durch interne Sensibilisierungsmaßnahmen, Workshops, eine kommentierte Richtlinie mit Beispielen für zulässige bzw. unzulässige Anwendungsfälle oder auch durch eine gezielte Schulung für Mitarbeiter erreichen, die KI für sensiblere Aufgaben einsetzen.

KI-gestützte Erstellung von Unterrichtsmaterialien begleiten

Dies ist ein zentraler Punkt für Bildungseinrichtungen. Wird KI zur Erstellung von Programmen, Unterrichtsmaterialien, Quizfragen, Bewertungen oder zur Festlegung von Abläufen eingesetzt, muss klar geregelt werden, dass sämtliche Inhalte, die von KI oder maßgeblich mithilfe von KI generiert wurden, vor ihrem Einsatz fachgerecht geprüft werden müssen. Diese Prüfung muss von einer Person mit entsprechenden Fachkenntnissen durchgeführt werden. Dies ist besonders für reglementierte Angebote zur Erlangung von Zertifikaten oder Berechtigungen und bei spezifischen Verpflichtungen erforderlich.

KI-Einsatz dokumentieren

Anbieter sollten nachweisen können, dass sie sich Gedanken über den Einsatz von KI gemacht haben. Erreicht werden kann dies durch interne KI-Richtlinien, kurze Verfahrensweisen, Listen mit zulässigen Tools und untersagten Verwendungszwecken, Validierungsregeln, dokumentierten Sensibilisierungsmaßnahmen oder etwa auch durch konkrete Beispiele für zulässige Verwendungszwecke.

Und was ist mit freiberuflichen Referenten?

Das Thema betrifft auch freiberufliche Referenten, die von Bildungseinrichtungen beauftragt werden.

Viele Referenten bereiten bereits heute ihre Unterrichtsmaterialien und Abläufe mit KI vor, sie erstellen Aufgaben und Quizfragen und passen Inhalte an, was nicht unbedingt problematisch ist. Bildungseinrichtungen, die Aufträge an Subunternehmer vergeben, müssen sich jedoch damit auseinandersetzen, wie die beauftragen Referenten KI einsetzen.

Wenn ein freiberuflicher Referent im Rahmen des Angebots einer Bildungseinrichtung KI zur Erstellung von Materialien für die Teilnehmer nutzt und dabei das Logo des Anbieters verwendet, kann dies dem Anbieter nicht egal sein.

Folgende Regeln sollten daher auch für externe Referenten gelten:

• Keine Weitergabe von personenbezogenen Daten von Kunden oder Teilnehmern an ein nicht autorisiertes KI-Tool
• Prüfung der mit KI erstellten Materialien
• Kontrolle der regulatorischen Anforderungen 
• Rückverfolgbarkeit der Quellen, sofern erforderlich
• Einhaltung der internen Vorgaben der Bildungseinrichtung

Anbieter können nicht einerseits ihre eigenen Mitarbeiter beaufsichtigen und andererseits zulassen, dass ihre Auftragnehmer überhaupt nicht kontrolliert werden.

Die KI-Verordnung darf nicht auf eine obligatorische Schulung reduziert werden

Wie bereits bei der Einführung neuer Rechtsvorschriften zu beobachten war, besteht die Gefahr, dass der Weiterbildungsmarkt die neuen Vorgaben überinterpretiert. Und es ist ja bereits davon die Rede, dass die KI-Verordnung verpflichtende Schulungen für alle Unternehmen vorsieht. Die Wirklichkeit ist jedoch differenzierter, denn laut KI-Verordnung müssen zwar Anbieter und Betreiber von KI-Systemen die KI verpflichtend beherrschen, wofür mitunter Schulungs- oder Sensibilisierungsmaßnahmen erforderlich sind. Dies bedeutet aber nicht automatisch, dass alle Unternehmen für das gesamte Personal einen Standardkurs erwerben müssen. Dieses Thema muss unter Berücksichtigung der tatsächlichen Gegebenheiten betrachtet werden.

Ein Unternehmen, das KI gelegentlich für die interne Texterstellung nutzt, unterliegt nicht dieselben Anforderungen wie eine Bildungseinrichtung, die ein KI-Tool in ein Schulungsprogramm, einen Bewertungsprozess oder eine Entscheidungshilfe integriert. Genau hier kommt den Bildungseinrichtungen eine wichtige Rolle zu: Sie sollen ihren Kunden helfen, die eigenen Einsatzzwecke, die damit verbundenen Risiken und ihre tatsächlichen Bedürfnisse zu verstehen. Dies setzt jedoch voraus, dass die Anbieter diese Gesichtspunkte bereits in ihrem eigenen Bereich umgesetzt haben.