Im Sommer 2024 wurde die KI-Verordnung der EU veröffentlicht. Sie gilt in allen Mitgliedsstaaten der EU – und damit auch für die europäischen Hochschulen. Teils explizit, teils implizit regelt die Verordnung für bestimmte Sachverhalte, was auch in Studium und Lehre beim Einsatz Künstlicher Intelligenz zu beachten ist. Auch wenn viele Fragen noch offen sind: Es ist wichtig, sich jetzt mit dem Thema zu beschäftigen. Auch an den NRW-Hochschulen hat die Auseinandersetzung mit dem Thema daher begonnen – KI:edu.nrw eingeschlossen.
Der große Knall – die Veröffentlichung von ChatGPT am 30.11.2022 – stellte an Hochschulen vor allem auch eine große rechtliche Frage in den Raum, einfach gesprochen: Darf man das? Dürfen beispielsweise Studierende generative KI verwenden, wenn sie eine Hausarbeit schreiben? Dürfen Lehrende generative KI verwenden, um Prüfungen zu bewerten?
Ein Meilenstein für die Beantwortung dieser Fragen war das erste Rechtsgutachten von KI:edu.nrw, das im Frühjahr 2023 erschien. Die Antworten dieses Gutachtens – gerade zu urheber- und prüfungsrechtlichen Fragen – sind weiterhin grundlegend und gültig. Seitdem sind allerdings weitere wichtige Beiträge hinzugekommen, nicht zuletzt auch durch Rechtsprechung. Hervorzuheben ist hierzu ein (nicht unumstrittenes) Urteil eines bayrischen Gerichts, in dem der KI-Betrugsverdacht gegen einen Studenten verhandelt wurde. Jüngst standen dann Rechtsfragen zur Bereitstellung von KI-Tools durch Hochschulen im Mittelpunkt.
In diesem Umfeld setzt die KI-Verordnung (KIVO) der EU nun einen neuen Akzent. Da eine Verordnung der EU unmittelbar für alle Mitgliedsländer der Staatengemeinschaft gilt, ändern sich auch in Deutschland die rechtlichen Rahmenbedingungen.
Die KIVO – das ist auf den ersten Blick vor allem ein ziemlich langer Text. Kaum hat man die Datei geöffnet, möchte man sie am liebsten wieder schließen: 144 Seiten Rechtstext lassen grüßen. Aber es hilft nichts, denn auch jetzt veröffentlichte Online-Lesehilfen entbinden Hochschulen nicht davon, sich mit der vollständigen Verordnung auseinanderzusetzen. Also genauer hingeschaut: Der Text gliedert sich in drei wesentliche Bestandteile, nämlich in eine ausführliche Begründung (44 Seiten), den Hauptteil (mit 113 Artikeln) sowie 13 Anhänge.
Der Zweck der Verordnung wird gleich zu Beginn erläutert: Demnach ist das Ziel ein einheitlicher Rechtsrahmen in der EU u.a. mit Blick auf die Entwicklung, Inbetriebnahme und Verwendung von KI-Systemen. Zudem geht es darum, Vorschriften für besonders riskante KI-Anwendungen zu setzen.
Tatsächlich ist der so genannte risikobasierte Ansatz die DNA der Verordnung. Während es KI-Systeme gibt, die als unkritisch gelten, bewertet die Verordnung andere Anwendungen als so kritisch, dass sie ausdrücklich verboten werden – so z.B. Social Scoring-Systeme, wie man sie z.B. aus China kennt. Besondere Aufmerksamkeit gilt dann den sog. Hochrisiko-Anwendungen. Dies sind KI-Anwendungen, die sich negativ auf Grundrechte der Menschen auswirken können. Sollen sie von Institutionen angeboten oder betrieben werden, so macht die KIVO dafür detaillierte Vorgaben (z.B. Pflichten zu Transparenz oder menschlicher Aufsicht). Dies ist auch der Knackpunkt für Hochschulen: Wenn sie KI in Studium und Lehre anbieten oder betreiben, müssen sie genau hinschauen, welcher Risikoklasse ein System zuzuordnen ist und die entsprechenden Vorgaben beachten. Dies gilt auch beim Einsatz sog. „General Purpose AI“, d.h. von allgemeinen Modellen, die als Grundlage spezifischer Einsatzszenarien genutzt werden kann (wie z.B. im Fall der KI-Modelle von OpenAI).
Einen „Deep Dive“ in die Regelungssystematik der KIVO mit einigen Bezügen zu Hochschulen bietet dieser Text der Rechtsinformationsstelle von ORCA.nrw:
Schaut man genauer auf die Verordnung, ist zunächst wichtig zu verstehen, für wen sie gilt – und für wen nicht. Art. 2 der KIVO stellt die Adressaten klar: Es geht insbesondere um Anbieter und Betreiber von KI-Anwendungen in der EU. Da beispielsweise Studierende normalerweise keine Anbieter und Betreiber von KI sind, sind sie nicht adressiert und die KIVO ändert nichts daran, wie sie KI zum Lernen nutzen. Ebenso ändert sich beispielsweise nichts für Lehrende, die von anderer Stelle bereitgestellte KI-Tools nutzen, um Lehrmaterial zu erstellen.
Ebenfalls nicht betroffen ist in Hochschulen die Forschung zu KI-basierten Unterstützungssystemen für Studium und Lehre. Dies regelt Art. 2 Abs. 6 der KIVO, wo es heißt: „Die Verordnung gilt nicht für KI-Systeme oder KI-Modelle, einschließlich ihrer Ausgabe, die eigens für den alleinigen Zweck der wissenschaftlichen Forschung und Entwicklung entwickelt und in Betrieb genommen werden.“ Dieses Vorgehen ist auf einer Linie mit Wissenschaftsprivilegien, wie sie auch die DSGVO kennt.
So wie im Privileg, ist die KIVO auch explizit im Verbot. Ausdrücklich untersagt ist beispielsweise die Nutzung von KI „zur Ableitung von Emotionen einer natürlichen Person (…) in Bildungseinrichtungen“ (Art. 5 Abs. 1f). Damit ist beispielsweise die in manchen Ländern verfolgte Idee, in Vorlesungen KI-unterstützt die Aufmerksamkeit der Studierenden zu erfassen und nötigenfalls den Vortrag situativ anzupassen, in EU-Ländern vom Tisch.
Zwar nicht ausdrücklich an sie gerichtet, aber doch auch für Hochschulen von hoher Bedeutung ist der Art. 4 der Verordnung: Hier wird geregelt, dass Anbieter und Betreiber von KI-Systemen für ihr Personal sicherstellen müssen, dass es „über ein ausreichendes Maß an KI-Kompetenz“ verfügt. In diesem Artikel steckt also ein umfangreicher Fortbildungsauftrag.
Besonders viel Aufmerksamkeit erfordert von den Hochschulen das Thema Hochrisiko-KI. Anwendungen, die als hochriskant eingestuft sind, sind nicht unbedingt verboten. Für sie gelten aber besonders hohe Anforderungen zum Risikomanagement, beispielsweise mit Blick auf Transparenz, Dokumentation und menschliche Kontrolle. Angesichts des Aufwands, den die KIVO hier vorsieht, werden Hochschulen sich sehr gut überlegen, Hochrisiko-Anwendungen nachzuhalten.
Die KIVO nennt ausdrücklich Hochrisiko-Systeme im Bildungsbereich. Betroffen sind solche KI-Anwendungen, die Zulassung, Leistungsbewertung, die Bewertung des Bildungsniveaus sowie die Überwachung in Prüfungen betreffen. Leistungsbewertung ist auch dann gegeben, wenn ein System den Lernprozess steuern soll (Art. 6 Abs. 2 iVm Anhang III Punkt 3; vgl. Punkt 56 der Begründung).
Kritisch sind in diesem Lichte also KI-Anwendungen, die ausdrücklich zur Bewertung von Prüfungsleistungen gedacht sind. Kritisch kann aber auch der Einsatz von KI mit Allgemeinem Verwendungszweck (also z.B. die von Open AI bekannten generativen Sprachmodelle hinter ChatGPT) zur Bewertung von Prüfungen sein. Sehen Hochschulen solche Einsatzszenarien vor, müssen sie die rechtlichen Konsequenzen tragen (mit dieser Problematik beschäftigt sich ausführlicher dieser Text von Schwartmann u.a.).
Hochschulen müssen die Vorgaben der KIVO nun schrittweise beachten und umsetzen. Das Verbot bestimmter Anwendungen gilt schon ab dem 02.05.2025, die Regelungen zu KI mit allgemeinem Verwendungszweck ab dem 02.08.2026 und wesentliche Vorschriften für Hochrisiko-KI dann ab August 2026.
Die vorstehenden Ausführungen deuten den Kreis der Themen und Fragen, die in diesem Zeitrahmen für Studium und Lehre geklärt werden müssen, lediglich an. Eine erste Abfrage im Rahmen des KI-Updates von KI:edu.nrw hat eine beträchtliche Zahl an Unklarheiten aufgezeigt. Beispiele sind:
Für die exakte Beantwortung derartiger Fragen werden im Jahr 2025 ergänzende Informationen von der EU erwartet.
In NRW ist die erste Anlaufstelle für Hochschulen in diesem Kontext die Rechtsinformationsstelle zum E-Learning von ORCA.nrw. Aber auch aus KI:edu.nrw heraus planen wir derzeit Aktivitäten, um die Hochschulen zu unterstützen. Zwei sind hervorzuheben:
