KIMu_lab, ki.StadtLabor, Sokratest, TermRAG 4 SafeAI und XLM – das sind die fünf Praxisprojekt der ersten Förderphase von KI:edu.nrw. Doch was genau passiert eigentlich in den Projekten? In unserer Serie berichten wir in regelmäßigen Abständen über die Arbeit der Projekte. In der neuen Ausgabe stellt das XLM-Projektteam seine Erfahrungen während der Projektlaufzeit sowie die Ergebnisse vor.
Eine der Schwierigkeiten beim eigenständigen Lernen ist es, einschätzen zu können, was es gerade zu lernen gibt: Wo habe ich noch Lücken in Wissen und Fertigkeiten? Welche Lerninhalte würden gerade besonders gut für mich passen? Hier können Learning Analytics helfen: Mit statistischen Verfahren ist es inzwischen ziemlich präzise möglich, den Lernfortschritt von Lernenden zu messen. Wir können die statistischen Einschätzungen dieser Modelle auch in Übersichtsseiten anzeigen, so genannten Dashboards (zum Beispiel bei POLARIS).
Leider ist es selbst mit Hilfe von Dashboards oft gar nicht so leicht, statistische Informationen in Lehr- und Lernentscheidungen zu übersetzen. Damit haben wir uns im Praxisprojekt „Explaining Learner Models with Language Models“ (XLM) beschäftigt.
Zuerst haben wir das Problem genauer analysiert und uns gefragt: Können Lehrkräfte zuverlässig die nächste Aufgabe für Lernende auswählen, wenn sie nichts weiter wissen als das, was in einem Dashboard angezeigt wird?
Dazu haben wir ein kleines Spiel für Lehrkräfte programmiert. Lehrkräfte bekamen in unserem Labor ein Dashboard angezeigt, das den aktuellen Lernfortschritt einer simulierten Person zeigt. Die Lehrkräfte konnten dann unter vier Aufgaben auswählen – mit dem Ziel, möglichst wenige Aufgaben zu brauchen, bis die simulierte Person alle Fertigkeiten gemeistert hat, die in der Simulation abgedeckt sind. So sah das aus:
Abbildung des Dashboards für die Studie mit Lehrkräften. Links oben können die Lehrkräfte eine von vier Aufgaben auswählen, die eine simulierte Person als nächstes versuchen soll. Darunter wird angezeigt, welche Fertigkeiten die Aufgaben behandeln (1 oder 2 oder beide). Darunter wiederum wird angezeigt, wie wahrscheinlich die Aufgabe mit den aktuellen Fertigkeiten richtig gelöst wird und ob das geklappt hat. Rechts ist zu sehen, wie sich, nach Schätzung eines statistischen Modells, der Lernstand über die Zeit entwickelt hat.
Wir haben verschiedene Varianten dieser Simulation durchgeführt: mit mehr oder weniger Informationen für die Lehrkräfte. Entweder wurde das Diagramm im Dashboard rechts angezeigt oder nicht. Und es stellte sich heraus: Es gab keinen Unterschied. Die Lehrkräfte haben in allen Fällen eine hilfreiche nächste Aufgabe ausgewählt, aber die zusätzliche Learning Analytics-Information schien ihnen nicht zu helfen.
Ein möglicher Schluss wäre somit, dass Learning Analytics vielleicht überhaupt nicht hilfreich ist. Wir konnten allerdings mit statistischen Verfahren und Simulationen nachweisen, dass Lehrkräfte noch besser hätten entscheiden können, hätten sie die Informationen im Diagramm optimal genutzt. Eigentlich haben wir also gezeigt: Wir müssen die Informationen aus Learning Analytics besser erklären – selbst für Lehrkräfte.
Unsere Ergebnisse durften wir auf einem Workshop bei der Internationalen Konferenz „Artificial Intelligence In Education“, der weltweit größten Konferenz zu KI in der Bildung, in Palermo vorstellen. Den Artikel finden Sie zum Nachlesen frei verfügbar auf arXiv.
Aber wie macht man das am besten mit den Erklärungen? Schön wäre natürlich, wenn immer ein*e Expert*in danebensteht und uns erklären könnte, wo im Dashboard wir gerade hinschauen sollten und was wir aus einem bestimmten Diagramm für unser eigenes Lernen und Lehren ableiten können. So viele Expert*innen gibt es leider nicht. Deshalb müssen wir eine automatische Lösung finden, um den Nutzenden von Learning Analytics handlungsleitende Informationen anzubieten.
Unsere Idee ist namensgebend für das gesamte Projekt: „Explaining Learner Models with Language models“. Wir wollen Learning Analytics-Modelle mit Hilfe von Sprachmodellen erklären; also KI-Systeme (nämlich Sprachmodelle), die andere KI-Systeme (nämlich Learning Analytics-Modelle) erklären. Sehr wichtig war uns dabei von Anfang an: Wir vertrauen den Sprachmodellen nicht blind, sondern wollen möglichst viele gesicherte Informationen vorgeben. Die Sprachmodelle haben nur die Aufgabe, die bereits vorhandenen Informationen einfacher verständlich als Text aufzubereiten.
Wir brauchen deshalb auch keine großen „Reasoning“-Modelle oder „Agenten“, sondern kommen mit relativ kleinen Modellen aus, konkret einem Qwen 32B-Modell, das uns von der GWDG in Göttingen bereitgestellt wurde. Wir haben also OpenSource-Sprachmodelle benutzt.
Dies war die Grundlage für das Dashboard für unsere eigene Lernplattform SCRIPT, die wir für die Programmierlehre benutzen. Ganz konkret war unser Praxisbeispiel unser Kurs „Introduction to Data Mining“, den wir bereits seit mehreren Jahren an der Uni Bielefeld anbieten und den die Studierenden mit zwei Lehrpreisen ausgezeichnet haben. Der Kurs behandelt mehrere Themen, etwa Wahrscheinlichkeitstheorie, Statistische Tests, Empfehlungssysteme und einiges mehr. Der Lernfortschritt der Studierenden für jedes dieser Themen wird mit einem Learning Analytics-Modell gemessen und für die Studierenden in einem Dashboard angezeigt. Dieses Dashboard haben wir für das Projekt entwickelt und mit Erklärungen für die Studierenden ausgestattet.
Die Erklärungen hatten das Ziel, einzuordnen, ob Handlungsbedarf im Lernprozess bei einem Thema besteht. Wenn ja, sollten außerdem Empfehlungen gegeben werden, welche Aufgabe als nächstes sinnvoll zu bearbeiten wäre. Dafür haben wir dem Sprachmodell als Kontext nicht nur den Lernstand selbst zur Verfügung gestellt, sondern auch Informationen zu den Aufgaben, die zum jeweiligen Thema gehören (vgl. Abbildung).
Abbildung eines Dashboard-Entwurfs. Es werden fünf Themen angezeigt, jeweils mit einer prozentualen Angabe über den Lernstand (also wie weit das jeweilige Thema schon gemeistert ist). Zu jedem Thema gibt es außerdem eine Erklärung, zum Beispiel: „Du hast schon guten Fortschritt gemacht“ oder „In diesem Thema gab es zuletzt wenige richtige Lösungen. Vielleicht solltest du dir das Kursmaterial dazu noch mal anschauen“ oder „Zu diesem Thema hast du noch nichts gemacht. Versuch mal, mit dieser Beispielaufgabe zu beginnen.“
Aber wir wollten diese Erklärungen nicht einfach so auf unsere Lernenden loslassen, sondern vorher wissen, was Lehrkräfte als Expert*innen für das Lehren und Lernen für das jeweilige Thema von solchen Erklärungen halten. Dafür haben wir eine weitere Studie durchgeführt, in der wir Tutor*innen und Lehrkräften mehrere Varianten von Dashboards vorgelegt haben: Zunächst eine Version ganz ohne Erklärungen. Dann eine Version mit den Erklärungen, die das Sprachmodell generiert hat. Und schließlich eine Version mit Erklärungen, die wir als Lehrkräfte für den Kurs mit viel Aufwand und Sorgfalt selbst geschrieben hatten. Die Teilnehmenden unserer Studie wussten nicht, welche Erklärungen wie erzeugt wurde.
Unsere Hypothese war: Die Lehrkräfte würden die von uns erstellten Erklärungen am besten bewerten und fehlende Erklärungen am schlechtesten. Wir wollten aber wissen, wie nahe die Erklärungen eines Sprachmodells an die durch uns erstellen Erklärungen herankommen.
Die Ergebnisse haben uns überrascht: Die Lehrkräfte fanden die Erklärungen des Sprachmodells sogar besser als unsere! Das ist ein ermutigendes Ergebnis: Automatisch generierte Erklärungen können offenbar für Lernende hilfreich sein, sogar nach Ansicht der Lehrkräfte im Fach. Das heißt freilich nicht, dass unsere Arbeit als Lehrkräfte weg-automatisiert würde: Wir definieren immer noch selbst die zu lernenden Kompetenzen, entwickeln die passenden Übungsaufgaben und bestimmen, welche Informationen und Prompts die Grundlage für die generierten Erklärungen sind. Nur das Generieren der Erklärung während des digitalen Lernens im Rahmen des Dashboards kann automatisiert geschehen.
Die Untersuchungsergebnisse haben wir aktuell bei einer Learning Analytics-Konferenz eingereicht. Ein Vordruck ist über folgenden Link abrufbar.
Unser Praxisprojekt ist zwar abgeschlossen, aber die praktische Nutzung geht natürlich weiter. Unser Kurs „Introduction to Data Mining“ läuft im aktuellen Wintersemester wieder und wir werden das Dashboard im laufenden Semester ausprobieren und die Rückmeldung von Studierenden erfragen. Wir wollen auch die Sprachmodelle, die die Erklärungen generieren, in Zukunft vor Ort bei uns laufen lassen – und zwar mit Hilfe von Code, der bei Open SourceKI.nrw entwickelt wurde, dem Schwesterprojekt von KI:edu.nrw. Umgekehrt hoffen wir, dass unsere Erkenntnisse der Learning Analytics-Community zugutekommen und nachgenutzt werden können. In jedem Fall sehen wir euch wieder bei der nächsten Learning AID, am 1. und 2. September 2026, wenn wir unsere Ergebnisse und Erfahrungen berichten
