Wie aus Lerndaten Dashboards werden – Phillip Dittmann über das Mathematik-Teilprojekt
Mithilfe von Learning Analytics Studierende der Mathematik individuell unterstützen – das ist eines der Ziele des Mathematik-Teilprojekts von KI:edu.nrw. Wie das funktioniert und was Dashboards damit zu tun haben, erklärt Phillip Dittmann.
KI:edu.nrw ist ein Kooperationsprojekt der RUB und der RWTH Aachen. Hier sondiert ein interdisziplinäres Projektteam, unter welchen Voraussetzungen ein Einsatz von KI-gestützten Lerndatenanalysen (Learning Analytics) zu einer besseren Hochschullehre beitragen kann.
In unseren Projekttagebüchern geben wir Einblick in den aktuellen Projektstand der verschiedenen Teilprojekte. Diesmal haben wir mit Phillip Dittmann, M. Ed., vom Fakultätsprojekt Mathematik gesprochen. Phillip hat Mathematik und Chemie auf Lehramt sowie Bildungswissenschaften an der Ruhr-Universität Bochum (RUB) studiert. Im Rahmen seiner Masterarbeit hat er sich mit digitalen Aufgaben und dem daraus generierten automatischen Feedback beschäftigt – ein Thema, das auch im Mathematik-Teilprojekt von KI:edu.nrw eine Rolle spielt.
Phillip, worum geht es in eurem Teilprojekt konkret?
Bei uns geht es darum, Learning Analytics- und KI-Methoden zu nutzen, um Studierende im Mathematikstudium zu unterstützen. Mathematikhaltige Studiengänge haben mit einigen Herausforderungen zu kämpfen. Denn für Erstsemester, die bspw. frisch von der Schule kommen, sind Mathematikveranstaltungen an der Uni mit vielen Umgewöhnungen verbunden: zum einen wegen ihres Inhalts und zum anderen wegen der neuen Lernbedingungen. Das beobachten wir vor allem, wenn es um individuelle Hilfestellungen geht: Wenn ein Schüler oder eine Schülerin in der Schule eine Aufgabe nicht lösen kann, ist die Lehrkraft eine vertraute Ansprechperson und kann ein entsprechendes Feedback geben. An der Uni haben wir es allerdings oft mit dreistelligen Zahlen von Teilnehmenden in Vorlesungen zu tun. Da ist es für Dozierende schwer, vergleichbar individuelle Angebote zu machen. Und auch in den Übungsgruppen, welche im Idealfall Klassengröße haben, ist die Hemmschwelle der Studierenden, Fragen zu stellen, zum Teil groß. Die skizzierten Herausforderungen des Studiengangs möchten wir mithilfe von Learning Analytics angehen. Ein Lösungsansatz ist bspw. individuelles Feedback, das auf Basis der Lernaktivitäten generiert wird und den Studierenden anzeigt, wie sie im Kurs vorankommen, wo sie stehen und wo Verbesserungspotenziale schlummern.
Ein konkretes Ziel besteht darin, ein Dashboard für die Studierenden zu entwickeln. […] Hier soll angezeigt werden, wie sie bei einzelnen Aufgaben abschneiden und welche Schritte sie unternehmen können, falls sie mal nicht gut vorankommen.
Die Studierenden unterstützen ist somit ein übergeordnetes Ziel. Verfolgt ihr noch weitere Ziele in eurem Projektvorhaben?
Ein konkretes Ziel besteht darin, ein Dashboard für die Studierenden zu entwickeln. Die Idee ist, dass alle Kursteilnehmenden Zugriff auf ein individuelles Dashboard bekommen sollen. Hier soll angezeigt werden, wie sie bei einzelnen Aufgaben abschneiden und welche Schritte sie unternehmen können, falls sie mal nicht gut vorankommen. Außerdem sollen Studierende auch angeben können, wie zufrieden sie mit sich selber und ihrer Leistung sind. Gibt eine Person wiederholt an, unzufrieden zu sein, soll das System angemessen reagieren und eine Empfehlung zur Verbesserung der jeweiligen Situation machen. Das kann z. B. ein Hinweis auf die Studienberatung sein. Vorteil ist hier, dass die Person genau in dem Moment der akuten Hilfesuche ein passendes Hilfsangebot bekommt.
Wie ist der aktuelle Projektstand? Mit welchen Aufgaben beschäftigst du dich momentan?
Aktuell beschäftige ich mich viel mit der Auswertung von Fokusgruppeninterviews. Hier haben wir Studierende der Mathematik dazu befragt, was sie von einem automatischen Empfehlungssystem erwarten würden. Die Fragen haben wir bewusst ganz offen gestellt, sodass die Befragten frei über die Möglichkeiten eines solchen Systems nachdenken konnten. Sie konnten auch Wünsche äußern, welche Ziele mit der Auswertung ihrer Daten verbunden sein sollen. Anhand der erfassten Wünsche möchten wir zu einem späteren Zeitpunkt unser System designen. So beziehen wir die Studierenden in den Prozess der Gestaltung mit ein.
Die Auswertung der Studierendendaten möchten wir mithilfe eines Dashboards an die Studierenden ausgeben. Momentan überlegen wir, welche Elemente ein Dashboard enthalten und wie es auch adaptiv auf Studierende reagieren könnte. Damit dieses Dashboard überhaupt etwas anzeigen kann, benötigen wir Daten – und das ist eine weitere Baustelle in unserem Projekt: Jede Woche generieren Studierende bei der Bearbeitung von digitalen Aufgaben in Moodle Daten, beispielsweise in Form von Punktzahlen und Zugriffszeiten. Wir arbeiten mit dem Team von IT-Services daran, diese Fülle an unterschiedlichen Daten zu extrahieren und automatisch aufzubereiten. Dafür programmieren wir Funktionen, die bei den erfassten Punktzahlen deskriptive Statistik ausführen: Was ist der Durchschnitt? Was ist die Standardabweichung? Denn interessant sind ja nicht nur die Punktzahlen des Einzelnen, sondern auch wie die Personen im Vergleich abschneiden. In (weiter) Zukunft soll das System automatisch Muster bei den Studierenden erkennen und den Lehrenden Infos geben, wie gut ihre Studierenden mit den Aufgaben zurechtkommen. Soweit sind wir aber noch nicht.
Du hast eben von Fokusgruppeninterviews gesprochen: Gab es Wünsche an das Empfehlungssystem, die immer wieder genannt wurden?
Die befragten Studierenden wünschen sich mehrheitlich eine Übersicht an Tasks, die man noch zu tun hat, also eine Art Checkliste für den Kurs. Außerdem äußerten sie den Wunsch nach einem ausführlichen Feedback im Anschluss an die Bearbeitung einer Aufgabe. Erhält man nach jeder Aufgabe ein Feedback, was richtig und was falsch war, wird auf längere Sicht deutlich, wo Schwachstellen im Lernstand liegen könnten. Das System soll also erkennen und anzeigen, bei welchen mathematischen Themen das Verständnis noch fehlt, und dann eine Empfehlung aussprechen, was die Person unternehmen kann, um sich an dieser Stelle zu verbessern. Das Dashboard mit den Auswertungen der erfassten Daten und Empfehlungen soll in Moodle angezeigt werden. Auch darüber herrscht bei den Studierenden Einigkeit.
Kannst du den Einsatz von Learning Analytics in eurem Teilprojekt genauer erläutern? Welche Daten werden genau genutzt?
In erster Linie nutzen wir die sogenannten „Log-Daten“ aus den Moodle-Kursen der Veranstaltungen. Jeder Klick in Moodle kann getrackt werden. In den mathematischen Veranstaltungen kommen insbesondere digitale Aufgaben zum Einsatz. Bei ihrer Bearbeitung werden ebenfalls Daten generiert. Wir können z. B. sehen, wann eine Aufgabe geöffnet wurde und wie die Bearbeitungszeit war. Zusätzlich wird erfasst, wie viele Versuche eine einzelne Person durchlaufen hat, wie viele Punkte sie in den einzelnen Versuchen erreicht und wie lange sie für den jeweiligen Versuch gebraucht hat. Der Daten-Outcome hängt davon ab, wie die digitalen Aufgaben gestellt sind: Aufgaben, bei denen nur das Ergebnis oder die erreichten Punktzahlen eingetragen werden, liefern weniger Daten als komplexere digitale Aufgaben, die bei einer fehlerhaften Antwort ein umfangreiches Feedback und Hilfen zur weiteren Bearbeitung bereitstellen. Momentan fokussieren wir uns auf die simplen Aufgaben, welche zunächst nur Punktzahlen liefern.
Mit Lerndatenanalysen möchten wir Studierenden individuelle Rückmeldungen besser zugänglich machen. Aus Lehrendensicht können Lerndatenanalysen bei der Verbesserung der Lehre helfen.
Warum interessieren euch Lerndatenanalysen? Welchen Nutzen können diese Methoden mit sich bringen?
Mathematikhaltige Studiengänge haben aus unterschiedlichen Gründen mit hohen Abbruchquoten von 40 bis 45 % zu kämpfen. Das liegt u. a. an den zuvor genannten veränderten Lernbedingungen an der Hochschule, wie z. B. die fehlende individuellen Betreuung. In den Veranstaltungen der ersten Semester sind Übungsgruppen oft sehr voll und manche Studierenden trauen sich auch in kleineren Gruppen nicht, vor einer „echten Person“ zuzugeben, etwas nicht verstanden zu haben. Für ein Empfehlungssystem wären sie hingegen „anonym“. Deshalb möchten wir den Studierenden mit Lerndatenanalysen individuelle Rückmeldungen besser zugänglich machen.
Aus Lehrendensicht können Lerndatenanalysen bei der Verbesserung der Lehre helfen. Für das Lehrpersonal ist es oftmals schwierig einzuschätzen, ob in einer Veranstaltung mit 300 Studierenden alle mitkommen. Der Einsatz von Learning Analytics kann diesen Prozess durch ein eigenes Dashboard für Lehrende unterstützen. Hier könnten die Lehrenden dann u. a. sehen, bei welchen Aufgaben die meisten Probleme entstehen und daraus Rückschlüsse für ihre Lehre ziehen.
Auf welche Herausforderungen seid ihr im Projektverlauf gestoßen?
Im Rahmen der Fokusgruppengespräche war eine Herausforderung, Studierende in etwas einzubeziehen, was sie noch gar nicht kennen. Da Lerndatenanalysen bis dato noch nicht wirklich an den Hochschulen eingesetzt werden, ist Studierenden gar nicht bewusst, was mit den großen Datenmengen alles ausgewertet werden könnte und welche Rückmeldungen überhaupt möglich sind.
Eine weitere grundlegende Herausforderung des Projekts ist, dass wir sehr viel mit Daten arbeiten müssen und dadurch eine hohe IT-Expertise gefordert ist. Dies spielt insbesondere bei der Entwicklung des Dashboards eine übergeordnete Rolle. Hier müssen wir gleichzeitig überlegen, was das System können soll und wie es dafür aufgebaut sein muss. Sich also auf den Ausgangspunkt für die ganze Arbeit festzulegen, ohne sich dabei möglicherweise spätere Funktionen des Dashboards zu verbauen, ist eine der größten Herausforderungen.
Gibt es Schnittstellen zu anderen Teilprojekten?
Eine große Überschneidung haben wir mit dem Data Literacy-Teilprojekt. Ein zentraler Aspekt bei uns im Projekt ist die Überlegung, wie wir bestimmte Elemente in Dashboards darstellen können – und genau dafür ist das Data Literacy-Teilprojekt im Gesamtprojekt KI:edu.nrw da: Wir tauschen uns teilprojektübergreifend aus und holen uns Empfehlungen ein, wie bspw. ein Diagramm aufgebaut sein muss, damit Studierende genau die Information erhalten, die sie auch erhalten sollen. Auch mit dem Ethik-Teilprojekt sind wir im ständigen Austausch. Mit dem Teilprojekt Studienberatung haben wir auch einige Schnittstellen, da eine Kooperation zu einem späteren Zeitpunkt angedacht ist: Wenn das Dashboard fertig ist, sollen Studierende, die unzufrieden oder auf der Suche nach einem Hilfsangebot sind, über das System direkt an die Studienberatung weitergeleitet werden.
Was sind die nächsten konkreten Schritte?
Aktuell warten wir auf einen ersten Prototypen des Dashboards. Das wird eine Art Baukasten sein. Dann können wir anfangen, uns ein bisschen auszutoben und konkrete Fragen zu bearbeiten: Wie verbinden wir unsere Datenauswertung mit der Darstellung, die später an die Studierenden ausgegeben werden soll? Was ist in diesem Baukasten möglich? Welche Darstellungen können wir wählen? Wie können wir die Einzelelemente anordnen? Die Möglichkeiten, die der Baukasten bietet, möchten wir dann mit den Erkenntnissen aus den Interviews verknüpfen: Was wünschen sich die Studierende? Was erwarten sie? In einem weiteren Schritt können wir dann Studierendenbefragungen zu dem designten Dashboard durchführen.
Wir erhoffen uns, dass das Dashboard dazu beiträgt, den Problemen, die für mathematikhaltige Studiengänge bekannt sind, ein Stück weit entgegenzuwirken und dass sich Studierende im ersten Semester besser aufgehoben fühlen.
Was erhofft ihr euch am Ende der Projektlaufzeit? Wie würde euer ideales Ergebnis aussehen?
Das ideale Ergebnis wäre eine erste Version von einem Dashboard, die wir wirklich in einer Veranstaltung einsetzen können, um dann untersuchen zu können, wie Studierende mit dem System umgehen. Die Hoffnung ist natürlich, dass das Dashboard dazu beiträgt, den Problemen, die für mathematikhaltige Studiengänge bekannt sind, ein Stück weit entgegenzuwirken; also dass sich Studierende durch den Einsatz des Dashboards im ersten Semester besser aufgehoben fühlen und ihre Lernprozesse noch besser gestalten können.
