Mit Technik das Studium verbessern  – Christian Metzger über die technische Infrastruktur von Learning Analytics-Anwendungen

Was ist eigentlich eine technische Infrastruktur? Wie werden Daten ermittelt und was passiert mit ihnen? Und was ist eigentlich mit Datenschutz? Über diese und andere Themen spricht Christian Metzger in diesem Projekttagebuch.

KI:edu.nrw ist ein Kooperationsprojekt der Ruhr Universität Bochum und der RWTH Aachen. Hier sondiert ein interdisziplinäres Projektteam, unter welchen Voraussetzungen ein Einsatz von KI-gestützten Lerndatenanalysen (Learning Analytics) zu einer besseren Hochschullehre beitragen kann.

In unseren Projekttagebüchern geben wir Einblick in den aktuellen Projektstand der verschiedenen Teilprojekte. Neben diversen Fakultätsprojekten, bspw. aus der Sport- oder Erziehungswissenschaft, werden im Projekt universell geltende Querschnittsthemen bearbeitet. Dazu zählen u. a. die Bereiche Studienberatung, Datenschutz, Ethik, Didaktik – und die IT.

In dieser Ausgabe geht es um die technische Infrastruktur, die benötigt wird, um Studien- und Lerndaten datenschutzkonform zu sammeln und auszuwerten, sowie über die Darstellung der Ergebnisse in Dashboards. Christian hat an der Hochschule Bochum Betriebswirtschaftslehre studiert und sich insbesondere auf Wirtschaftsinformatik konzentriert. Im Anschluss war er in der Lehre tätig und hat freiberuflich als Webprogrammierer gearbeitet. Seit 2017 arbeitet er an der Ruhr-Universität Bochum im Bereich IT.Services. Seit Juni 2021 ist er am Projekt KI:edu.nrw beteiligt und dort für die technische Infrastruktur verantwortlich.

Christian, dein Teilprojekt behandelt die Technik  – was sind deine Aufgaben? Was ist die Zielsetzung eures Teilprojekts?

Die Zielsetzung und gleichzeitig meine Aufgaben waren, eine an der RWTH Aachen an der Fakultät für Informatik entwickelte Infrastruktur für Learning Analytics zu übernehmen, ggf. zu erweitern und zu prüfen, ob sie sich für einen hochschulweiten Einsatz an der RUB eignet. Zu meinen Aufgaben gehörte auch die Analyse und Bewertung von weiteren möglichen Datenquellen für Learning Analytics. Des Weiteren ist die Entwicklung und Implementation eines Dashboards zur Darstellung der Datenanalysen eine Aufgabe für mich in diesem Projekt. 

Wie funktioniert die Ermittlung von Daten und wie werden die Daten ausgewertet sowie aufbereitet? Was passiert mit den Daten im Anschluss?

Im Vordergrund unserer Arbeit stehen immer datenschutzrechtliche Bestimmungen. Wir speichern gezielt Daten von Studierenden, und das auch nur, wenn die Studierenden explizit ihre Zustimmung hierfür gegeben haben. Haben wir diese Zustimmung von einem Studierenden erhalten, werden von einer extra für dieses Projekt eingerichteten Moodle-Instanz die Lernaktivitätsdaten aus Moodle in einer Datenbank gespeichert.  Diese Daten können von Programmen, sogenannten Analytics Engines, analysiert werden. Die Analysen können einfache statistische Analysen sein, sollen perspektivisch aber auch als komplexere, KI-basierte Auswertungen erfolgen. Die Ergebnisse dieser Auswertungen werden erneut in einer Datenbank gespeichert. Die grafische Darstellung der Analysen erfolgt dann in einem Dashboard, welches beispielsweise in Moodle eingebunden werden kann.

Ein sehr wichtiger Punkt in diesem Projekt war von Anfang an, die Vorgaben durch die DSGVO zu erfüllen, indem die Studierenden jederzeit Auskunft über ihre Daten erhalten und sie herunterladen sowie löschen können.

Die Rohdaten sowie die Analyseergebnisse werden im Rahmen des Projekts für ein Semester gespeichert und anschließend gelöscht. Aber nicht nur wir können Daten löschen, sondern auch die Studierenden selbst. Sie haben jederzeit die Hoheit über ihre Daten. Das bedeutet, dass sie jederzeit ihre Zustimmung pausieren sowie auch vollständig widerrufen können. Ebenso können sie jederzeit die von ihnen gespeicherten Daten downloaden und sich bei Bedarf selbst analysieren.  Die komplette Löschung ihrer Daten aus dem Learning-Analytics System ist auch jederzeit möglich. Ein sehr wichtiger Punkt in diesem Projekt war von Anfang an, die Vorgaben durch die DSGVO zu erfüllen, indem die Studierenden jederzeit Auskunft über ihre Daten erhalten und sie herunterladen sowie löschen können.

Auf welche Herausforderungen seid ihr im Projektverlauf gestoßen?

So vielfältig das Projekt war, so vielfältig waren auch die Herausforderungen. Diese begannen mit dem „Anzapfen“ von Datenquellen. Rein technisch ist das oftmals gar nicht so das Problem, jedoch galt es immer strikt den Datenschutz zu beachten. Am Anfang empfand ich den Datenschutz zunächst (aus technischer Sicht) als Hindernis, da er erschwert hat, an „echte“ Daten zu gelangen. Durch enge Zusammenarbeit mit dem Datenschutzteam in KI:edu haben wir aber Lösungen gefunden und um die Anwendungen auch kurzfristiger testen zu können, haben wir teilweise mit künstlichen Daten gearbeitet.
Eine weitere Herausforderung war die Implementation der Infrastruktur. Die Nutzer*innen sehen die POLARIS-Oberfläche, also die Zustimmungsengine, und das Learning Analytics Dashboard in Moodle. Damit aus Lernaktivitätsdaten aber Grafiken werden können, bedarf es an Servern, Programmen und einer funktionierenden Kommunikation der Server untereinander. In diesem Bereich steckt viel Arbeit, die man im Endprodukt so meist nicht mehr wahrnimmt.

ANGEKLICKT
Einen Einblick in das Teilprojekt zu POLARIS finden Sie hier.

Herausfordernd war außerdem die Kommunikation untereinander sowie die Entwicklung eines gemeinsamen Wordings. Da hier Spezialist*innen aus verschiedensten Bereichen aufeinandertrafen, war es wichtig zunächst ein gemeinsames Verständnis für Technik und Datenschutz zu entwickeln, sowie eine gemeinsame Sprache zu erarbeiten.
Obwohl alle Projektbeteiligten auf eigene Erfahrungen aus dem jeweiligen Studium zurückgreifen konnten, war es außerdem nicht ganz einfach, zu definieren, welche Daten und Analysen den Studierenden einen Mehrwert bieten können.

Durch eine kontinuierliche Zusammenarbeit und viel Austausch konnten wir diese Herausforderungen jedoch meistern und teilweise auf reale Studierendendaten zurückgreifen, die über unsere Moodle-Instanz aufbereitet werden konnten.

Das Projekt neigt sich nun langsam dem Ende zu. Was war dein persönliches Highlight im Projekt?

Es war auf jeden Fall ein Highlight, als die Infrastruktur inklusive POLARIS lief sowie das Dashboard die Analysegrafiken angezeigt hat. Auf genau diesen Moment hatten wir zwei Jahre hingearbeitet und es war schön zu sehen, dass alles funktionierte.

Wie sähe dein ideales Projektergebnis aus?

Idealerweise konnten wir mit unserem Projekt den Startschuss für eine langfristige Nutzung und Verarbeitung von Learning Analytics an der Ruhr-Universität bzw. an den Hochschulen geben. Weiterhin fände ich es schön, wenn Studierende und die Dozierende sowie andere die an Lehre und Studium beteiligt sind, unser System nutzen, weil sie davon einen wirklichen Mehrwert haben können. 

Auch würde ich mir wünschen, dass eine Learning-Analytics-Community entsteht, welche unsere Entwicklung testet und erweitert. Wir haben eine Menge Zeit, Erfahrung und Diskussion in das Projekt und die daraus entstandene Software gesteckt und hoffen, damit anderen eine gute Basis für die Einführung von Learning Analytics geben zu können.

Gut zu wissen
Wer mehr darüber erfahren möchte, was mit den Daten passiert und wie sie verarbeitet werden, erhält im Rahmen der KI-Themenreihe am 22. Januar 2024 interessante Einblicke. Weitere Informationen finden Sie hier.