Kennen Sie das? Sie stellen einem KI‑Chatbot eine MINT-Aufgabe, erhalten sofort eine Antwort – und fragen sich, ob Sie diesem Ergebnis, wie exemplarisch in der Abbildung gezeigt, vertrauen können und die Antwort korrekt ist.
Abbildung: Exemplarischer Chatverlauf beim Lösen einer mathematischen Aufgabe, aber wie bewerten wir das Ergebnis?
KI-Chatbots können unglaublich hilfreich sein: Sie unterstützen beim Lernen und liefern schnell Antworten. Sie können aber auch Fehler machen oder Informationen unvollständig bzw. falsch wiedergeben. Solche „Halluzinationen“ wirken mitunter sehr plausibel, weshalb sie schwer zu erkennen sind. Deshalb ist es wichtig, KI‑Antworten kritisch zu prüfen, bevor man sich darauf verlässt oder sie weiterverbreitet.
A hallucination is a plausible falsehood
In diesem Blogbeitrag beschreibt das Team des KI:edu.nrw-Praxisprojekts „Prompt.Think.Check.“ erste Ideen, wie KI-Chatbots beim Lösen von MINT-Aufgaben sinnvoll eingesetzt werden und wie KI-generierte Antworten zuverlässig auf Richtigkeit überprüft und verifiziert werden können.
Der Einsatz generativer KI ist zu einem integralen Bestandteil des schulischen und universitären Alltags geworden und erfordert einen kompetenten Umgang mit den Ergebnissen von KI-Chatbots. Mit dem KI:edu.nrw-Praxisprojekt „Prompt.Think.Check.“ ist das Ziel verbunden, Studierenden Kompetenzen im Umgang mit KI-Tools zu vermitteln, insbesondere beim Prompt-Engineering, beim kritischen Hinterfragen von KI-Antworten und bei der Plausibilisierung mathematisch-technischer Ergebnisse. Im Projekt arbeiten Lehrende und Lernende der Hochschulen Bonn-Rhein-Sieg und Hamm-Lippstadt gemeinsam daran, welche Lernwerkzeuge und Methoden geeignet sind, um KI sinnvoll und verantwortungsbewusst in der MINT-Lehre einzusetzen.
Der Einsatz von KI-Chatbots an Hochschulen eröffnet vielfältige Potenziale für individualisiertes Lernen, Lehrunterstützung und Forschungsprozesse. Gleichzeitig besteht die Gefahr, dass Nutzerinnen und Nutzer die Antworten der Systeme unkritisch übernehmen oder unzureichend prüfen und ihnen „blind“ vertrauen, wodurch fachliche Fehler entstehen können. Zudem kann die Eingabe personenbezogener Daten datenschutzrechtliche Risiken bergen, insbesondere wenn beispielsweise die Vorgaben der DSGVO nicht eingehalten werden.
Das Praxisprojekt Prompt.Think.Check. erforscht, wie Studierende heute mit KI-Chatbots arbeiten, welche Prompting-Strategien sie wählen, wie gut sie Fehler erkennen und wie sehr sie den Antworten vertrauen. Anhand realer Nutzungsdaten und Beobachtungen wurden typische Verhaltensmuster sichtbar – etwa übermäßiges Vertrauen in falsche Ausgaben, unklare Prompt-Formulierungen oder Lücken in der Ergebniskontrolle. Ziel ist es, ein realistisches Bild davon zu gewinnen, wie Lernende KI-Tools tatsächlich einsetzen und wo es noch Handlungsbedarf gibt.
Um die Anforderungen der DSGVO einzuhalten, wurde für den Praxiseinsatz in den Lehrveranstaltungen den KI-Chatbot Chat AI des Anbieters Academic Cloud eingesetzt. Mit diesem Chatbot ist eine große Datensicherheit gegeben, da bei Nutzung der internen LLMs persönliche Daten und Inhalte ausschließlich lokal gespeichert und nach Beenden der Sitzung gelöscht werden.
Auf Basis dieser Erkenntnisse wurden konkreten Bedarfe identifiziert:
Im ersten Projektschritt wurden MINT-Aufgaben nach ihrem Schwierigkeitsgrad klassifiziert und darauf aufbauend Strategien entwickelt, um das Prompting sowie die fachliche Prüfung der KI-generierten Lösungen durchzuführen
Hierbei unterscheiden wir zwischen dem Schwierigkeitsgrad, die Aufgabe zu lösen, und dem Schwierigkeitsgrad, eine KI-generierte Lösung zu verifizieren. Ein anschauliches Beispiel für eine Aufgabe, die schwierig zu lösen aber einfach zu prüfen ist, ist das Lösen eines Sudoku-Rätsels. Selbst ein Sudoku-Rätsel der Kategorie schwer kann einfach auf Richtigkeit überprüft werden. Dieses Prinzip lässt sich auch bei der Lösung von MINT-Aufgaben anwenden, wie bei dem in der Abbildung gezeigtem fiktiven Chatverlauf. Hier kann man durch einfaches Einsetzen erkennen, dass der vom Chatbot berechnete Wert x=3 die Gleichung nicht erfüllt.
Aufbauend darauf entstanden Lernwerkzeuge und Praxis‑Tools, die Studierende befähigen, KI‑Chatbots kompetent bei der Bearbeitung von MINT‑Aufgaben einzusetzen. Besonderer Wert wurde auf einen praxisorientierten Zugang gelegt: Tools und Übungen sind so konzipiert, dass sie unmittelbar in typischen Studienkontexten nutzbar sind.
Die oben beschriebenen Erkenntnisse fließen aktuell in die Gestaltung von Lehrveranstaltungen ein. Hierbei steht nicht nur das Lösen von Aufgaben im Vordergrund, sondern auch das Überprüfen der mit KI-Chatbots generierten Lösungen sowie die dazu notwendigen Methoden und Tools.
Weitere Informationen zum Praxisprojekt Prompt.Think.Check. finden Sie hier. Das Erklärvideo steht in absehbarer Zeit auf dem ORCA Portal zur Verfügung.
