Prompt.Think.Check.

• Praktisch erfahren, wie Studierende heute mit KI-Chatbots umgehen (Prompting, Fehlererkennung, Vertrauen).
• Identifizieren von Bedarfen: Welche Unterstützung wird benötigt, um KI sinnvoll zu nutzen?
• Entwicklung von Lernwerkzeugen und Lehrmethoden für den kompetenten KI-Einsatz.
• Integration dieser Werkzeuge in die MINT-Lehre und Evaluation der Wirksamkeit.

• Primär: Studierende in MINT-Studiengängen (Mathematik, Ingenieurwissenschaften, Informatik, Naturwissenschaften).
• Sekundär: Lehrende, die KI in der Lehre einsetzen möchten.
• Indirekt: Hochschulen, die Strategien zur KI-Integration entwickeln.

Studierende sollen …

• professionelles Prompting beherrschen
  – Formate, Nachfragen, iterative Verbesserung.
• Antworten der KI kritisch prüfen
  – Logik, Rechenfehler, Fehlschlüsse.
• Plausibilisieren statt Übernehmen
  – Ergebnisse durch eigenes Wissen, Quellen, Kontrollrechnungen evaluieren.
• eigene Lösungsstrategien entwickeln
  – KI als Unterstützer, nicht als Ersatz für kritisches Denken.
• Problemzentriertes Arbeiten erlernen
• KI-Kompetenz für das spätere Berufsleben aufbauen.

Die Lehrveranstaltung soll …

• Methoden vermitteln, wie KI-Chatbots gezielt und verantwortungsvoll genutzt werden.
• Raum für Reflexion und kritische Auseinandersetzung mit KI schaffen.
• Werkzeuge anbieten, die Studierende beim Denken, Rechnen und Prüfen unterstützen.
• Beispiele und Übungen bereitstellen, die typische KI-Fehler sichtbar machen.
• formative Evaluation und Feedback-Loops einbauen.

Die empirische Grundlage des Projekts basiert auf einem zweistufigen Forschungsdesign. In der ersten Projektphase wurde untersucht, wie Studierende KI-Chatbots bei der Bearbeitung von MINT-Aufgaben einsetzen. Hierzu wurden die Chatverläufe von Studierenden analysiert, die ingenieurwissenschaftliche Aufgaben mithilfe eines KI-Chatbots bearbeiteten, ohne zuvor Hinweise zu Prompting oder Plausibilitätsprüfung erhalten zu haben. Aufbauend auf diesen Ergebnissen wurde in einer zweiten Projektphase eine standardisierte Online-Befragung durchgeführt. Ziel war es, die beobachteten Nutzungsmuster aus der Perspektive der Studierenden zu ergänzen und den Unterstützungsbedarf im Umgang mit KI-Chatbots systematisch zu erfassen.

Erste Projektphase: Erhebung des Status quo

In der ersten Projektphase stand die Frage im Mittelpunkt, wie Studierende KI-Chatbots bei der Bearbeitung von MINT-Aufgaben tatsächlich einsetzen und in welchem Umfang sie die generierten Ergebnisse hinterfragen oder überprüfen. Das Ziel bestand darin, ein realistisches Bild des aktuellen Nutzungsverhaltens zu gewinnen und typische Vorgehensweisen im Umgang mit KI-generierten Lösungen zu identifizieren.

In diesem Zusammenhang haben wir zunächst geeignete Aufgabenstellungen entwickelt und die technische Infrastruktur für die Datenerhebung vorbereitet. Anschließend bearbeiteten Studierende der Hochschule Bonn-Rhein-Sieg und der Hochschule Hamm-Lippstadt ausgewählte MINT-Aufgaben mithilfe des DSGVO-konformen KI-Chatbots „Chat AI”. Dabei erfolgte keine Vorgabe von Hinweisen oder Methoden zur Plausibilitätsprüfung der KI-generierten Ergebnisse. So sollte ein möglichst unverfälschtes Bild des tatsächlichen Nutzungsverhaltens entstehen. Während der Bearbeitung wurden die vollständigen Chatverläufe dokumentiert und für die weitere Analyse herangezogen.

Auswertung der Chatprotokolle

Im Anschluss wurden die erhobenen Chatprotokolle systematisch ausgewertet. Da die Eingaben der Studierenden häufig nur aus kurzen Prompts bestanden und die Chatverläufe nur begrenzt Rückschlüsse auf die zugrunde liegenden Entscheidungsprozesse zuließen, stand zunächst eine quantitative Auswertung im Vordergrund.

Das Ziel der Analyse bestand darin, typische Nutzungsweisen beim Einsatz von KI-Chatbots sichtbar zu machen und erste Hinweise auf den Umgang mit KI-generierten Ergebnissen zu erhalten. Hierzu wurden unter anderem die Art und Länge der Prompts, wiederkehrende Interaktionsmuster sowie der weitere Umgang mit den erzeugten Antworten untersucht. Von besonderem Interesse war dabei, ob die Studierenden die Ergebnisse durch weitere Nachfragen überprüften oder die Interaktion unmittelbar nach Erhalt der ersten Antwort beendeten.

Die Auswertung ermöglichte es, erste typische Fehler, Strategien und Nutzungsweisen zu identifizieren. Gleichzeitig wurden Optimierungsansätze für das Prompting sowie für Lösungs- und Überprüfungsstrategien entwickelt. Diese Erkenntnisse bildeten die Grundlage für die Konzeption der zweiten Projektphase.

Zweite Projektphase: Quantitative Befragung der Studierenden

Die Analyse der Chatprotokolle zeigte auf, wie Studierende KI-Chatbots aktuell nutzen. Die anschließende Befragung sollte Aufschluss darüber geben, warum sie bestimmte Vorgehensweisen wählen und welche Unterstützung sie sich für einen kompetenten Umgang mit generativer KI wünschen.

Hierzu wurde auf Grundlage der Ergebnisse der ersten Projektphase ein standardisierter Fragebogen entwickelt und mit SoSci Survey umgesetzt. Die Befragung erfasst unter anderem die Häufigkeit und die Motive der Nutzung von KI-Systemen, die erwartete Wirksamkeit generativer KI für Lernprozesse sowie den Bedarf an interaktiven Übungseinheiten und digitalen Werkzeugen zur Plausibilitätsprüfung KI-generierter Ergebnisse.

Die Ergebnisse der Befragung dienen der Bedarfsbestimmung. Sie bilden die Grundlage für die Entwicklung praxisnaher Lernangebote und Methoden. Diese sollen Studierende dabei unterstützen, KI-Chatbots reflektiert, verantwortungsvoll und fachlich fundiert in der MINT-Lehre einzusetzen.

Der Einsatz von KI-Chatbots im MINT-Bereich eröffnet vielfältige Potenziale für Studium und Lehre. Sie können Lernende dabei unterstützen, fachliche Inhalte besser zu verstehen, ihre individuellen Lernprozesse begleiten und ihnen dabei helfen, komplexe Fragestellungen schrittweise zu bearbeiten. In den mathematischen und physikalischen Fächern können KI-Chatbots beispielsweise Rechenwege erläutern, alternative Lösungsstrategien aufzeigen oder das Verständnis mathematischer Zusammenhänge fördern. Darüber hinaus eignen sie sich zur Erstellung und Analyse von Übungsaufgaben und können individuelle Rückmeldungen zu Lösungsansätzen geben.

Auch in der Informatik bieten KI-Chatbots vielfältige Einsatzmöglichkeiten. Sie können Programmcode generieren, beim Debugging unterstützen und Programmierkonzepte sowie Algorithmen anschaulich erklären. Dadurch können sie insbesondere bei der Bearbeitung von Programmieraufgaben oder beim Erlernen neuer Programmiersprachen als ergänzende Lernunterstützung dienen. Im naturwissenschaftlichen Bereich können KI-Chatbots zur Erläuterung von Experimenten eingesetzt werden, Denkanstöße für die Entwicklung von Hypothesen liefern oder bei der Interpretation von Mess- und Versuchsdaten helfen. In technischen und interdisziplinären Kontexten bieten sie zudem die Möglichkeit, kreative Lösungsansätze zu entwickeln, Ideen zu strukturieren oder Datenauswertungen vorzubereiten.

Richtig eingesetzt können KI-Chatbots somit einen Beitrag zu individualisiertem und selbstgesteuertem Lernen leisten. Voraussetzung hierfür ist jedoch, dass ihre Antworten fachlich eingeordnet und kritisch überprüft werden, um ihre Potenziale verantwortungsvoll und zielgerichtet zu nutzen.

Bei der Nutzung von KI-Chatbots, insbesondere im MINT-Bereich, sollten auch die Risiken betrachtet werden. Auch wenn KI-Chatbots Potenzial haben, ist eine gewisse Grundskepsis angebracht. Ein zentrales Problem bei der Nutzung von KI-Chatbots ist die Zuverlässigkeit der generierten Inhalte. Durch fehlerhafte, unvollständige oder verzerrte Informationen können Fehlkonzepte entstehen. Zudem stellt eine übermäßige Nutzung eine Gefahr für die kritische Reflexion und den eigenständigen Denkprozess dar. Neben den rechtlichen und ethischen Herausforderungen im Hinblick auf den Datenschutz stellt sich die Frage, inwieweit eine Unterstützung durch KI erfolgen kann – damit steht auch die akademische Integrität infrage.

Für den Einsatz in Lehrveranstaltungen wurde der KI-Chatbot „Chat AI” aus der „Academic Cloud” ausgewählt. Die Plattform ermöglicht die Interaktion mit verschiedenen großen Sprachmodellen (LLMs) über eine intuitive Oberfläche in natürlicher Sprache. Mithilfe von Chat AI können Nutzende können Fragen stellen, Texte erstellen oder Unterstützung in Studium, Forschung und Lehre erhalten. Die Eingabe kann flexibel als Text, Audioaufnahme oder Datei erfolgen. „Chat AI“ ist ein KI-Dienst, der an Universitäten und Hochschulen über die Academic Cloud genutzt werden kann. Die Anwendung ist intuitiv und datenschutzrechtlich unproblematisch. Dabei verfügt die generative KI über eine nutzerfreundliche Oberfläche und eröffnet die Möglichkeit, mit verschiedenen Sprachmodellen (LLMs) zu interagieren. Die Bandbreite reicht von einfachen Aufgaben wie dem Stellen von Fragen über die Texterstellung und Literaturrecherche bis hin zur Nutzung als Unterstützungstool bzw. Hilfstool für die Forschung, Lehre und das Studium. Eingaben können per Text, Audio oder Datei-Upload erfolgen.

Ein zentrales Merkmal von „Chat AI“ ist die Möglichkeit, zwischen intern und extern betriebenen Sprachmodellen zu wählen. Interne Modelle werden lokal betrieben und bieten dadurch ein besonders hohes Maß an Datensicherheit. Externe Modelle ermöglichen hingegen den Zugriff auf leistungsstarke kommerzielle Systeme. Die verschiedenen Modelle unterscheiden sich in Bezug auf Antwortqualität, Geschwindigkeit und Ausrichtung (z. B. stärker logisch oder kreativ) und können je nach Bedarf ausgewählt werden. Zudem besteht die Möglichkeit, das Verhalten der Modelle durch sogenannte System-Prompts gezielt zu steuern.

Warum wir uns für „Chat AI” entschieden haben

Die Auswahl von „Chat AI” erfolgte insbesondere vor dem Hintergrund der Anforderungen an einen datenschutzkonformen Einsatz generativer KI in Studium und Lehre. Bei der Nutzung der intern gehosteten Sprachmodelle werden personenbezogene Daten und Inhalte ausschließlich lokal verarbeitet und nach Beendigung der Sitzung gelöscht. Dadurch bietet Chat AI eine hohe Datensicherheit und unterstützt die Einhaltung der Vorgaben der Datenschutz-Grundverordnung (DSGVO). Die Plattform ermöglicht zudem den Zugang zu verschiedenen Sprachmodellen innerhalb einer einheitlichen Benutzeroberfläche und bietet somit die notwendige Flexibilität für unterschiedliche Lehr- und Lernszenarien. Die Kombination aus Datensicherheit, einfacher Bedienbarkeit und der Auswahl geeigneter Sprachmodelle macht „Chat AI” zu einer geeigneten Plattform für den verantwortungsvollen Einsatz generativer KI in der Hochschullehre. Gleichzeitig schafft sie die Voraussetzungen, um Studierende im reflektierten und kompetenten Umgang mit KI-Chatbots zu unterstützen und den Einsatz dieser Systeme unter realistischen Bedingungen in Lehrveranstaltungen zu erproben.

Stärken

• KI-Chatbots erklären komplexe Inhalte in einfacher Sprache, eignen sich als Einstieg in neue Themengebiete.
• Interaktives Lernen: Mit Dialogen, Übungsfragen oder Quizformaten unterstützen sie das Wiederholen und Vertiefen von Wissen.
• Schnelle Themenübersichten und Rechercheunterstützung: KI-Chatbots liefern kompakte Übersichten, helfen bei der Eingrenzung von Recherchethemen und liefern Schlüsselbegriffe und Quellenverweise.
• Ständige Verfügbarkeit: Nutzung unabhängig von Zeit und Ort.
• Zeitersparnis: Schnelle Informationsbereitstellung und Unterstützung beschleunigen Lern- und Arbeitsprozesse.

Schwächen

Innerhalb eines kurzen Zeitraums haben sich KI-Chatbots zu einem integralen Bestandteil von Studium und Lehre entwickelt. Insbesondere im MINT-Bereich wird ihnen die Unterstützung beim Verständnis von Konzepten, beim Rechnen sowie bei der Darstellung von Lösungswegen zugeschrieben. Gleichzeitig zeigen Evaluationen, Praxisberichte und Studien, dass Sprachmodelle systematisch Fehler machen können. Diese Fehler können sich in verschiedenen Formen äußern, wie beispielsweise halluzinierten Fakten, Einheitenfehlern oder unklaren oder falschen Annahmen.

Typische Fehlermuster

Welche Arten von Fehlern treten bei KI-Chatbots häufig auf?

➢ Falsche oder veraltete Informationen

o KI gibt Informationen aus, die sachlich falsch sind oder nicht dem aktuellen

Stand entsprechen.

➢ Halluzinationen

o Die KI erfindet Inhalte, Quellen oder Fakten, die nicht existieren.

➢ Unvollständige Antworten

o Wichtige Aspekte einer Frage werden ausgelassen oder nur teilweise beantwortet.

➢ Kontextprobleme

o Frühere Informationen aus dem Gespräch werden nicht korrekt

berücksichtigt.

➢ Missverständnisse

o Die KI interpretiert die Frage falsch oder versteht die Nutzerabsicht nicht

richtig.

➢ Bias (Verzerrung)

o Antworten spiegeln einseitige Perspektiven oder gesellschaftliche Vorurteile

wider.

Der Einsatz von KI-Chatbots im Studium und in der Lehre eröffnet zwar vielfältige Möglichkeiten, ist jedoch gleichzeitig mit verschiedenen Herausforderungen verbunden. Eine zentrale Herausforderung besteht darin, dass die von KI-Systemen generierten Antworten nicht immer zuverlässig sind. Sie können fehlerhafte, unvollständige oder verzerrte Informationen enthalten, die mitunter sehr plausibel wirken. Werden diese Antworten unkritisch übernommen, besteht die Gefahr, dass Fehlkonzepte entstehen oder sich fachlich falsches Wissen verfestigt. Darüber hinaus kann eine intensive Nutzung von KI-Chatbots dazu führen, dass Lernende Lösungswege oder Erklärungen übernehmen, ohne sich mit den zugrunde liegenden fachlichen Zusammenhängen auseinanderzusetzen. Dies kann das kritische Denken, die Entwicklung eigener Problemlösungsstrategien sowie ein nachhaltiges Verständnis der Lerninhalte beeinträchtigen. Auch im Kontext der Leistungsbewertung ergeben sich neue Fragestellungen. Lehrende stehen vor der Herausforderung, nachvollziehen zu können, in welchem Umfang KI-Chatbots zur Bearbeitung von Aufgaben eingesetzt wurden. Dadurch gewinnen transparente Regelungen für den KI-Einsatz sowie die Förderung akademischer Integrität zunehmend an Bedeutung. Beim Einsatz von KI-Chatbots sind zudem ethische und rechtliche Aspekte zu berücksichtigen. Hierzu zählen insbesondere der Schutz personenbezogener Daten, die Einhaltung datenschutzrechtlicher Vorgaben und der verantwortungsvolle Umgang mit sensiblen Informationen. Gleichzeitig sollten Nutzerinnen und Nutzer sich der Möglichkeit bewusst sein, dass KI-Systeme Verzerrungen (Bias) in ihren Antworten aufweisen können. Ein reflektierter und kompetenter Umgang mit den Ergebnissen von KI-Chatbots ist daher eine wesentliche Voraussetzung, um ihre Potenziale verantwortungsvoll und fachlich fundiert zu nutzen.

Ergebnisse der Chatprotokollanalyse

Die Auswertung der Chatprotokolle zeigt ein bemerkenswert einheitliches Nutzungsverhalten. Die Mehrheit der Studierenden nutzte den KI-Chatbot nach einem ähnlichen Muster: Die Aufgabenstellung wurde direkt in den Chat eingefügt, die generierte Lösung übernommen und die Interaktion anschließend beendet. Komplexere Promptstrategien oder eine gezielte Weiterentwicklung der Antworten konnten dagegen nur vereinzelt beobachtet werden.

Auffällig war zudem, dass die Studierenden die von der KI generierten Ergebnisse nahezu nie hinterfragten oder überprüften. Nachfragen, alternative Lösungswege oder eine Plausibilisierung der Antworten fanden in den analysierten Chatverläufen kaum statt. Die KI wurde somit überwiegend als unmittelbare Lösungsquelle und weniger als unterstützendes Werkzeug im Problemlöseprozess genutzt.

Diese Ergebnisse verdeutlichen eine Diskrepanz zwischen der grundsätzlichen Wahrnehmung der Zuverlässigkeit von KI-Systemen und dem tatsächlichen Nutzungsverhalten. Obwohl Studierende angeben, sich der Grenzen generativer KI bewusst zu sein, übernehmen sie KI-generierte Lösungen im konkreten Arbeitsprozess oftmals ohne weitere Überprüfung. Die Analyse unterstreicht somit die Notwendigkeit, Kompetenzen zur kritischen Bewertung und Plausibilisierung von KI-generierten Ergebnissen gezielt zu fördern.

Ergebnisse der Studierendenbefragung

Die Ergebnisse der anschließenden Befragung ergänzen die aus den Chatprotokollen gewonnenen Erkenntnisse und geben Einblicke in die Erwartungen und den Unterstützungsbedarf der Studierenden.

Ein zentrales Ergebnis ist der Wunsch nach einer stärkeren Integration von KI-Chatbots in die Hochschullehre. Die Studierenden möchten, dass der Einsatz generativer KI nicht nur außerhalb der Lehrveranstaltungen stattfindet, sondern auch systematisch in diese eingebunden wird. Dazu gehört insbesondere die gemeinsame Betrachtung KI-gestützter und klassischer Lösungswege, um Unterschiede, Potenziale und Grenzen der verschiedenen Herangehensweisen nachvollziehen zu können.

Darüber hinaus äußerten viele Studierende den Wunsch nach klaren Rahmenbedingungen für den Einsatz von KI-Chatbots. Sie möchten besser einschätzen können, in welchen Lehr- und Prüfungssituationen KI-Tools sinnvoll und zulässig eingesetzt werden können und welche Anforderungen dabei gelten.

Auch hinsichtlich der eigenen Kompetenzen wurde ein deutlicher Unterstützungsbedarf sichtbar. Viele Studierende wünschen sich praxisnahe Leitfäden und Lernangebote, die zeigen, wie KI-Chatbots effektiv eingesetzt und mit weiteren digitalen Werkzeugen kombiniert werden können, um die Qualität und Zuverlässigkeit der erzeugten Ergebnisse zu erhöhen. Gleichzeitig besteht der Wunsch nach verständlichen Erklärungen grundlegender MINT-Konzepte sowie nach interaktiver Unterstützung bei individuellen Fragestellungen.

Insgesamt zeigen die Ergebnisse, dass Studierende KI-Chatbots nicht als Ersatz für Lehrende verstehen. Sie werden vielmehr als ergänzende Lernwerkzeuge wahrgenommen, die ähnlich einem Tutor jederzeit verfügbar sind, individuelle Unterstützung bieten und das selbstständige Lernen fördern können. Die Befragung verdeutlicht somit, dass neben technischen Lösungen insbesondere didaktische Konzepte erforderlich sind, um Studierende zu einem reflektierten, kompetenten und verantwortungsvollen Umgang mit generativer KI zu befähigen.