KIMu_lab, ki.StadtLabor, Sokratest, TermRAG 4 SafeAI und XLM – das sind die fünf Praxisprojekt der ersten Förderphase von KI:edu.nrw. Doch was genau passiert eigentlich in den Projekten? In unserer neuen Serie berichten wir in regelmäßigen Abständen über die Arbeit der Projekte. In der neuen Ausgabe geben wir einen Einblick in das Praxisprojekt TermRAG 4 SafeAI.

Studierende für die dynamischen Entwicklungen auf dem Arbeitsmarkt rüsten. Das ist eine der vielen Aufgaben, die sich Lehrenden an Hochschule und Universitäten stellen müssen. Dazu zählt neuerdings auch die Vermittlung von KI-Kompetenzen – und das nicht nur in naturwissenschaftlichen und technischen Studiengängen. Im KI:edu.nrw-Praxisprojekt TermRAG 4 SafeAI haben wir uns dieser Herausforderung gestellt und halten wichtige Lehren in einer didaktischen Handreichung fest.

Die Studierenden unseres Masterstudiengangs „Terminologie und Sprachtechnologie“ (MATS) an der TH Köln sind Sprachexpert*innen, die nicht nur fachbereichsspezifisches Sprachwissen managen, sondern auch sicher mit den entsprechenden Technologien umgehen. Sie sind ein gutes Beispiel dafür, dass auch Studierende mit einem geisteswissenschaftlichen Hintergrund über wertvolle Kenntnisse verfügen, die der Arbeit mit generativer KI zugutekommen können. Aber wie können diese Kenntnisse in der Praxis nutzbar gemacht werden?

Eine Technik, die aktuell intensiv beforscht wird, ist Retrieval Augmented Generation (RAG). Diese Entwicklung birgt eine Chance, spezialisiertes Wissen in das Thema „generative KI“ einzubringen und auch die verschiedenen Stärken Studierender außerhalb IT-basierter Studiengänge zu nutzen. Das bedeutet, dass wir das Kompetenzprofil unserer Studierenden auch in den Geisteswissenschaften erweitern müssen. Doch wie können wir ihr Kompetenzprofil um RAG-spezifische Kenntnisse erweitern und was bedeutet das nicht nur für Studierende, sondern auch für die Lehrenden?

Diesen Fragen stellen wir uns im Praxisprojekt TermRAG 4 SafeAI. Das Projektziel ist die Formulierung einer didaktischen Handreichung zum Einsatz von RAG in der Lehre in den Geistes- und Sozialwissenschaften und ist somit angepasst an die Bedürfnisse von Studierenden ohne fundierte IT- oder Programmierkenntnisse.

Studierende der Geistes- und Sozialwissenschaften sollen also ihre Stärken in die Entwicklung rund um generative KI einbringen können. Wie das in der Praxis aussehen kann und wie wir daraus Schlüsse für die Lehre ziehen können, haben wir uns an dem Beispiel eines hochschulspezifischen Chatbots genauer angeschaut.

„Was ist die Immatrikulation?“, „Welche Möglichkeiten des Nachteilsausgleichs kann ich an meinem Institut beantragen?“, „Ist ein Kolloquium ein Abschlusskolloquium?“ – solche und ähnliche Fragen beschäftigen vermutlich viele Studierende. Ein Chatbot kann zwar Antworten auf diese Fragen geben, jedoch meist nicht mit der benötigten Spezifität.

Welche Nachteilsausgleiche und Regelungen es an einer bestimmten Fakultät oder an einem bestimmten Institut gibt, ist nicht leicht zu durchschauen. Ebenso unklar bleibt, ob mit einem Kolloquium im MATS das Kolloquium zu einer Master- oder Bachelorarbeit gemeint ist, oder doch die Besprechung verschiedener Promotionsprojekte. Solche Fragen übersteigen wohl das Latein von Chatbots, die ihr Wissen aus der gesamten Bandbreite des Internets ziehen, da hier viele verschiedene Informationen aus unterschiedlichen Kontexten und mit unterschiedlichen zugrundeliegenden Regelungen zusammenfließen. In solchen Fällen eine tatsächlich zutreffende Antwort auf die eigene, kontextspezifische Frage zu erhalten, ist eher unwahrscheinlich. Besonders dann, wenn einzelne Begriffe unterschiedlich definiert werden, dies der Chatbot jedoch nicht berücksichtigt.

Um Studierende nicht auf eine falsche Fährte zu locken, benötigt der Chatbot also spezifischere Informationen, die auf die Hochschule zugeschnitten sind. Diese können mit der RAG-Technik zur Verfügung gestellt werden. Doch wo kommen die spezifischen Daten her, auf die der Chatbot zurückgreifen soll?

Unsere Studierende sind darauf spezialisiert sogenannte Terminologiedatenbanken für Unternehmen, Institutionen und Organisationen aufzubauen, zu pflegen und zu managen. Diese Terminologiedatenbanken können als Wissensressource für RAG-Pipelines genutzt werden. Dazu müssen die Studierenden jedoch in der Lage sein, ihre Datenbanken für diesen Zweck aufzuarbeiten und sich die richtigen Fragen bzgl. Technik, Ethik und Recht zu stellen.

Um unsere Studierenden auf den zukünftigen Einsatz generativer KI und besonders mit RAG vorzubereiten, haben wir eine neue Lehrveranstaltung entwickelt und erprobt. In dieser Lehrveranstaltung haben wir erstmalig gezielt die Vermittlung von Wissen zu RAG in unserem Studiengang in den Mittelpunkt gestellt. Die dabei gemachten Erfahrungen und Erkenntnisse dienen als Ausgangspunkt für die didaktische Handreichung.

Bevor jedoch neues Wissen vermittelt werden kann, muss eine Lehrveranstaltung zunächst geplant und vorbereitet werden. Dies betraf nun auch unser „Terminologieprojekt“. Bereits in dieser Phase des Projekts kamen viele Fragen auf, aus denen wir viele wichtige Erkenntnisse für unsere didaktische Handreichung gewonnen haben: In welcher Reihenfolge soll Wissen zu RAG vermittelt werden? Mit wem müssen wir uns vorab besprechen? Nutzen wir eine externe Infrastruktur oder eine hochschulinterne? Welche Zugänge müssen wir dafür beantragen? Die Beantwortung dieser und weiterer Fragen bildet ebenso die Grundlage der Handreichung wie die Erkenntnisse aus der Durchführung selbst.

Dieses Jahr stand gemäß unseres Praxisprojekts im Terminologieprojekt also das Thema RAG im Vordergrund. Nach den Vorbereitungen konnten sich die Studierenden der Frage stellen, ob und wie Terminologiedatenbanken hochschulspezifische Antworten von Chatbots fördern können. Dazu entwickelten sie ein Konzept, das beschreibt, wie die Datenbanken aufbereitet sein müssen. Auch den Fragen nach der benötigten technischen Infrastruktur sowie nach rechtlichen und ethischen Aspekten mussten sie sich stellen.

Neben dem Grundlagenwissen zu Large und Small Language Models und zur RAG-Technik haben wir die Studierenden vor allem an die technische Umgebung herangeführt, die für die Nutzung von RAG notwendig ist. Dazu machten wir die Studierenden mit Services der GWDG, wie den verfügbaren Sprachmodellen und Arcana, vertraut. Nach der niedrigschwelligen Annäherung über die Weboberfläche wagten wir uns auch an die Arbeit mit dem HPC-Cluster.

Auch die bereits vertrautere Technik, wie Terminologiemanagement-Systeme und die Terminologiedatenbanken, musste näher betrachtet werden. Daher haben sich unsere Studierenden damit auseinandergesetzt, wie ihre eigenen Daten auch technisch für den Einsatz von RAG aufbereitet und angepasst werden müssen.

Die Lehrveranstaltung bietet die praktische Grundlage für unsere didaktische Handreichung. Daher nutzen wir verschiedene Wege, um Erkenntnisse aus unseren Erfahrungen ziehen zu können.

Um ihren Fortschritt beobachten und sich mit Aspekten auch außerhalb der Sitzungen auseinandersetzen zu können, hatten die Studierenden die Möglichkeit, einen wöchentlichen Reflexionsbericht zu den jeweiligen Sitzungen einzureichen. So gewährten uns die Studierenden einen Einblick in ihre individuellen Erfahrungen und Gedankengänge.

Während jeder Sitzung haben wir zudem Protokolle erstellt. In diesen haben wir die besprochenen Themen festgehalten. Auch aufkommende Fragen und Diskussionen sind hier notiert. So können wir auch im Nachhinein den Verlauf der Sitzungen und mögliche Abweichungen vom Lehrplan oder Schwierigkeiten in der Umsetzung nachvollziehen.

Nach Abschluss der Lehrveranstaltung wollten wir noch einmal gezielt die Meinungen und Eindrücke der Studierenden einholen: Konnten sie der Lehrveranstaltung mit ihren Anforderungen folgen? Welche Kenntnisse hätten sie gerne vertieft? Fehlten ihnen wichtige Kompetenzen? Haben sie das Gefühl, Gelerntes auch in der beruflichen Praxis umsetzen zu können? Zu diesem Zweck ließen wir die Studierenden einen Fragebogen ausfüllen, aus dessen Antworten wir wichtige Schlüsse für unsere didaktische Handreichung ziehen können.

Wenn es um die Lehre im Rahmen generativer KI bzw. RAG geht, gibt es vieles zu beachten und somit auch vieles zu lernen. Nicht nur die eigenen Erfahrungen können Lehrenden helfen, sich neuen Lehrinhalten zu stellen. Auch der Austausch mit den Studierenden birgt wichtige Erkenntnisse, von denen die Lehre profitieren kann – besonders wenn es um die Vermittlung neuer Kompetenzen geht. Also haben wir genau hingesehen und zugehört, diskutiert und reflektiert, um so aus unseren praktischen Erfahrungen eine didaktische Handreichung zu formulieren, die auch anderen Studiengängen der Geistes- und Sozialwissenschaften bei der Lehre zum Thema RAG helfen kann.