Der KI-Campus ist eine Lernplattform für Künstliche Intelligenz. In unserer Arbeit setzen wir uns für die Entwicklung kostenloser, digitaler Lernangebote ein, die von allen Menschen – besonders aber von Hochschulen und Bildungseinrichtungen – für den Aufbau und die Stärkung von KI-Kompetenzen genutzt werden können.

Selbstverständlich spielen dabei auch offene und generative KI-Technologien eine wichtige Rolle. Die Inhalte unserer Lernangebote wurden in den letzten zwei Jahren sukzessive an die rasanten Entwicklungen angepasst und auch technologisch hat sich der KI-Campus weiterentwickelt.

Im Rahmen unserer Forschungs- und Entwicklungsprojekte wurden seit 2019 KI-Systeme durch Partner wie das Deutsche Forschungszentrum für Künstliche Intelligenz (DFKI) und das Hasso-Plattner-Institut (HPI) erprobt und an unterschiedlichen Stellen punktuell in unserem Kursangebot eingesetzt.

Wir haben unter anderem bereits seit mehreren Jahren einen durch das HPI entwickelten einfachen FAQ-Chatbot in unserem Learning Management System (LMS) implementiert, der auch einfache Kursempfehlungen geben kann, über generative KI-Fähigkeiten verfügte dieser jedoch nicht.

Abb. 1: Alter Chatbot (ohne generative KI)

Zusammen mit den KI- und Datenexperten der Scieneers arbeiten wir daher seit Herbst 2023 auch an weitergehenden, direkt in unser Portal und unser LMS integrierten Lösungen. Im Rahmen der Partnerschaft haben wir zwei Chatbot-Varianten entwickelt, die durch den Einsatz von Large Language Models (LLMs) und Retrieval-Augmented Generation (RAG) unterstützt werden. Die Chatbots wurden im November 2024 offiziell eingeführt und versprechen, die Interaktion und Unterstützung für unsere Nutzenden deutlich zu verbessern.

 

Neuer FAQ-Chatbot

Der neue generative KI-Chatbot beantwortet übergreifende Fragen rund um den KI-Campus, zu Kursinhalten aber auch allgemeine Supportanfragen. Er greift auf alle Inhalte der Website zu und kann so die Fragen von Nutzenden bedarfsgerecht beantworten und Interessierten passende Lernangebote aus unserem umfangreichen Portfolio an Kursen, Videos, Podcasts etc. empfehlen. Dabei wird eine Antwort in natürlicher Sprache mit der direkten Verlinkung von Quellen kombiniert (siehe Screenshot).

Abb. 2: Neuer FAQ-Chatbot (Portal)

 

Neuer KI-Kurstutor

Innerhalb von Kursen in unserer Moodle-Lernumgebung¹ könnt ihr als Nutzende den Chatbot sogar für inhaltliche Fragen, Aufgabengenerierung zu einzelnen Modulen oder zur Hilfestellung in eurem Lernprozess nutzen. Leider funktioniert der Bot in der ersten Entwicklungsstufe nicht in allen Kursen gleich gut, da die Qualität der Antworten stark von der Menge und Qualität der zur Verfügung stehenden Daten abhängt. Eine große Herausforderung im Training war z. B., alle unterschiedlichen didaktisch sinnvollen Elemente maschinenlesbar zu machen, was noch nicht immer perfekt gelungen ist.

Wir freuen uns, wenn ihr mit dem Chatbot experimentiert und uns Feedback gebt, was gut und was noch nicht so gut funktioniert. Helft uns, das Tool schrittweise immer besser zu machen!

Abb. 3: Neuer KI-Kurstutor (Moodle)

 

Neue KI-Sandbox

Für ein umfassendes GenAI-Angebot arbeiten wir mit Partnern zusammen, die bereits großartige Lösungen entwickelt haben. Zusätzlich zu den bei uns direkt integrierten Bots haben wir mit einer Kombination aus dem (Open-Source-)Interface-Tool „HAWKI“ der HAWK Hildesheim und den vom KI-Servicezentrum „KISSKI“ der GWDG in Göttingen gehosteten Sprachmodellen einen niedrigschwelligen Zugang zu verschiedenen großen Sprachmodellen für alle unsere Lernenden geschaffen. Dies soll als Spielwiese bzw. Playground dienen, um die Möglichkeiten der generativen Sprach-KI frei und spielerisch zu erkunden. Alle registrierten Nutzenden des KI-Campus können mit ihrem Account über chat.ki-campus.org direkt darauf zugreifen, im „Prompt-Labor Hochschullehre 2.0“ wird der Chat z. B. schon genutzt.

Abb. 4: KI-Sandbox (HAWKI)

Im Folgenden gehen wir etwas ausführlicher darauf ein, wie wir den neuen FAQ-Chatbot implementiert haben, welche Technologie er nutzt und wie wir ihn getestet haben. Im Anschluss beschreiben wir das HAWKI-System als KI-Playground noch genauer.

 

Was ist RAG?

RAG steht für „Retrieval-Augmented Generation“. Vereinfacht ausgedrückt kombiniert diese Technologie zwei wesentliche Ansätze: das Abrufen von relevanten Informationen aus einer Datenbank (Retrieval) und das Generieren von textbasierten Antworten durch KI (Generation). In unserem Fall bedeutet das, dass der Chatbot auf spezifische Inhalte zugreift, die auf unserer Plattform zur Verfügung stehen. Basierend auf einem Sprachmodell (Large Language Model) sucht er nach den relevanten Inhalten zu euren Fragen und formuliert eine hilfreiche Antwort.

 

Der Aufbau unseres Chatbots

Um den Chatbot für unsere Website mit relevanten Informationen zu füttern, haben wir verschiedene Datenquellen eingebunden. Dazu zählen alle Unterseiten unserer Webseite, einschließlich des dort direkt hinterlegten Kurses „Stadt | Land | DatenFluss“, der Learning Nuggets sowie des gesamten Kurs-Contents, des Blogs und unserer Publikationen. Diese Daten helfen dem Chatbot, allgemeine Fragen zum KI-Campus möglichst präzise zu beantworten und auch auf grundlegende Fragen zu KI-Themen Antworten zu geben.

Darüber hinaus haben wir die Inhalte in unserem LMS in Moodle „vektorisiert“, das heißt die Transkripte der Videos und sämtliche Textformate wurden in die Vektordatenbank des RAG-Systems geladen. Dies ermöglicht es dem Chatbot, detaillierte Fragen zu einzelnen Kursinhalten zu beantworten und Lernende während ihrer Kurse zu begleiten. Eine Herausforderung dabei war, dass weitere Lernaktivitäten, wie z. B. H5P-Übungsaufgaben, die derzeit eine große Rolle in vielen unserer Kurse spielen, nur sehr schwierig in das notwendige Format zu bringen sind.

Zur Orchestrierung des RAG-Prozesses wurde das Open Source Framework LlamaIndex verwendet. Die Bot-App wird auf der Cloud-Computing-Plattform Microsoft Azure gehostet und per API zur Einbindung in die KI-Campus-Webseite und das KI-Campus-LMS zur Verfügung gestellt. Die LLMs selbst werden über Microsoft Azure (GPT-4) und den LLM-Service der Gesellschaft für Wissenschaftliche Dienstleistungen in Göttingen mbH (GWDG) bezogen.

 

Testing unterschiedlicher Sprachmodelle und erste Erfahrungen

Abb. 5: Testing-Frontend

Beim Testen der Chatbots haben wir eine separate Testumgebung genutzt und die Qualität der Antworten des Bots unter Verwendung von vier verschiedenen Sprachmodellen getestet: GPT-4, Mistral, Llama3 und Qwen2. Dabei wurden Standardfragen in drei Kategorien gestellt: Content-Empfehlungen, klassischer Support und inhaltliche Fragen zu Kursen. Ein menschliches Review-Team bewertete die Antworten anschließend nach folgenden Kriterien: Korrektheit, Konsistenz, Kontextbewusstsein, Ton(alität) und Schnelligkeit. Für jedes Kriterium wurde ein Punkt vergeben, wenn die Antwort in der Kategorie zufriedenstellend war.

Insgesamt wurden drei Testrunden durchgeführt und das System iterativ angepasst, z. B. wurde der System-Prompt (quasi die Grundeinstellung des Chatbots) variiert oder die Dokumente, die in die Vektordatenbank geladen wurden, wurden neu strukturiert und verbessert. Konkrete Probleme waren beispielsweise, dass die LLMs gelegentlich in andere Sprachen wechselten oder falsche Antworten gaben, wenn keine Informationen vorlagen (Halluzination).

Insgesamt ergab das Testing über alle Runden hinweg, dass GPT-4 am leistungsstärksten war. Durch schrittweise Anpassungen war es uns jedoch möglich, auch mit der durch die GWDG zur Verfügung gestellten Version von Llama3 ausreichend gute Antworten zu generieren. Für die Implementierung war uns im Ergebnis der Open-Source-Ansatz wichtiger als der beste Output. Aber wir haben viel dabei gelernt und gerade im letzten Halbjahr auch viele Verbesserungen gesehen.

 

KI-Sandbox: HAWKI-Interface

Das Interface-Tool HAWKI wurde von der Hochschule Hildesheim-Göttingen entwickelt und umfasst eine Open-Source-Benutzeroberfläche für GenAI-Chatbots. Diese Benutzeroberfläche haben wir in unserer Implementierung mit den bereits erwähnten, von der GWDG in Göttingen gehosteten Sprachmodellen kombiniert und direkt mit dem KI-Campus-Account für alle registrierten Lernenden nutzbar gemacht.

Das Tool wurde entwickelt, um Studierenden und Lernenden den praktischen Umgang mit KI-Technologien zu ermöglichen, der zentral für den handlungsorientierten Erwerb von KI-Kompetenzen ist.

Im Rahmen von ausgewählten Kursen auf dem KI-Campus sollen Teilnehmende den HAWKI-Chat nutzen können, um praktische Kompetenzen, z. B. im Prompting, auszubauen und experimentell die Funktionsweise großer Sprachmodelle zu erleben. Es stehen verschiedene Modelle und vorgeschlagene Prompting-Situationen zur Auswahl, so dass sehr niedrigschwellig mit unterschiedlichen Modellen vergleichend experimentiert werden kann. Hiermit schaffen wir einen Zugang zu praktischen Erfahrungen und Tools ohne Paywall und ohne dass personenbezogenen Daten an große KI-Unternehmen übermittelt werden.

 

Herausforderungen und nächste Schritte

Insgesamt lässt sich aus dem doch langen Entwicklungsprozess ein positives Fazit ziehen: Die Implementierung der Chatbots war für uns ein wichtiger Schritt in das KI-gestützte Lernen, auch wenn einige manuelle Anpassungen nötig waren und viele Sprachmodelle nicht die gewünschte Performanz erbracht haben. Wir sind froh, dass wir durch den Mehraufwand Open-Source-Angebote im Mittelpunkt stehen haben.

In Zukunft möchten wir unsere Chatbots kontinuierlich verbessern und sie von ersten generativen Chatsystemen zu einer umfassenden Lernbegleitung weiterentwickeln, z. B. auch im Sinne individualisierter Lernpfade über einzelne Kurse oder Learning-Nuggets hinweg.

 

Feedback needed!

Jetzt seid ihr gefragt: Probiert die Chatbots aus und gebt uns Feedback, wie ihr die Tools nutzt, was schon gut klappt und was noch verbessert werden sollte. Wir freuen uns auf eure Rückmeldungen!

 

¹Einer der Gründe für den vollständigen Umzug aller unserer Kurse auf Moodle bis Ende 2024 sind die bessere Möglichkeiten zur Weiterentwicklung und KI-Integration, die Moodle bietet.