Evaluation und Mehrwerte

Die Nutzungs- und Wirkungsanalyse der Funktionen erfolgte in mehreren Lehrgängen. Zum Einsatz kamen Interviews, standardisierte Onlinebefragungen und Auswertungen der aufgezeichneten Interaktionen. Diese Kombination aus qualitativer und quantitativer Methode liefert ein differenziertes Bild der Akzeptanz und der wahrgenommenen Vorteile.

Die Ergebnisse zeigen, dass die Akzeptanz mit der technischen Stabilität und mit einer klaren Benutzerführung steigt. In frühen Iterationen kam es noch zu Hürden, die in späteren Durchläufen durch gezielte Verbesserungen adressiert wurden. Ab einem bestimmten Reifegrad wurde das System als verständlich, nachvollziehbar und sehr gut bedienbar beschrieben. Besonders häufig wurde der LLM-basierte Chatbot als hilfreiche KI-Funktion genannt. Er erleichtert den Zugriff auf Vorschriften und auf kursrelevante Informationen. Antworten werden mit Quellen verknüpft, was die Überprüfbarkeit erhöht. Damit entsteht eine vertrauenswürdige Hilfe, die inhaltlich entlastet und Zeit spart.

Im Lernprozess selbst zeigen sich weitere positive Effekte. Persönliche Lernpfade geben Orientierung und helfen, Wiederholungsbedarf sachlich zu begründen. Adaptive Aufgaben unterstützen das Üben auf dem richtigen Niveau. Learning Analytics macht den eigenen Fortschritt sichtbar und lädt zur Reflexion ein. Lehrende erhalten einen Überblick, der Hinweise auf typische Hürden liefert, ohne einzelne Lernende zu überwachen. Insgesamt entsteht ein Zusammenspiel aus Struktur, Unterstützung und Transparenz, dass die Selbstlernphasen stärkt und die Vor- und Nachbereitung im Lehrgang erleichtert.

Die begleitende Forschung bietet darüber hinaus eine technische Einordnung. In kontrollierten Experimenten erwies sich Retrieval Augmented Generation als verlässliche Grundlage für genaue und überprüfbare Antworten, insbesondere wenn die Inhalte kursgebunden und zugriffsbeschränkt sind. Parametereffiziente Anpassungen mit LoRA ergänzen den Ansatz dort, wo Abruf nicht praktikabel ist oder wo domänenspezifisches Wissen nicht in dokumentierter Form vorliegt. Die strukturierte Erzeugung maschinenlesbarer Artefakte, etwa von Quizfragen für das Lernmanagementsystem, hat sich als robust erwiesen. Diese Erkenntnisse erklären, warum die gewählte Kombination in der Praxis funktioniert und an welchen Stellen sie erweitert werden kann.