Projektergebnisse von KI in LMS (2020 – 2022)

Im Auftrag des Planungsamts der Bundeswehr untersuchte der Verbund der Fraunhofer-Institute FKIE, FOKUS und IOSB von 2020 bis 2022 prototypisch den Einsatz von Techniken der künstlichen Intelligenz (KI) am Beispiel der lehrgangsgebundenen Individualausbildung im Heer. Hierzu wurden mögliche Mehrwerte des Einsatzes von KI zur Optimierung der Ausbildung identifiziert und durch eine technische Erprobung verifiziert.

Nachfolgend werden die Ergebnisse aus dieser ersten Studie „KI in LMS“ als Beitrag zusammengefasst, während auf der Hauptseite kilms.fraunhofer.de die Ergebnisse aus der Folgestudie „KI LMS 2“ (2023 bis 2025) präsentiert werden.

Kurzfassung

Mittels einer Anforderungserhebung mit den wichtigsten Rollenträgern und Stakeholdern des zuständigen Heeresbereichs identifizierten die Fraunhofer-Institute eine Auswahl von vier KI-Funktionalitäten, die in einem Demonstrator umgesetzt und erprobt werden sollten.

Zur Realisierung der KI-gestützten Lernumgebung wurde das im Heer bereits vorhandene Lernmanagementsystem (LMS) Moodle mit der innovativen Fraunhofer Common Learning Middleware (CLM) und einer mobilen Lernapplikation verknüpft. In einem Feldtest mit begleitender Befragung wurde der Lösungsansatz anschließend evaluiert. Hierbei bestätigten sich die Vorteile des Einsatzes von KI, z. B. durch personalisierte Assistenz und Nutzungsanalysen.

Kurzvorstellung des Demonstrators

Mission und Vision

Die explorative Studie „KI in LMS“ untersuchte prototypisch den Einsatz von Techniken der künstlichen Intelligenz (KI) am Beispiel der lehrgangsgebundenen Individualausbildung im Heer. Hierzu wurden mögliche Mehrwerte des Einsatzes von KI zur Optimierung der Ausbildung identifiziert und durch eine technische Erprobung verifiziert.

Warum Künstliche Intelligenz in der Bildung ?

Mit Künstlicher Intelligenz werden typischerweise Computersysteme beschrieben, die in der Lage sind, Aufgaben auszuführen, die normalerweise menschliche Intelligenz erfordern beziehungsweise die Fähigkeit besitzen, intelligentes menschliches Verhalten nachzuahmen.

Mit den aktuell verfügbaren Methoden der künstlichen Intelligenz, umgangssprachlich als schwache künstliche Intelligenz bekannt, können so »klar definierte Aufgaben mit einer festgelegten Methodik bewältigt werden, um komplexere, aber wiederkehrende und genau spezifizierte Probleme zu lösen« (FHWS Hochschule für angewandte Wissenschaften Würzburg-Schweinfurt, 2021).

Die KI arbeitet im Allgemeinen in drei Schritten:

• sie analysiert zugeführte Daten, indem sie beispielsweise Zusammenhänge und Abhängigkeiten erkennt,
• sie bewertet diese Informationen nach menschlichen Kriterien und
• reagiert im Anschluss, indem sie den Nutzenden Feedback gibt oder selbst Entscheidungen trifft.

Wichtig ist an dieser Stelle anzumerken, dass wir für eine stark eigenverantwortliche Nutzung der künstlichen Intelligenz durch die Nutzenden plädieren. Eine undifferenzierte Akzeptanz jeglicher durch eine KI getroffener Einscheidung halten wir hingegen für problematisch.

Vielmehr soll die KI als Unterstützung regelmäßiger Abläufe verstanden werden, die zu einer Effizienz- und Effektivitätssteigerung führt.

Zudem sollten die KI-Funktionalitäten die Kompetenzorientierte Ausbildung (KOA) unterstützen, d. h., das auf die Lernenden zentrierte, selbst aktivierte und selbstbestimmte Lernen fördern sowie beim selbstständigen Organisieren des Lernprozesses nach individuellen Neigungen und Interessen unterstützen. Auch Ausbildende können durch KI im Sinne der KOA z. B. bei der Lerngruppenanalyse unterstützt werden.

Ziele für die Bundeswehr

Die Streitkräfte möchten die Innovationskraft des digitalen Wandels für sich nutzen. Die Vision ist eine attraktive, moderne und zielgenau gesteuerte Ausbildung, die das richtige Personal zum richtigen Zeitpunkt gut ausgebildet und handlungsfähig zur Verfügung stellt. Hierfür sollen aufwachsend verfügbare Funktionalitäten aus den Bereichen Digitalisierung, künstliche Intelligenz (KI) und Big Data in die bestehende Ausbildungslandschaft der Streitkräfte integriert werden.

In dieser explorativen Studie, die durch das Planungsamt der Bundeswehr beauftragt wurde, sollen Mehrwerte und Machbarkeit eines KI-unterstützten Lernmanagementsystems nachgewiesen werden. Hierzu wurde prototypisch anhand der Ausbildungslandschaft des Heeres untersucht,

• welche KI-Funktionalitäten generell gefordert/ gebraucht werden (Anforderungsanalyse),
• wie diese prototypisch umgesetzt und in die bestehende Lernumgebung integriert werden können (softwarebasierter Demonstrator),
• ob ein prognostizierter Mehrwert von den Nutzenden bestätigt wird (Evaluation),
• wie hoch der Aufwand für die Umsetzung einzuschätzen ist.

Methodik

Eine Erhebung fachlicher Anforderungen wurde mit den wichtigsten Rollenträgern und Stakeholdern des Heeres aus dem betreffenden Aufgabengebiet durchgeführt. Im Ergebnis wurden vier KI-Funktionalitäten (Lernempfehlungen, Chatbot, adaptive Aufgabenstellungen, Dashboard für Lehrende) identifiziert, in einem Demonstrator umgesetzt und mittels der innovativen, interoperablen Fraunhofer Common Learning Middleware (CLM), einer mobilen Lernapplikation und dem vorhandenen Lernmanagementsystem »Moodle« zu einer kleinen KI-gestützten Lernumgebung verknüpft.

Ein Feldtest des Demonstrators mit begleitender Befragung evaluierte den realisierten Lösungsansatz an der Pionierschule des Heeres. Die qualitativen Ergebnisse der verschiedenen Nutzergruppen an der Schule bestätigten im ersten Ansatz deutliche Mehrwerte des Einsatzes von KI, zeigten aber auch notwendigen Entwicklungs- und Veränderungsbedarf auf. Eine wirkungsvolle technische Unterstützung der lehrgangsgebundenen Individualausbildung durch KI-Funktionalitäten mit dem gewählten Ansatz scheint aufgrund der Erfahrungen an der Pionierschule des Heeres möglich. Die prototypische Umsetzung ermöglichte darüber hinaus die Schärfung der Anforderungen der Streitkräfte an die zukünftige virtuelle Lernumgebung der Bundeswehr (VLBw).

Bildungsökosystem

Zur erfolgreichen Realisierung des Demonstrators ist das reibungslose Zusammenspiel mehrerer, vielschichtiger Komponenten nötig – von grafischen Oberflächen für die Nutzenden, über eine Middleware zur Vermittlung von Daten zwischen den beteiligten Diensten hin zu Datenbanken und KI-Komponenten. Um verteilte Applikationen dieser Art zu implementieren sowie deren Skalierbarkeit und Wartbarkeit zu garantieren, ist eine gut durchdachte Software-Architektur unumgänglich. Der Demonstrator setzt hierbei auf die sogenannte Microservice-Architektur. Die funktionalen Komponenten des Demonstrators verfügen über eigene standardkonforme Schnittstellen und können so unabhängig von anderen Diensten entwickelt und kontinuierlich bereitgestellt werden.

Architektur

Der Hauptdatenfluss der Demonstrator-Infrastruktur (entsprechend der Abb. in Pfeilrichtung) findet jeweils über einen der folgenden drei Wege statt:

• LTI – Learning Tools Interoperability (IMS Global Learning Consortium, 2021): Standard zur Darstellung von Tools. Ein Tool kann bspw. ein Lerninhalt, eine Übung, ein Dashboard oder eine andere Visualisierung der künstlichen Intelligenz sein.
• xAPI – Experience API (Advanced Distributed Learning Initiative, 2021): Verhaltensdaten (Learning Records), die bei der Benutzung von Tools entstehen.
• Proprietär: Direktverbindung zwischen zwei Komponenten (meist per REST-Schnittstelle und Daten im JSON-Format), um die nahtlose Integration von KI-Funktionen zu ermöglichen.

Middleware zur Orchestrierung der KI-Dienste

Die Common Learning Middleware (CLM) ist der Mediator zwischen den beteiligten Diensten. Dieser Hintergrunddienst ermöglicht den Login durch die Nutzenden am Gesamtsystem (ausgelöst durch das einmalige Anmelden in der Smart Learning App), leitet Anfragen der Apps und Lernmanagementsysteme für das Darstellen von Tools (Inhalten und KI-Ansichten) an die entsprechenden Tool-Provider (Backend-Dienste) weiter und erhält Aktivitätsdaten (Learning Records) im xAPI-Format, leitet diese pseudonymisiert an eine Datenbank für Aktivitätsdaten (Learning Record Store) weiter.

Content Repositories

Das Lernmanagementsystem Moodle (hier als Tool Provider) kann nicht nur zur Darstellung von Inhalten, sondern auch als Datenbank für Inhalte und Medien dienen und leitet diese per LTI-Standard an die entsprechenden Applikationen und Lernmanagementsysteme weiter.

Learning Record Stores

Die Learning Record Stores (LRS) speichern Learning Records entsprechend der xAPI Spezifikation, die sie über die Middleware pseudonymisiert erhalten. Der Master (Hauptempfänger) erhält direkt alle Learning Records von der Middleware, während der Mirror (Replikation) nur eine Kopie aller Learning Records vom Master bekommt. Die Replikation ist für eine effizientere verteilte Auswertung der Daten durch die KI-Komponenten von Vorteil.

Datenverarbeitende KI-Dienste

Das Lernempfehlungssystem Smart Learning Recommender wertet die pseudonymisierten Learning Records der Demonstrator-Nutzenden aus, indem die Daten aus dem LRS geladen werden. Die Komponente berechnet Lernbedarfe pro Nutzende und Inhalt auf Basis verschiedener Aktivitäten (Übungsperformance, Inhaltenutzung, Selbsteinschätzungen) und erzeugt Lernfortschrittsübersichten und Lernempfehlungen.

Das Learning Analytics Dashboard erzeugt Übersichten und Auswertungen der Learning Records für Lehrende.

Der Dienst E-Learning Artificial Intelligence (ELAI) analysiert die Learning Records aus dem LRS und setzt sie in ein internes Modell des Nutzenden um. Durch Selbsteinschätzungen und die Ergebnisse in Übungen wird der Schwierigkeitsgrad von Übungen angepasst.

Der Dienst Spot-X ist eine Mobile Learning-Komponente zur Darstellung von adaptiven, gamifizierten Übungsaufgaben als Quiz. Diese Quiz können allein von Nutzenden, oder auch als eine Art Duell gegen mehrere Nutzende durchgeführt werden. Gamification Methoden (z. B. Wettbewerb, Achievements) erhöhen dabei die Motivation. Die Übungsaufgaben und Quiz können mittels der ELAI in ihrer Schwierigkeit angepasst werden.

Der Chatbot, eingebunden als virtueller Lernassistent, ist eine KI-Komponente, die individuelle Fragen zum Demonstrator, der Kursdurchführung und den wichtigsten Inhalten in natürlich-sprachlicher textueller Form beantwortet.

KI-Funktionen

KI-Demonstrator

Eine Erhebung fachlicher Anforderungen wurde mit den wichtigsten Rollenträgern und Stakeholdern des Heeres aus dem betreffenden Aufgabengebiet durchgeführt. Im Ergebnis wurden vier KI-Funktionalitäten (Lernempfehlungen, Chatbot, adaptive Aufgabenstellungen, Dashboard für Lehrende) identifiziert, in einem Demonstrator umgesetzt und mittels der innovativen, interoperablen Fraunhofer Common Learning Middleware (CLM), einer mobilen Lernapplikation und dem vorhandenen Lernmanagementsystem »Moodle« zu einer kleinen KI-gestützten Lernumgebung verknüpft.

Portal – Smart Learning App

Die Smart Learning App stellt den zentralen Einstiegspunkt für die Kursteilnehmenden dar und unterstützt sie aktiv beim Lernen, sowohl innerhalb als auch außerhalb des Präsenzunterrichts. Dabei bündelt die Smart Learning App mehrere Kern-Komponenten des KI-Demonstrators in einer intuitiven Benutzeroberfläche, welche im Rahmen der Studie an das Corporate Design der Bundeswehr angepasst wurde. Nach dem erfolgreichen Login haben die Teilnehmenden Zugriff auf didaktisch aufbereitete digitale Lernmaterialien zu verschiedenen Kursen, wie beispielsweise »Lösen von Gleichungen mit einer Variablen« sowie auf interaktive Übungsaufgaben.

Smart Learning Recommender

Das Kernstück der Smart Learning App stellt das sogenannte Lernempfehlungssystem dar, welches jedem Kursteilnehmenden basierend auf seinen Inhaltsabrufen, Selbsteinschätzungen und Übungserfolgen den persönlichen Lernfortschritt errechnet und individuelle Lernempfehlungen gibt.
Bei den Empfehlungen kann es sich beispielsweise um ganze Lerneinheiten handeln, die die Teilnehmenden noch nicht absolviert haben, oder um einzelne Lernobjekte, bei denen die Teilnehmenden noch einen erhöhten Lernbedarf aufweisen. Die Lernempfehlungen basieren auf der Interaktion mit der Smart Learning App.

Adaptive Trainingsaufgaben

Adaptivität regelt die Assistenzsysteme derart, dass sie sich an das Verhalten der Nutzenden anpassen. Die Mehrwerte ergeben sich aus einem personalisierten Nutzungserlebnis, was sich positiv auf die Nutzungsmotivation auswirken kann.

Eine Form der Anpassung ist die dynamische Schwierigkeitsadaption (DDA, Dynamic Difficulty Adjustment, auch Rubber Banding genannt). Die DDA KI wurde im Lernspiel SpotX zum gamifizierten Training von Matheaufgaben integriert und sie zeigt sich durch eine Regelung des verfügbaren Zeitbudgets und der Anzahl von Distraktoren.

Die KI-Funktionalität wurde mithilfe eines externen KI-Adaptivität-Framework realisiert, das als kybernetisches Regelkreissystem die dynamische Schwierigkeitsanpassung von Spot-X regelt. Als Eingaben (Ist-Werte) werden Informationen primär aus den xAPI-Beobachtungsdaten bei der Berechnung zukünftiger Schwierigkeitsgrade herangezogen. Dies beinhaltet speziell den gemessenen Performance-Wert, also wie gut individuelle Nutzende eine Aufgabe bearbeitet haben.

Als Zielgröße für den Regelkreis (Soll-Wert) wird implizit einhundert Prozent angenommen, wodurch eine kontinuierliche Verbesserung der Bearbeitungsleistung angestrebt wird. Technisch erfolgt die Berechnung basierend auf dem Trend der Performance-Messungen und mithilfe einer harmonischen Summe. Das KI-Adaptivität-Framework ist generisch konzipiert und realisiert und kann für unterschiedliche Assistenzsysteme eingesetzt werden. Als Eingaben dienen Aktivitätsdatenströme (W3C Activity Streams oder xAPI).

Chatbot

Die Chatbot-Komponente beantwortet häufig gestellte Fragen, die zuvor in das System eingegeben wurden. Die KI hat dabei die Aufgabe, aus einer Fragestellung des Nutzenden zu erkennen, welche Absicht (Intent) dieser mit seiner Frage verfolgt, um anschließend aus allen vorhandenen Antworten die am besten geeignete auszuwählen und dem Lernenden zu präsentieren.

Aktuell unterstützt der Chatbot mehr als 250 Themen zu häufig gestellten Fragen wie beispielsweise: Wie funktioniert die Multiplikation? – Was sind Primzahlen? – Wie löse ich Klammern auf? – Wie geht der Satz des Pythagoras? – Welche Prüfungsanforderungen gibt es? Dafür wurde ein Glossar der Bundeswehr angebunden, welches dem Chatbot ermöglicht, gängige Begrifflichkeiten zu erkennen und auf Anfrage zu definieren – von »Allgemeine Militärische Ausbildung« bis »Zwischenprüfungen«.

Learning Analytics Dashboard

Die Visualisierung der Leistungskennzahlen für die Lehrenden bietet durch Übersichtsdiagramme eine Unterstützung zur Bewertung, welche Aufgaben von den Lernenden gut bzw. weniger gut gelöst wurden, oder welche Bearbeitungsdauer die einzelnen Aufgaben beanspruchen. Bei Learning Analytics werden die beobachteten Interaktionsdaten mit dem Ziel einer Lernoptimierung ausgewertet.

Mehrwert

Welcher Mehrwert ist mit dem Einsatz von Techniken künstlicher Intelligenz (KI) im Ausbildungsbereich erzielbar?

Dieser Frage ging eine explorative Studie nach, die im Verbund der Fraunhofer-Institute FKIE, FOKUS und IOSB im Auftrag des Planungsamts der Bundeswehr am Beispiel der lehrgangsgebundenen Individualausbildung des Heeres durchgeführt wurde. Mittels einer Anforderungserhebung mit den wichtigsten Rollenträgern und Stakeholdern des zuständigen Heeresbereichs identifizierten die Fraunhofer-Institute eine Auswahl von vier KI-Funktionalitäten, die in einem Demonstrator umgesetzt und erprobt werden sollten.

Schematische Darstellung des Einsatzes von KI in einem Lernmanagementsystem (LMS)

Nach Nutzung des KI-Demonstrators wurden vor Ort in Ingolstadt semi-strukturierte Interviews mit den Nutzenden durchgeführt. Die folgenden Mehrwerte wurden durch die Nutzenden selbst benannt:

• Spaß am Lernen
• gesteigerte Motivation (beispielsweise durch die Lernfortschrittsanzeige, bei der es als motivierend angesehen wurde, die Kacheln auf 100% Lernfortschritt zu bringen)
• guter Methodenmix (durch die verschiedenen Funktionen)
• Unterstützung beim Auffinden von Lerninhalten (beispielsweise durch die Lernempfehlungsanzeige)
• gesteigerte Flexibilität (durch orts- und zeitunabhängiges Lernen; auch bei Nicht-Verfügbarkeit des Ausbilders)
• Lerneffizienz, individueller Lernpfad (durch das Lernempfehlungssystem und die adaptiven Aufgaben)
• optimierter Ressourceneinsatz, Zeitersparnis (Mehrwert für die Lehrende, die einen besseren Überblick über den aktuellen Wissensstand des Kurses bekommen und darauf reagieren können)
• individuelle Förderung (durch das Lernempfehlungssystem, die adaptiven Aufgaben und den virtuellen Lernassistenten)
• Anpassung des Schwierigkeitsgrades (durch die adaptiven Aufgaben)
• Beschaffung aussagekräftiger Informationen über die Lernenden (durch das Lehrenden-Dashboard)

Es folgen einige Zitate aus den Interviews:

Zukünftige Mehrwerte

Zukünftig sind weitere Mehrwerte zu erwarten. Zum einen wird die KI durch häufigeren Einsatz und die Ausweitung auf mehr Inhalte effektiver und effizienter. Zum anderen sind weitere KI-Funktionalitäten (auch für weitere Rollenträger) denkbar, die zusätzliche Mehrwerte liefern. So sind beispielweise smarte Editoren zur Kuration und Kreation möglich, die AutorInnen bei der Erstellung digitaler Lerninhalte unterstützen. Personalisierte Lernpfade können Schwächen von Lernenden identifizieren und passende Hilfestellungen anbieten. Die ganzheitliche Ausbildungssteuerung kann durch ePortfolios unterstützt werden, die berufsbegleitend die Kompetenzen erfassen.