LLM-Context-vs-Training-Experiment

Seit Anfang Februar arbeiten wir mit der HTWK Leipzig zusammen, um herauszufinden, wie Künstliche Intelligenz das Lernen in Unternehmen revolutionieren kann. Unser Ziel: Wissen effizienter vermitteln, Mitarbeiter schneller einarbeiten und Lernprozesse optimieren. Dabei testen wir, wie Large Language Models (LLMs) mit vorgegebenen Informationen umgehen und ob sie diese zuverlässig nutzen, anstatt sich auf ihr angelerntes Wissen zu verlassen.

Das bringt uns direkt zu unserem ersten Experiment: dem LLM-Context-vs-Training-Experiment. Hier untersuchen wir, wie gut LLMs wie GPT oder Gemini mit unterschiedlichen Formen von Kursmaterial umgehen. Die Ergebnisse könnten richtig praktisch werden, z.B. für Schulungen oder Onboardings. Hier ein kurzer Überblick, was wir machen und wie wir das nutzen können.

Worum geht’s?

Im Experiment testen wir, wie gut LLMs mit verschiedenen Materialien klarkommen – Brandschutzschulung ist unser aktuelles Testgebiet. Dafür haben wir vier Versionen des Kursmaterials erstellt:

• Komplette Version – alles drin, was man braucht.
• Version mit Lücken – wichtige Teile fehlen absichtlich.
• Version mit Fehlern – mit falschen Infos gespickt.
• Kein Kontext – hier soll die KI aus ihrem „Bauchgefühl“ antworten.

Dazu spielen wir mit Anweisungen wie „Nur diese Infos nutzen!“, um zu sehen, wie die Modelle reagieren. Die Fragen, die uns interessieren: Erkennen sie eingebaute Fehler? Halten sie sich an den gegebenen Kontext?

Wie läuft das Experiment ab?

Wir haben das so aufgebaut, dass wir genau prüfen können, wie LLMs mit den Materialien umgehen. Wir stellen ihnen Fragen, geben ihnen die Dokumente und sammeln dann die Antworten. Diese werten wir systematisch aus – so sehen wir, ob die Modelle bei unseren Infos bleiben oder lieber Allgemeinwissen wiedergeben.

Nutzen für uns

Jetzt wird’s interessant: Wenn die LLMs zuverlässig mit unseren Infos arbeiten, könnten wir das intern einsetzen. Stellt euch vor:

• Schulungen und Onboardings: Neue Kolleg:innen fragen „Wie läuft ein Projekt-Setup bei uns?“ und kriegen präzise Antworten – nur aus unseren Materialien.
• Effizientere Prozesse: Projektmanagement oder Kundenschulungen könnten durch klar strukturiertes Wissen schneller laufen.
• Keine falschen Infos: Wir lernen, wie wir Materialien aufbereiten müssen, damit die KI nicht irgendwas erfindet.

Nächste Schritte

Das Experiment läuft noch, aber wenn sich die LLMs als verlässlich zeigen, könnten wir das Ganze nutzen, um automatisierte Lernerfahrungen auf themen- oder unternehmensspezifischen Daten durchzuführen.

Wir halten euch auf dem Laufenden – stay tuned!