Experiment: Adaptives Nutzer-Assessment

Onboarding muss keine lästige Pflicht sein. Was wäre, wenn es eine wirklich hilfreiche, sogar motivierende Erfahrung sein könnte – eine, die nicht nur misst, was man weiß, sondern auch dazu anregt, dabei zu lernen? Im Mai führen wir an der HTWK Leipzig ein Experiment mit über 150 Studenten durch, um genau das herauszufinden. Wir laden Sie ein, einen Blick hinter die Kulissen zu werfen.

Warum (und wie) wir Assessments neu denken

Jedes Jahr gehört zum Onboarding für technische Studiengänge irgendeine Form von „Assessment“: ein Quiz zu Themen wie Git, Projektmanagement oder Best Practices für Workflows. Zu oft sind das nur reine Pflichtübungen. Studenten klicken sich durch, sehen eine Punktzahl und machen weiter. Aber was wäre, wenn das Onboarding:

• Sich an Ihr Wissensniveau anpasst?
• Ihre spezifischen Wissenslücken aufzeigt?
• Empfehlungen gibt, wie ein persönlicher Tutor?
• Tatsächlich angenehm zu nutzen ist – mit einer freundlichen, unterstützenden Oberfläche?

Unser Experiment untersucht all diese Fragen mithilfe einer neuen webbasierten Assessment-Plattform – unterstützt durch KI und gestaltet nach lernwissenschaftlichen Prinzipien.

Das Experiment: A/B/C-Testing von Assessment-Methoden, nicht nur von Studenten

Wir teilen unsere Onboarding-Kohorte in drei Gruppen auf, jede mit einer anderen Erfahrung:

• Gruppe A: Erhält ein reichhaltiges, interaktives digitales Assessment – mit visueller Fortschrittsanzeige, Badges, sofortigem Feedback und einem Hauch von Gamification („gute UI“).
• Gruppe B: Erhält eine minimale, schnörkellose Version – dieselben adaptiven Fragen, aber eine reduzierte Benutzeroberfläche („minimale UI“).
• Gruppe C: Erhält das traditionelle Onboarding-Material (PDF/Handout) zu Git und Projektmanagement („Status Quo“).

Alle Teilnehmer, unabhängig von der Gruppe, absolvieren anschließend einen standardisierten finalen Wissenstest. Wir vergleichen die Ergebnisse, um zu sehen, welcher Ansatz tatsächlich das meiste Verständnis (und die höchste Zufriedenheit) fördert.

Zusätzlich sammeln wir Feedback zur Nutzererfahrung und protokollieren detailliert, wie die Studenten mit dem Assessment-Tool interagieren. So erfahren wir nicht nur, was inhaltlich funktioniert, sondern auch, wie die Studenten die Erfahrung wahrnehmen.

Was steckt dahinter?

Die Assessment-Plattform ist eine modulare Webanwendung. Das macht sie besonders:

1. KI-gestützte, adaptive Fragen

• Das Assessment startet mit einer Fragerunde zu dem entsprechenden Thema, hierbei sind Fragen aus verschiedenen Bereichen und Schwierigkeiten dabei.
• Basierend auf der festgestellten Leistung – sowohl bei Multiple-Choice- als auch bei offenen Fragen – wird die nächste Runde an die individuellen Stärken und Schwächen angepasst.
• KI hilft bei der Bewertung von Freitextantworten und gibt umsetzbares, freundliches Feedback zur Identifikation von Wissenslücken.

2. Personalisierte Empfehlungen

• Am Ende des Assessments hebt die Plattform Ihre Wissenslücken hervor und gibt konkrete Tipps oder Ressourcen, um vor der nächsten Fragerunde Wissenslücken zu schließen.
• In Gruppe A sollen Gamification-Elemente (Badges, Fortschrittsbalken, Zusammenfassungen) motivieren und Stärken anerkennen.

3. Datenschutzkonforme, datenreiche Analytik

• Alle Antworten, Nutzungsstatistiken (Interaktionsdaten) und Feedbacks werden – streng anonymisiert – für Forschungszwecke protokolliert. So können wir analysieren, welche Methoden wirklich das Lernen fördern und nicht nur das Abhaken von Aufgaben.
  
  

Die eigentlichen Fragen, die wir stellen

• Hilft adaptives, KI-basiertes Assessment den Studenten tatsächlich beim Lernen (gemessen an der Leistung im Abschlusstest), verglichen mit statischen Materialien (Status Quo)?
• Steigert eine durchdacht gestaltete, ansprechende Benutzeroberfläche (Variante A) die Motivation, die Nutzererfahrung und potenziell die Lernergebnisse im Vergleich zu einer minimalen Oberfläche (Variante B)?
• Wie können wir das Onboarding zu einem echten Startvorteil für alle Studenten machen, unabhängig von ihrer Vorerfahrung?
  
  

Wohin führt das?

Uns geht es um mehr als nur Testergebnisse. Ziel ist es, das Onboarding:

• Schneller zu machen, indem wir gezielt auf das eingehen, was Sie noch nicht wissen.
• Unterstützender zu gestalten, durch sofortiges, individuelles Feedback.
• Motivierender zu machen, damit Sie sich gut auf das Softwareprojekt vorbereitet fühlen – nicht frustriert oder überfordert.

Und wenn die Daten es bestätigen, haben wir eine Blaupause für ein besseres Onboarding, nicht nur für Softwareprojekte, sondern für potenziell jeden Bereich, auch außerhalb des Hochschulbetriebs.

Bleiben Sie dran!

Wir werden voraussichtlich im Juni über die Ergebnisse berichten. In der Zwischenzeit freuen wir uns darauf, an vorderster Front dabei zu sein, das Onboarding im Hochschulbereich intelligenter, nutzerzentrierter und – Daumen drücken – ein bisschen unterhaltsamer zu gestalten.

Haben Sie Anmerkungen oder Fragen? Schreiben Sie uns!
Und bleiben Sie gespannt auf die Ergebnisse.