Paper

Abstract
In unserer neuen Studie haben wir das KI-Tool „KI-Korrekturhilfe“ des Unternehmens Fobizz getestet. Die KI-Korrekturhilfe soll Lehrkräften bei der Bewertung und Rückmeldung von Schülerarbeiten unterstützen. Im gesellschaftlichen Kontext eines überlasteten Bildungssystems und wachsender Erwartungen an den Einsatz von künstlicher Intelligenz zur Lösung dieser Probleme analysiert die Untersuchung die funktionale Eignung des Tools anhand von zwei Testreihen. Dabei zeigen die Ergebnisse erhebliche Defizite: Die numerischen Bewertungen und qualitativen Rückmeldungen des Tools hängen häufig vom Zufall ab und verbessern sich nicht durch die Einarbeitung der Verbesserungsvorschläge des KI-Tools. Eine Bestbewertung ist nur mit Texten erreichbar, die von ChatGPT geschrieben sind. Falschbehauptungen und Nonsense-Abgaben werden häufig nicht erkannt, und die Umsetzung einiger Bewertungskriterien ist unzuverlässig und intransparent. Da diese Mängel aus den fundamentalen Einschränkungen großer Sprachmodelle (LLMs) resultieren, sind grundlegende Verbesserungen dieses oder ähnlicher Tools nicht unmittelbar zu erwarten. Die Studie kritisiert den allgemeinen Trend, KI als schnelle Lösung für systemische Probleme im Bildungswesen einzusetzen. Sie kommt zu dem Schluss, dass die Vermarktung des Tools durch Fobizz als objektive und zeitsparende Lösung irreführend und unverantwortlich ist und mahnt zu systematischer Evaluation und fachdidaktischer Prüfung des Einsatzes von KI-Tools im Schulkontext.

Der Materialanhang (mit allen Testprotokollen) ist hier erhältlich.

Deutschlandfunk Kultur: Sendung Breitband am 28.12.2024 live vom 38c, mit Vera Linß und Jenny Genzmer, ab Minute 24:30
Netzpolitik.org: Artikel von Esther Menhard, 29.12.2024
heise Online: Artikel von Marie-Claire Koch, 31.12.2024