Herausforderung KI-Dokumentation

Wie wir den Einsatz von KI-Tools dokumentieren können

„Warum nicht einfach die Prompts mit abgeben?“ Diesen Vorschlag höre ich immer wieder von Lehrenden, die den Einsatz von KI transparenter machen wollen. In diesem Beitrag erkläre ich, warum dieser Ansatz nicht praktikabel ist und wie eine zweckmäßige Dokumentation aussehen kann.

Warum Prompts nicht ausreichen

Auf den ersten Blick scheint es eine logische Lösung zu sein: Die Studierenden geben einfach die Prompts ab, die sie zur Generierung ihrer KI-generierten Texte verwendet haben. In der Praxis stößt dieser Ansatz jedoch auf verschiedene Schwierigkeiten.

Erfahrene Nutzerinnen und Nutzer von KI-Tools arbeiten selten mit einem einzigen Prompt. Stattdessen entwickeln sie ihre Texte in einem dynamischen Dialog mit der KI, der aus vielen aufeinander folgenden Eingaben und Antworten besteht. Diese Dialoge können sich über viele Seiten erstrecken und sind oft sehr detailliert - selbst für die Erstellung eines einzigen Absatzes.

Ein weiteres Problem ist die Verwendung mehrerer KI-Tools bei der Erstellung eines Textes. So können z.B. bei einer Literaturrecherche verschiedene Tools für die Informationssuche, die Textoptimierung und die grammatikalische Optimierung eingesetzt werden. Eine einfache Auflistung der verwendeten Prompts würde diese komplexen Prozesse nur unzureichend abbilden und das Zusammenspiel der Tools verdecken.

Darüber hinaus passen einige KI-Tools, wie z.B. ChatGPT, ihre Ausgabe nicht nur an den aktuellen Prompt an, sondern auch an frühere Chatverläufe der Nutzenden. Das bedeutet, dass die KI auf eine ganze Reihe früherer Interaktionen zurückgreifen kann, was die Ergebnisse beeinflusst. Außerdem basieren die Ergebnisse von KI-Tools im Gegensatz zur Programmierung auf Wahrscheinlichkeiten und sind daher nicht reproduzierbar. Die Ergebnisse der KI können nicht reproduziert werden, selbst wenn alle Prompts dokumentiert werden.

Für Lehrende bedeutet das, dass die einfache Dokumentation von Prompts keine zuverlässige Methode ist, um die Nutzung von KI zu bewerten. Stattdessen sollte der Schwerpunkt auf dem Verständnis und der kritischen Bewertung des gesamten kreativen Prozesses liegen.

Grenzen der Zitierfähigkeit von KI

Ein anderer Vorschlag, den ich oft von Lehrenden höre, ist, KI-generierte Inhalte nach APA7 zu zitieren. Auch dies führt selten zu den gewünschten Ergebnissen. Man kann z.B. ChatGPT nach diesen Richtlinien zitieren, aber dieses Zitat ist im Gegensatz zu einem „normalen“ Zitat nicht reproduzierbar. Es handelt sich auch nicht um eine wissenschaftliche Quelle. Für die Erstellung des Literaturteils einer wissenschaftlichen Arbeit sollte eine solche Quellenangabe daher auf keinen Fall verwendet werden. Wenn man aber im empirischen Teil einer Arbeit z.B. verschiedene Large Language Models miteinander vergleicht, kann ein solches KI-Zitat hilfreich sein.

Eine praktikable Lösung: Prozessdokumentation

Aber was kann ich tun, wenn ich wissen möchte, welche KI-Tools die Studierenden bei der Erstellung ihrer Aufgabe verwendet haben? Dazu verwende ich eine Prozessdokumentation. Ich nenne das bewusst nicht KI-Prozessdokumentation, sondern Prozessdokumentation, weil wir in Zukunft nicht mehr unterscheiden können, ob eine Funktion in einem Tool auf KI basiert oder nicht. Beispielsweise integriert Microsoft immer tiefer KI-Funktionen in Office 365. Deshalb bestehe ich bei wissenschaftlichen Arbeiten darauf, dass die Studierenden eine Prozessdokumentation der verwendeten Tools erstellen.

Zwei Varianten der Prozessdokumentation

Diese Prozessdokumentation kann auf zwei Arten erfolgen. Die einfachere und von den meisten Studierenden bevorzugte Methode ist eine Tabelle im Anhang der Arbeit, in der die verwendeten Werkzeuge und eine kurze Beschreibung ihres Zwecks aufgeführt sind. Für diesen Artikel würde die Prozessdokumentationstabelle beispielsweise wie folgt aussehen

Wie man an diesem Beispiel sehen kann, zeigt die Tabelle nicht genau, wie der custumized GPTs verwendet wird. Dieser ChatBot, den ich mit Textbeispielen und spezifischen Informationen für Substack-Artikel konfiguriert habe, verwandelt meine ersten Entwürfe in einheitlichere Texte mit einem klaren roten Faden. Was die Tabelle nicht zeigt, ist, dass ich den Textvorschlag von ChatGPT mit weiteren Prompts überarbeite und den resultierenden Text dann manuell anpasse. Obwohl die tabellarische Prozessdokumentation Transparenz suggeriert, ist der gesamte Prozess im Detail keineswegs nachvollziehbar.

Um diesem Ziel näher zu kommen, bietet sich die zweite Variante an: eine detaillierte Beschreibung der verwendeten Tools in einem Unterkapitel der wissenschaftlichen Arbeit. Dies kann entweder in einem Kapitel erfolgen oder in zwei Kapiteln, eines im Literaturteil und eines im empirischen Teil. Optional kann diese Beschreibung durch eine grafische Darstellung des Prozesses ergänzt werden. Diese zweite Variante der Prozessdokumentation bietet einen umfassenderen Überblick als eine reine Tabelle.

Einsatz und Nutzen der Prozessdokumentation

Wenn meine Studierenden solche Prozessdokumentationen für ihre Masterarbeiten erstellen, sind diese oft mehrere Seiten lang. Dennoch ist diese Methode praktikabel, um den Einsatz von Tools bei der Texterstellung transparent zu machen. Für wissenschaftliche Arbeiten, insbesondere Abschlussarbeiten, halte ich sie für sinnvoll und verlange daher von meinen Studierenden eine solche Dokumentation. Ich denke aber, dass die Erstellung solcher Prozessdokumentationen nur ein Übergangsphänomen ist.

Der Blick in die Zukunft

In Zukunft wird die überwiegende Mehrheit der Texte mit KI-Unterstützung erstellt werden - idealerweise mit KI als Copilot, um Texte zu optimieren und nicht nur zu generieren. Wenn das zur Normalität wird, muss der Einsatz von KI nicht mehr explizit dokumentiert werden, so wie wir heute nicht dokumentieren, dass wir das Programm Word inklusive Rechtschreibkorrektur verwendet haben. Am Ende zählt das Ergebnis. Da sich der Prozess der Erstellung von Inhalten durch KI derzeit im Umbruch befindet, kann eine Dokumentation des Einsatzes von KI zum jetzigen Zeitpunkt sinnvoll sein. Diese Dokumentation dient nicht nur der Evaluation des KI-Einsatzes, sondern vor allem der Selbstreflexion des eigenen Arbeitsprozesses. Darüber hinaus bietet sie die Möglichkeit, von den KI-gestützten Arbeitsprozessen anderer zu lernen.

Der eigentliche Nutzen der Prozessdokumentation

Der Hauptgrund, warum ich von den Studierenden eine Prozessdokumentation verlange, ist, mehr über ihre KI-gestützten Arbeitsprozesse zu erfahren. Wenn diese Dokumentationen nicht nur von mir, sondern auch von anderen Studierenden gelesen werden, entsteht eine Diskussionsgrundlage. So können die verschiedenen Ansätze und Tools zur Erstellung von Inhalten besser verstanden werden. Auf diese Weise lernen alle Beteiligten voneinander und entwickeln ihre eigenen Arbeitsprozesse weiter.

Meine LinkedIn-Beiträge

Die folgenden LinkedIn-Beiträge habe ich seit dem letzten Newsletter veröffentlicht und sind auch ohne LinkedIn-Mitgliedschaft frei zugänglich:

Die Erkennbarkeit von KI-generierten Texten

Können Lehrende KI-generierte Texte erkennen? Eine aktuelle Studie von Fleckenstein et al. (2024) untersucht diese spannende Frage und zeigt, wie sich KI auf die akademische Integrität und die Bewertungspraxis auswirkt.

Turing-Test: Verhält sich ChatGPT wie ein Mensch?

Wie menschlich verhält sich ChatGPT? Die Studie von Mei et al. (2024) untersucht, ob das Verhalten von KI-Chatbots wie ChatGPT von menschlichem Verhalten unterschieden werden kann.

E-Learning Praxisprojekte

Wie sieht die Bildung von morgen aus? Ein exklusiver Blick hinter die Kulissen innovativer Projekte von Studierenden des Masterstudienganges E-Learning und Wissensmanagement.