KI Temperatur

Der Kreativitätsregler der künstlichen Intelligenz

"Aber wie denkt KI eigentlich?" Diese Frage einer Teilnehmerin meiner letzten KI-Schulung hat mich zum Nachdenken gebracht. Vor eineinhalb Jahren, als ich selbst meine ersten Schritte im ChatGPT machte, hätte ich darauf keine befriedigende Antwort geben können. Damals, Ende 2022, war KI für mich noch eine mysteriöse Blackbox - faszinierend in ihren Möglichkeiten, aber undurchschaubar in ihrer Funktionsweise. In meinen ersten Vorträgen und Workshops habe ich mich daher vor allem auf die praktische Anwendung konzentriert. Doch die Erfahrungen aus unzähligen Schulungen und der intensive Austausch mit Kolleginnen und Kollegen haben meine Perspektive grundlegend verändert: Um KI effektiv in der Lehre einsetzen zu können, brauchen wir zumindest ein grundlegendes Verständnis ihrer Funktionsweise. Der Schlüssel zu diesem Verständnis liegt, wie ich heute weiß, auch in einem zunächst unscheinbar wirkenden Begriff: der "Temperatur" - ein Aspekt, den ich in keiner KI-Einführung mehr auslasse.

Die Magie der Temperatur verstehen

KI ist wie ein Autor, der Wort für Wort eine Entscheidung trifft. Wie ein Mensch, der einen Text schreibt, wählt sie Wort für Wort aus - nur um ein Vielfaches schneller und anhand von Mustern aus Milliarden von Texten. Die "Temperatur" bestimmt dabei, wie "kreativ" diese Auswahl sein darf.

Ein einfaches Beispiel macht das deutlich. Geben wir der KI den Satzanfang "Die Sonne scheint...":

• Bei niedriger Temperatur (konservativ): "Die Sonne scheint hell vom Himmel. Es ist ein warmer Tag."

• Bei mittlerer Temperatur (ausgewogen): "Die Sonne scheint durch die Blätter der alten Eiche und wirft tanzende Schatten auf den Rasen."

• Bei hoher Temperatur (experimentell): "Die Sonne scheint in purpurne Träume, flüstert den Wolkenschafen die Geheimnisse des Regenbogens zu".

Die Temperatur als Steuerungselement

Die Temperatur ist nicht nur eine theoretische Größe - sie ist ein konkretes Steuerungselement. In ChatGPT können wir sie direkt in der Entwicklungsumgebung einstellen, in Claude mit Befehlen wie "Temperature = 0.5".

Um zu verstehen, was im Hintergrund passiert, müssen wir einen Blick auf die Funktionsweise werfen: KI-Modelle arbeiten mit Wahrscheinlichkeiten und so genannten Tokens - kleinen Textbausteinen, die dem System eine enorme Flexibilität bei der Sprachverarbeitung ermöglichen. Bei jeder Texteingabe berechnet das System, welche dieser Tokens als Nächstes am wahrscheinlichsten sind.

Die Temperatur wirkt dabei wie ein Kreativitätsregler: Bei niedriger Einstellung verhält sich das System wie ein vorsichtiger Wissenschaftler, der nur die wahrscheinlichsten Optionen auswählt. Bei hoher Temperatur verhält es sich eher wie ein experimentierfreudiger Künstler, der auch ungewöhnliche Kombinationen wagt. Dies erklärt auch, warum KI-Systeme bei hohen Temperaturen manchmal überraschende Wortschöpfungen hervorbringen.

Die Sprache der KI verstehen - Tokens statt Wörter

Ein weiteres Konzept hilft, KI zu verstehen: KI-Systeme denken nicht in ganzen Wörtern, sondern in sogenannten Tokens. Das sind die eigentlichen Bausteine, mit denen KI arbeitet. Ein einfaches Beispiel: Der Satz "Die Sonne scheint" könnte in drei Tokens zerlegt werden: "Die", "Sonne", "scheint". Komplexere Wörter wie "Quantenphysik" könnten in "Quanten-" und "-physik" zerlegt werden.

Diese Arbeitsweise macht KI-Systeme erstaunlich flexibel. Sie können auch mit unbekannten Wörtern umgehen, indem sie sie in bekannte Teile zerlegen. Das erklärt auch, warum KI-Systeme selbst mit Fachausdrücken oder komplizierten Zusammensetzungen oft erstaunlich gut zurechtkommen.

Token und Temperatur im Zusammenspiel

Die Kombination von Token und Temperatur macht die Arbeitsweise der KI etwas verständlicher: Bei jeder Eingabe zerlegt sie den Text zunächst in Tokens. Dann berechnet sie eine Wahrscheinlichkeit für jedes mögliche nächste Token. Die Temperatur bestimmt schließlich, wie kreativ diese Token-Auswahl sein darf.

Diese Erkenntnis hat auch praktische Konsequenzen für meinen Lehralltag. Wenn ich heute Lernende auffordere, mit KI zu experimentieren, erkläre ich ihnen zuerst diese grundlegenden Konzepte. Das Verständnis von Token und Temperatur hilft ihnen, die Antworten der KI besser einzuordnen und gezielter mit den Systemen zu arbeiten.

Ein weiterer spannender Aspekt: KI-Systeme haben ein Token-Limit - sie können nur eine bestimmte Menge an Text auf einmal verarbeiten. Längere Texte können KI-Systeme oft nicht gut verarbeiten. Das ist für die Praxis wichtig zu wissen: Bei längeren Texten sollten die wichtigsten Informationen am Anfang stehen.

Fazit: Neue Perspektiven für die Lehre

Die Konzepte von Temperatur und Token sind mehr als technische Details - sie sind Schlüssel zu einem bewussteren Umgang mit KI. Sie helfen uns zu verstehen, warum KI manchmal präzise und sachlich, manchmal aber auch überraschend kreativ antwortet. Mit diesem Wissen können wir KI gezielter und effektiver in unsere Lehre integrieren.

Mit diesem tieferen Verständnis eröffnen sich neue Horizonte. Statt KI als undurchschaubare Technologie zu behandeln, können wir sie als flexibles Werkzeug nutzen, dessen Stärken und Grenzen wir besser kennen. Das macht nicht nur unseren eigenen Umgang mit KI souveräner, sondern hilft uns auch, die Lernenden besser auf eine Zukunft vorzubereiten, in der KI ein selbstverständlicher Teil des Lernens und Arbeitens sein wird.

MEINE LINKEDIN-BEITRÄGE

Die folgenden LinkedIn-Beiträge habe ich seit dem letzten Newsletter veröffentlicht und sind auch ohne LinkedIn-Mitgliedschaft frei zugänglich:

KI spiegelt die Ideologie ihrer Entwickler wider

Welche Ideologie steckt hinter ChatGPT & Co? Ein Forscherteam (Buyl et al., 2024) hat 17 verschiedene KI-Modelle getestet und zeigt: Die Systeme spiegeln die ideologischen Werte ihrer Entwickler wider.

Careless Whisper: Wenn KI-Transkripte Schaden anrichten

Wie viele Fehler verstecken sich in KI-Transkripten? Eine neue Studie zu OpenAIs Whisper (Koenecke et al., 2024) hat über 13.000 Audioaufnahmen analysiert und zeigt beunruhigende Ergebnisse.

KI-Darstellung

Sollten wir KI als Roboter darstellen? Diese Frage beschäftigt mich bei jeder Präsentation aufs Neue. Die Antwort ist komplexer als man denkt!

1.000 Personen simuliert: Interviews und KI

Wie funktionieren KI-gestützte Interviews? Stanford-Forschende um Park et al. (2024) zeigen in einer spannenden Studie, was möglich ist.

KI-Konzentration: Skalierung und Marktstruktur

Wie teuer wird die Nutzung von ChatGPT & Co? Die Rechenleistung, die für KI-Modelle benötigt wird, hat sich jedes Jahr vervierfacht. Die Kosten für die Textgenerierung mit GPT-4 sind jedoch im Vergleich zur ersten Version um 92 % gesunken. Eine neue Studie von Korinek und Vipra (2024) untersucht die weitreichenden Konsequenzen dieser paradoxen Entwicklung.