Wird geladen
In dieser LektionAm Ende kannst du
  • Next Token Prediction als den Kernmechanismus generativer KI erklären und warum sie sowohl Flüssigkeit als auch Halluzination hervorbringt
  • Aufgaben auf dem Kontinuum der Next Token Prediction verorten (ausgetretener Pfad vs. neuartiges Terrain)
  • Spezifität (Namen, Daten, Zitate, Statistiken) als die Zone identifizieren, in der sich Erfindungen konzentrieren
  • Produktfunktionen (Zitationen, Unsicherheitssignalisierung, eingeschränkte Generierung, Generator-Verifizierer-Muster) als Abhilfemaßnahmen für diese Einschränkung erkennen

Wie KI-Modelle Next Token Prediction nutzen

Wird geladen

Next Token Prediction · 4 Min.

ZusammenfassungTranskript

Generative KI ist eher eine enorm ausgefeilte Autovervollständigung als eine Suchmaschine. Sie schreibt Antworten Wort für Wort, basierend darauf, was typischerweise worauf folgt. Genau diese eine Eigenschaft verschafft dir sowohl die Flüssigkeit als auch die Halluzination.

Autovervollständigung im großen Maßstab

Wird geladen

Wichtigste Erkenntnisse

  • Next Token Prediction bezieht sich auf die Tatsache, dass generative KI Antworten Wort für Wort schreibt, basierend darauf, was typischerweise worauf folgt.
    • Fähigkeitszone: Aufgaben, die Mustern ähneln, die das Modell schon oft gesehen hat (Zusammenfassen, Umformatieren, Erklären gängiger Konzepte).
    • Grenzzone: neuartiges oder dünn besetztes Terrain sowie überall dort, wo die Aufgabe erfordert, „wahr" von „klingt wahr" zu unterscheiden.
    • Erfindungen konzentrieren sich auf Spezifität: Namen, Daten, Statistiken, Zitationen, URLs, Zitate. Je präziser eine Behauptung, desto mehr rechtfertigt sie eine Überprüfung.
    • Produktfunktionen wie Zitationen, Unsicherheitssignalisierung, eingeschränkte Generierung und Generator-Verifizierer-Schleifen existieren speziell, um diese Grenze weiter hinauszuschieben.
  • 4D-Verbindung: Next Token Prediction ist die Grundlage der Beurteilung (Discernment). Zu wissen, dass die Ausgabe generiert wurde, sagt dir genau, welche Art von Prüfung du anwenden musst.

Übungen

Der Verifizierungstest

Warum? Du weißt jetzt, dass derselbe generative Prozess, der KI flüssig macht, auch der ist, der sie erfinden lässt. Zeit, das auf deinem eigenen Terrain zu sehen, in einem Bereich, in dem du es selbst bemerken wirst.

Geh zurück zu deiner Aufgabenliste und wähle die Aufgabe aus, bei der du am meisten Vertrauen in deine Fachkompetenz hast. Du brauchst ein Thema, bei dem du der Experte oder die Expertin bist, denn du musst in der Lage sein zu überprüfen, was zurückkommt. Schreibe fünf konkrete, überprüfbare Fakten aus diesem Bereich auf: die Berufsbezeichnung einer Person, ein Veröffentlichungsdatum, eine Statistik, eine Produktspezifikation, ein direktes Zitat, eine URL. Dinge, von denen du weißt, dass sie korrekt sind, und die du unabhängig bestätigen kannst.

Führe nun drei Sondierungen durch:

  1. Sondierung 1: Die Fähigkeitszone. Bitte die KI, ein bekanntes Konzept aus deinem Bereich zu erklären oder zusammenzufassen. Etwas Populäres und gut Dokumentiertes. Achte auf die Flüssigkeit. Überprüfe den Inhalt stichprobenartig. So fühlt sich die Fähigkeitszone an: geschmeidig, selbstbewusst und größtenteils korrekt.
  2. Sondierung 2: Spezifität unter Druck. Bitte die KI, fünf überprüfbare Details aus deinem Bereich zu liefern: drei Quellen zitieren, einen Autor oder eine Autorin nennen, genaue Zahlen angeben, eine URL bereitstellen. Überprüfe jedes einzelne. Bewerte es auf einer Skala bis fünf: Wie viele waren vollständig korrekt? Falls sie erfindet, notiere, wie selbstbewusst sie dabei klang.
  3. Sondierung 3: Sampling in Aktion. Stelle genau dieselbe Anfrage nach spezifischen Fakten in einem neuen Gespräch. Vergleiche die beiden Ausgaben. Was blieb konsistent? Was hat sich verändert? Die Variation, die du siehst, ist das Sampling von Next Token Prediction am Werk.

Zusatzaufgabe: Wiederhole Sondierung 2 in einem Tool mit aktivierten Zitationen (wie dem Recherche-Modus in Claude). Bewerte es erneut. Ändert sich die Bewertung, wenn Quellen zum Überprüfen vorhanden sind?

Reflexion zur Lektion

  • Hättest du Erfindungen in einem Bereich bemerkt, den du nicht gut kennst?
  • Schau dir deine Aufgabenliste an: Welche Aufgaben liegen hauptsächlich in der Fähigkeitszone, und welche drängen in eine Spezifität, die überprüft werden muss?

Was kommt als Nächstes

Next Token Prediction erklärt, wie die KI generiert. Als Nächstes schauen wir uns an, woraus sie generiert: die Wissenseigenschaft. Was weiß das Modell tatsächlich, woher kommt dieses Wissen, und wo liegen die Lücken?