Wird geladen

Steuerung der Modellausgabe

Lektion 810 Min.
Wird geladen

Über das Erstellen besserer Prompts hinaus gibt es zwei leistungsstarke Techniken zur Steuerung der Ausgabe von Claude: vorausgefüllte Assistant-Nachrichten und Stop-Sequenzen. Diese Methoden geben dir präzise Kontrolle darüber, wie Claude antwortet und wann es aufhört, Text zu generieren.

Vorausgefüllte Assistant-Nachrichten

Message Prefilling ermöglicht es dir, den Anfang von Claudes Antwort vorzugeben, was die Richtung der Antwort stark beeinflusst. Anstatt Claude entscheiden zu lassen, wie es seine Antwort beginnt, gibst du ihm eine bestimmte Eröffnung, die das Gespräch lenkt.

Die Nutzernachricht „Ist Tee oder Kaffee zum Frühstück besser?" geht an Claude, das eine Assistant-Nachricht mit „???" zurückgibt.

So funktioniert es: Du erstellst deine normale Liste von Nachrichten mit der Frage des Nutzers, fügst dann aber am Ende eine Assistant-Nachricht hinzu, die den Anfang der gewünschten Antwort enthält. Wenn Claude dies verarbeitet, sieht es die Assistant-Nachricht und denkt: „Ich habe bereits begonnen, auf diese Frage zu antworten, also sollte ich dort weitermachen, wo ich aufgehört habe."

Claude setzt den vorausgefüllten Text mit „es hat einen höheren Koffeingehalt, der am Morgen die Wachheit unterstützt" fort.

Wenn du zum Beispiel fragst „Ist Tee oder Kaffee zum Frühstück besser?" und mit „Kaffee ist besser, weil" vorausfüllst, wird Claude von diesem Punkt aus fortfahren und eine Antwort zugunsten von Kaffee aufbauen. Die entscheidende Erkenntnis ist, dass Claude genau dort weitermacht, wo dein vorausgefüllter Text endet - es wird nicht wiederholen, was du bereits geschrieben hast.

Schauen wir uns das in der Praxis an:

python
messages = []
add_user_message(messages, "Is coffee or tea better for breakfast?")
add_assistant_message(messages, "Coffee is better because")

chat(messages)

Dies liefert etwa „es hat mehr Koffein." Beachte, dass Claude direkt von deinem vorausgefüllten Text fortsetzt, sodass du beide Teile kombinieren musst, um die vollständige Antwort zu erhalten: „Kaffee ist besser, weil es mehr Koffein hat."

Du kannst Claude in jede beliebige Richtung lenken, indem du deinen vorausgefüllten Text änderst:

  • "Tea is better because" - lenkt in Richtung Tee
  • "They are the same because" - erzeugt eine neutrale Antwort

Stop-Sequenzen

Stop-Sequenzen zwingen Claude, seine Antwort sofort zu beenden, wenn es einen bestimmten Text generiert. Dies ist nützlich, wenn du die Ausgabe an einem bestimmten Punkt abschneiden möchtest oder verhindern willst, dass Claude über einen bestimmten Marker hinaus fortfährt.

Diagramm der Nutzernachricht „Zähle von 1 bis 10", die an Claude mit der auf „5" gesetzten Stop-Sequenz gesendet wird, und die Antwort „1, 2, 3, 4,".

Das Konzept ist einfach: Du gibst eine Liste von Zeichenketten an, und sobald Claude eine dieser Zeichenketten generiert, stoppt es und gibt zurück, was es bisher generiert hat. Die Stop-Sequenz selbst ist nicht in der Antwort enthalten.

Um Stop-Sequenzen zu verwenden, musst du deine Chat-Funktion so anpassen, dass sie diese als Parameter akzeptiert:

python
def chat(messages, system=None, temperature=1.0, stop_sequences=[]):
    params = {
        "modelId": model_id,
        "messages": messages,
        "inferenceConfig": {
            "temperature": temperature,
            "stopSequences": stop_sequences
        },
    }

    if system:
        params["system"] = [{"text": system}]

    response = client.converse(**params)
    return response["output"]["message"]["content"][0]["text"]

Hier ist ein praktisches Beispiel:

python
messages = []
add_user_message(messages, "Count from 1 to 10")

chat(messages, stop_sequences=["5"])

Dies liefert „1, 2, 3, 4," und stoppt, bevor die „5" eingeschlossen wird. Du kannst mehrere Stop-Sequenzen angeben, und Claude stoppt bei derjenigen, die es zuerst antrifft:

python
chat(messages, stop_sequences=["5", "3, 4"])

Stop-Sequenzen sind besonders nützlich für:

  • Die Steuerung der Länge von Antworten
  • Das Stoppen an natürlichen Haltepunkten in strukturierter Ausgabe
  • Das Verhindern, dass Claude über bestimmte Marker oder Trennzeichen hinaus fortfährt

Beide Techniken geben dir eine feinkörnige Kontrolle über Claudes Verhalten, sodass du Antworten auf eine Weise gestalten kannst, die mit einfachem Prompting allein nicht erreichbar ist.