Wird geladen

Testdatensätze generieren

Lektion 1215 Min.
Wird geladen

Der Aufbau eines benutzerdefinierten Workflows zur Prompt-Evaluierung beginnt damit, einen soliden Prompt zu erstellen und dann Testdaten zu generieren, um zu sehen, wie gut er funktioniert. Lass uns gemeinsam ein Evaluierungssystem für einen Prompt einrichten, der Nutzern beim Schreiben von AWS-spezifischem Code hilft.

Das Ziel festlegen

Unser Prompt muss Nutzer beim Schreiben von drei spezifischen Arten von Ausgaben für AWS-Anwendungsfälle unterstützen:

  • Python-Code
  • JSON-Konfigurationsdateien
  • Reguläre Ausdrücke

Die zentrale Anforderung ist, dass wir, wenn ein Nutzer Hilfe bei einer Aufgabe anfordert, eine saubere Ausgabe in einem dieser Formate zurückgeben, ohne zusätzliche Erklärungen, Kopf- oder Fußzeilen.

Das Ziel, die Eingabe und Ausgabe für den AWS-Code-Prompt, sowie der Prompt mit der Bezeichnung Prompt v1, der im folgenden Code gezeigt wird.

Hier ist unsere erste Prompt-Vorlage:

python
prompt = f"""
Please provide a solution to the following task:
{task}
"""

Einen Evaluierungsdatensatz erstellen

Ein Evaluierungsdatensatz enthält Eingaben, die wir in unseren Prompt einspeisen, um seine Leistung zu testen. In unserem Fall benötigen wir ein Array von JSON-Objekten, wobei jedes Objekt eine „task“-Eigenschaft hat, die beschreibt, was wir Claude erreichen lassen möchten.

JSON-Array von Task-Objekten, wie etwa "Create a Python function to extract the AWS account ID from an ARN", dann noch viele weitere.

Du kannst Datensätze auf zwei Arten erstellen:

  • Sie manuell zusammenstellen
  • Sie automatisch mit Claude generieren

Für die automatische Generierung ist es sinnvoll, ein schnelleres Modell wie Haiku zu verwenden, da wir Testdaten generieren und keine Produktionsausgabe.

Testdaten mit Code generieren

Lass uns eine Funktion erstellen, die Claude bittet, Testfälle für uns zu generieren. Die Funktion erstellt einen umfassenden Prompt, der bestimmte Arten von AWS-bezogenen Aufgaben anfordert.

Notebook-Zelle, die json importiert und generate_dataset mit dem im folgenden Code gezeigten Prompt definiert.

Hier ist die Kernstruktur der Funktion:

python
def generate_dataset():
    prompt = """
    Generate an evaluation dataset for a prompt evaluation. The dataset will be used to evaluate prompts 
    that generate Python, JSON, or Regex specifically for AWS-related tasks. Generate an array of objects, 
    each representing task that requires Python, JSON, or a Regex to complete.
    
    Example output:
    ```json
    [
        {
            "task": "Description of task",
        },
        ...additional
    ]
    ```
    
    * Focus on tasks that can be solved by writing a single Python function, a single JSON object, or a single regex
    * Focus on tasks that do not require writing much code
    
    Please generate 3 objects.
    """

Die Generierungslogik implementieren

Um eine saubere JSON-Ausgabe von Claude zu erhalten, verwenden wir die Pre-Filling-Technik mit Stopp-Sequenzen:

python
    messages = []
    add_user_message(messages, prompt)
    add_assistant_message(messages, "```json")
    text = chat(messages, stop_sequences=["```"])
    return json.loads(text)

Dieser Ansatz stellt sicher, dass Claude seine Antwort mit korrekt formatiertem JSON beginnt und am schließenden Markdown-Codezaun stoppt.

Testen und Speichern des Datensatzes

Nachdem du die Generierungsfunktion ausgeführt hast, solltest du realistische Testfälle wie die folgenden zurückerhalten:

  • Erstelle eine Python-Funktion, um die AWS-Region aus einem ARN zu extrahieren
  • Schreibe eine JSON-Konfiguration für eine AWS-Lambda-Funktion
  • Entwickle einen regulären Ausdruck zur Validierung eines AWS-S3-Bucket-Namens

Notebook-Ausgabe mit den drei Aufgaben im vollen Wortlaut, wie etwa ein S3-Bucket-Name, der kleingeschrieben, alphanumerisch und 3-63 Zeichen lang ist.

Speichere deinen generierten Datensatz in einer Datei zur einfachen Wiederverwendung:

python
dataset = generate_dataset()

with open('dataset.json', 'w') as f:
    json.dump(dataset, f, indent=2)

Dadurch wird eine Datei dataset.json in deinem Notebook-Verzeichnis erstellt, die all deine Testfälle enthält und bereit ist, in den nächsten Schritten deines Workflows für die Prompt-Evaluierung verwendet zu werden.