Fallstudie | Claude Platform

Wie CircleCI mit Claude einen Code-Validierungsagenten entwickelt hat

Branche:
Software
Unternehmensgröße:
Mittel
Produkt:
Claude Platform
Standort:
Nordamerika

90 % des Engineering-Teams verwenden Claude Code,

wobei seit Beginn der strukturierten Einführung die tägliche Nutzung um das 9-fache gestiegen ist

Im Durchschnitt 75 % weniger Zeit für die Testdurchführung,

wenn Kunden die Smarter-Testing-Funktion von CircleCI verwenden

Bauagenten mit dem Claude Agent SDK

Das Claude Agent SDK ist eine Sammlung von Tools, mit denen Entwickler leistungsstarke Agenten auf der Grundlage von Claude Code erstellen können.

Weitere Informationen
Claude Code

Das agentische Coding-Tool von Anthropic. Claude Code versteht Ihre Codebasis, bearbeitet Dateien, führt Befehle aus und hilft Ihnen, schneller zu liefern.

Weitere Informationen (opens in new tab)

CircleCI, dessen CI/CD-Plattform jährlich Milliarden von Jobs für die Teams von Okta, Hinge und Hugging Face verarbeitet, hat es sich zur Aufgabe gemacht, die wachsende Wartungslast zu bewältigen, die Engineering-Teams ausbremst. Das Ergebnis ist der mit Claude entwickelte autonome KI-Agent Chunk von CircleCI, der CI-/CD-Wartungsprobleme mit minimalem menschlichen Eingriff identifiziert und löst.

Mit Claude konnte CircleCI Folgendes erreichen:

  • 75 % Reduzierung der durchschnittlichen Testlaufzeit bei Nutzung der Smarter Testing-Funktion von CircleCI durch Kunden
  • 90 % des Engineering-Teams setzen Claude Code ein, wobei die tägliche Nutzung seit Beginn der strukturierten Einführung um das 9-fache gestiegen ist
  • Über 90 % Prompt-Cache-Effizienz in der Produktion, was bedeutet, dass der Kontext über Workflows hinweg wiederverwendet und nicht neu verarbeitet wird.
  • Über mehrere Quartale laufende interne Projekte in wenigen Wochen abgeschlossen, darunter ein KI-gestütztes PR-Review-System.
  • Mehr als 4 von 5 Agentenaufgaben werden jetzt automatisch direkt beim Fehler ausgelöst, wobei sich die Rate der in abgeschlossene Pull-Requests umgewandelten Aufgaben seit der Einführung mehr als verdoppelt hat.

Die Herausforderung: Wartungsbacklogs, die Teams verlangsamen

Die Kunden von CircleCI sind Engineering-Teams, bei denen die Bereitstellungsgeschwindigkeit direkt über die Wettbewerbsergebnisse entscheidet. Diese Teams stehen vor einer ständigen Spannung: Testoptimierung, Build-Korrekturen und Pipeline-Verbesserungen stapeln sich in Backlogs, während sich alle auf die Bereitstellung neuer Funktionen konzentrieren. Technische Schulden häufen sich an, und die Geschwindigkeit, die Teams zu schützen versuchen, erodiert allmählich.

CircleCI sieht, dass sich dieses Problem verschärft, da KI-Tools die Codeausgabe in der gesamten Branche beschleunigen und Code schneller generieren, als die Teams ihn pflegen können. Das Unternehmen musste dieses Problem intern lösen, bevor es seinen Kunden glaubwürdig helfen konnte, es ebenfalls zu lösen. Das Ziel: einen autonomen Agenten entwickeln, der die Routinewartung übernehmen und seine eigenen Korrekturen validieren kann, bevor ein Mensch sie überhaupt bemerkt.

Eine Entscheidung, die die Entwicklererfahrung bestimmt

Die Arbeit von CircleCI mit Claude begann auf breiter Basis. Das Unternehmen ermutigte Teams in den Bereichen Engineering, Operations und Markteinführung, mit Prototyping, Iteration und Analyse zu experimentieren. „Wir haben Teams dazu ermutigt, KI zu nutzen, um die Kunst des Möglichen völlig neu zu denken“, sagt JP Leblanc, SVP Engineering. „Durch die Bereitstellung einer einzigen, robusten Plattform für die KI-Erkundung konnten wir beobachten, wie die Akzeptanzzahlen in die Höhe schnellten.“

Als das Team Claude auswählte, um Chunk zu betreiben, war der entscheidende Faktor die Developer Experience des Claude Agent SDK: eine übersichtliche, gut dokumentierte Schnittstelle, mit der man schnell entwickeln konnte. Die MCP-Integration bedeutete die Verbindung zu vorhandenen Entwicklungstools ohne Koordinationsaufwand. Das Team stellte fest, dass der Sicherheitsstatus von Claude die Unternehmensanforderungen erfüllte, und stufte Claude als das leistungsstärkste verfügbare Allzweckmodell ein.

Ein geschlossener Kreislauf von der Aufgabe zum validierten Pull-Request

Chunk, der Agent von CircleCI, arbeitet als geschlossener Kreislauf: Eine Aufgabe in natürlicher Sprache geht hinein, ein validierter Pull-Request kommt heraus. Da Kunden ihre Build-Umgebung bereits in ihrer CI-Konfiguration beschrieben haben, kann Chunk diese Umgebungen zuversichtlich als Sandboxen hochfahren, da Claude Zugriff auf die richtigen Abhängigkeiten und Tools hat. Bei Build-Fehlern erhält Claude die Protokolle als Kontext. Für Tests erhält es die Ergebnisse früherer Durchläufe. Claude generiert eine Korrektur und die CircleCI-Pipelines validieren sie. Wenn die Pipeline fehlschlägt, versucht Claude es erneut. Der Kunde erhält eine PR, die bereits „grün“ ist, wobei die CI-Pipeline als Bestätigung dient, dass die Änderung die Standards für Tests, Linting und statische Analyse erfüllt.

„Wir hätten Chunk ohne das Claude Agent SDK nicht entwickeln können“, erklärt Michael Webster, Principal Engineer bei CircleCI. „Wenn wir dies vor drei Jahren versucht hätten, wäre der Aufwand für die Unterstützung aller Sprachvarianten, Framework-Integrationen und Toolchain-Verbindungen untragbar gewesen. Jetzt können wir sehr schnell wirklich leistungsstarke Tools ohne all den herkömmlichen Koordinationsaufwand und die individuelle Integrationsarbeit entwickeln.“

Ein Team von 8 Entwicklern entwickelte Chunk, wobei es aus innerhalb von Tagen funktionierenden Prototypen innerhalb von Wochen produktionsreife Fähigkeiten machte. Aufgaben können automatisch ausgelöst werden (regelmäßige Ausführungen zur Behebung von Flaky Tests), vom Benutzer initiiert werden (zur Behebung eines fehlgeschlagenen Builds) oder als Ad-hoc-Prompts über die Chat-Oberfläche von Chunk eingehen. Die prädiktive Testauswahl, die CircleCI als Smarter Testing bezeichnet, führt nur das aus, was neu oder betroffen ist. Dadurch wurde die Zeit bis zum Feedback um durchschnittlich 75 % und bis zu 97 % verkürzt.

Neben Chunk ist Claude Code mittlerweile ein Standardwerkzeug für das Engineering-Team von CircleCI, wobei 90 % der Entwickler aktiv damit arbeiten. Seit der Einführung hat sich die tägliche Nutzung auf das 9-fache erhöht. Ein Team hat ein KI-gestütztes PR-Überprüfungssystem entwickelt, das nach Codeproblemen sucht, nachgelagerte SQL-Abhängigkeiten analysiert, Abfrageoptimierungen kennzeichnet und Auswirkungszusammenfassungen generiert. Die Bereitstellung erfolgte in Wochen statt in den mehreren Quartalen, die zuvor erforderlich gewesen wären.

Die Ergebnisse

Mehr als 4 von 5 Chunk-Aufgaben werden jetzt automatisch ausgelöst, wenn ein Fehler auftritt, ohne dass ein Mensch eingreifen muss. Die Rate, mit der Chunk Aufgaben in abgeschlossene Pull-Requests umwandelt, hat sich seit der Einführung mehr als verdoppelt. Das bedeutet, dass Chunk immer besser erkennt, wann es genug Konfidenz hat, um eine Korrektur vorzuschlagen. Bei einem großen Unternehmenskunden sank die Analysezeit von 14 Stunden auf 18 Minuten. Ein Team, das bisher bis zum nächsten Morgen gewartet hat, um zu wissen, ob eine Änderung sicher ist, erhält diese Antwort jetzt innerhalb von Minuten.

Die Roadmap von CircleCI baut auf den sich weiterentwickelnden Reasoning-Fähigkeiten von Claude auf: automatisiertes Testmanagement, Build-Optimierung und vorausschauende Wartung, die Probleme vorhersagt, bevor sie Workflows beeinträchtigen. Da die Codeausgabe beschleunigt wird, bewahrt die autonome Validierung das System davor, ins Hintertreffen zu geraten.

„Mit Claude konnten wir Chunk schneller auf den Markt bringen, als es sonst möglich gewesen wäre“, so Webster. „Wir haben die autonome Wartung, Testoptimierung und kontinuierliche Verbesserung für jeden Entwickler zugänglich gemacht, indem wir ihm einen Agenten an die Hand geben, der diese Aufgaben automatisch erledigt. Probleme, die sonst monatelang in Backlogs warten würden, werden jetzt automatisch gelöst, und Kunden können im Flow bleiben und sich auf Innovationen konzentrieren, anstatt sich mit mühsamer Routinearbeit zu beschäftigen.“

‍

„Ohne das Claude Agent SDK hätten wir Chunk nicht entwickeln können.“
Michael Webster Principal Engineer, CircleCI