Étude de cas | Claude Platform
Comment CircleCI a créé un agent de validation de code avec Claude
Le SDK Claude Agent est une collection d'outils qui aide les développeurs à créer des agents puissants sur Claude Code.
En savoir plusOutil de codage agentique d'Anthropic. Claude Code comprend votre base de code, modifie des fichiers, exécute des commandes et vous aide à livrer plus rapidement.
En savoir plus (opens in new tab)CircleCI, dont la plateforme CI/CD traite des milliards de tâches par an pour les équipes chez Okta, Hinge et Hugging Face, a entrepris de s'attaquer à la charge croissante de maintenance qui ralentit les équipes d'ingénierie. Le résultat est Chunk, l'agent IA autonome de CircleCI, créé avec Claude, qui identifie et résout les problèmes de maintenance liés à la CI/CD avec une intervention humaine minimale.
Avec Claude, CircleCI a obtenu :
- Réduction de 75 % du temps d'exécution moyen des tests lorsque les clients utilisent la fonctionnalité Smarter Testing de CircleCI
- 90 % de l'équipe d'ingénierie sur Claude Code, avec une utilisation quotidienne multipliée par 9 depuis le début de l'adoption structurée
- Efficacité du cache de requêtes de plus de 90 % en production, ce qui signifie que le contexte est réutilisé plutôt que retraité entre les flux de travail.
- Des projets internes qui auraient nécessité plusieurs trimestres achevés en quelques semaines, notamment un système de révision des PR reposant sur l'IA.
- Plus de 4 tâches d'agent sur 5 se déclenchent désormais automatiquement au moment de l'échec, le taux de tâches converties en pull requests terminées ayant plus que doublé depuis le lancement
Le défi : les retards dans la maintenance qui ralentissent les équipes
Les clients de CircleCI sont des équipes d'ingénierie pour lesquelles la rapidité de livraison a une incidence directe sur la compétitivité. Ces équipes font face à une tension persistante : l'optimisation des tests, les correctifs de build et les améliorations du pipeline s'accumulent tous dans les backlogs tandis que tout le monde se concentre sur la mise en production de nouvelles fonctionnalités. La dette technique s'accumule, et la vélocité que les équipes essaient de protéger s'érode progressivement.
CircleCI voit ce problème s'intensifier à mesure que les outils IA accélèrent la sortie de code dans l'ensemble du secteur, générant du code plus rapidement que les équipes ne peuvent le maintenir. L'entreprise devait résoudre ce problème en interne avant de pouvoir aider de manière crédible ses clients à le résoudre aussi. L'objectif : créer un agent autonome capable de procéder à la maintenance de routine et de valider ses propres correctifs avant qu'un humain ne les voie.
Une décision guidée par l'expérience du développeur
La collaboration entre CircleCI et Claude a commencé à grande échelle. L'entreprise a encouragé les équipes de l'ingénierie, des opérations et de la mise sur le marché à expérimenter pour le prototypage, l'itération et l'analyse. « Nous avons encouragé les équipes à utiliser l'IA pour repenser le champ des possibles », explique JP Leblanc, vice-président principal de l'ingénierie. « En fournissant une plateforme unique et robuste pour explorer l'IA, nous avons vu les taux d'adoption grimper en flèche. »
Lorsque l'équipe a choisi Claude pour alimenter Chunk, le facteur décisif a été l'expérience de développement offerte par le Claude Agent SDK : une interface épurée et bien documentée qui permettait de développer rapidement. L'intégration de MCP signifiait se connecter aux outils de développement existants sans surcharge de coordination. L'équipe a constaté que les mesures de sécurité de Claude répondaient aux exigences de l'entreprise et l'a considéré comme le modèle polyvalent le plus performant du marché.
Une boucle fermée de la tâche à la pull request validée
L'agent Chunk de CircleCI fonctionne comme une boucle fermée : une tâche en langage naturel entre, une pull request validée en sort. Comme les clients ont déjà défini leur environnement de création dans leur configuration CI, Chunk peut déployer ces environnements sous forme de sandbox en toute confiance, car Claude a accès aux dépendances et outils nécessaires. Pour les échecs de build, Claude reçoit des journaux comme contexte. Pour les tests, il obtient les résultats des exécutions précédentes. Claude génère un correctif et les pipelines de CircleCI le valident. En cas d'échec du pipeline, Claude essaie à nouveau. Le client reçoit une PR déjà « verte », le pipeline CI attestant que la modification respecte les exigences en matière de tests, de linting et d'analyse statique.
« Nous n'aurions pas pu créer Chunk sans le Claude Agent SDK », confie Michael Webster, ingénieur principal chez CircleCI. « Si nous avions essayé de le faire il y a trois ans, la quantité de travail pour prendre en charge toutes les variations de langage, les intégrations de frameworks et les connexions à la chaîne d'outils aurait été prohibitive. Nous pouvons désormais créer des outils vraiment puissants très rapidement, sans tous les coûts de coordination traditionnels et le travail d'intégration personnalisée. »
Une équipe de huit ingénieurs a créé Chunk, passant de prototypes fonctionnels en quelques jours à des capacités prêtes pour la production en quelques semaines. Les tâches peuvent se déclencher automatiquement (exécutions périodiques pour corriger les tests instables), être lancées par l'utilisateur (correction d'une build ayant échoué) ou apparaître sous forme de requêtes ad hoc via l'interface de chat de Chunk. La sélection prédictive de tests, que CircleCI appelle Smarter Testing, n'exécute que ce qui est nouveau ou affecté. Cela a permis de réduire le délai de retour de 75 % en moyenne et jusqu'à 97 %.
Au-delà de Chunk, Claude Code est devenu l'outil incontournable au quotidien de l'équipe d'ingénierie de CircleCI, 90 % des ingénieurs l'utilisant activement. L'utilisation quotidienne a été multipliée par 9 depuis son adoption. Une équipe a créé un système de révision de pull requests alimenté par l'IA qui recherche des problèmes de code, analyse les dépendances SQL en aval, signale les optimisations de requêtes et génère des résumés d'impact. Il a été déployé en quelques semaines, au lieu de plusieurs trimestres comme cela aurait été nécessaire auparavant.
Les résultats
Plus de quatre tâches Chunk sur cinq se déclenchent désormais automatiquement en cas d'échec, sans qu'un humain ait besoin d'intervenir. Le taux auquel Chunk convertit les tâches en pull requests terminées a plus que doublé depuis son lancement, ce qui signifie que Chunk sait de mieux en mieux à quel moment il a suffisamment de certitude pour proposer un correctif. Pour une grande entreprise cliente, le temps d'analyse est passé de 14 heures à 18 minutes. Une équipe qui, auparavant, devait attendre le lendemain matin pour savoir si une modification pouvait être effectuée obtient désormais cette réponse en quelques minutes.
La feuille de route de CircleCI s'appuie sur les capacités de raisonnement avancées de Claude : gestion automatisée des tests, optimisation des builds et maintenance prédictive qui anticipe les problèmes avant qu'ils n'affectent les flux de travail. À mesure que la production de code s'accélère, la validation autonome est ce qui empêche le système de prendre du retard.
« Claude nous a permis de lancer Chunk sur le marché plus rapidement que nous n'aurions pu le faire autrement », a déclaré Webster. « Nous avons mis la maintenance autonome, l'optimisation des tests et l'amélioration continue à la portée de chaque développeur en lui fournissant un agent qui effectue automatiquement ces tâches. Les problèmes qui restaient en attente pendant des mois sont désormais résolus automatiquement, ce qui permet aux clients de travailler sans interruption et de se concentrer sur l'innovation plutôt que de se perdre dans des tâches fastidieuses. »
« Nous n'aurions pas pu créer Chunk sans le Claude Agent SDK. »