Ceci fait partie de notre série qui présente des exemples internes sur la manière dont OpenAI utilise sa propre technologie et ses APIs. Ces outils sont utilisés en interne chez OpenAI, et sont partagés ici comme exemples illustratifs montrant comment l’IA de pointe soutient les cas d’usage au sein de nos équipes.
Ultrafast est un mode à haute vitesse dans Codex, et pour les ingénieurs d’OpenAI, il est devenu la configuration par défaut pour la réponse aux incidents. Lorsqu’un problème se produit, les ingénieurs ne ont souvent pas le temps d’attendre des minutes pour obtenir une réponse, tandis que l’incident s’aggrave. Avec Ultrafast, ils peuvent examiner plusieurs causes potentielles en même temps et obtenir des réponses sans disperser leur attention.
« Si vous prenez deux personnes également intelligentes, et qu’une revient vers vous en une heure et l’autre en une minute, la seconde personne est bien meilleure. Vous réussirez beaucoup plus de choses avec quelqu’un qui répond plus rapidement. »
Trouver l’aiguille dans le panier de foin
Aaron Friel, membre de l’équipe technique chez OpenAI, est généralement celui qui dirige les opérations en cas d’incident. Il crée un canal Slack pour la réponse aux incidents, puis pointe Codex du problème, lui demandant de surveiller, enquêter et répondre à toutes les questions qui surviennent. « Dans n’importe quel incident, il y a généralement de nombreuses étapes où quelque chose pourrait mal se passer, et trouver la bonne solution dans une telle masse de données est vraiment la principale tâche des personnes présentes sur ce canal », dit-il. « En utilisant Ultrafast, je peux essentiellement rechercher tous ces fichiers en même temps, et répondre aux incidents beaucoup plus rapidement. »
AJ Trbojevic, membre de l’équipe technique et architecte de sécurité pour datacentres, déclare que les enquêtes sur les problèmes de sécurité prenaient auparavant une heure ou deux pour rassembler les données structurées et non structurées, les normaliser et fournir le contexte nécessaire pour prendre une décision. « Aujourd’hui, cela se fait en 10 à 15 minutes », dit-il. « Et parfois, c’est presque en temps réel. »
Adam Perry et Sayan Sisodiya travaillent tous deux dans l’équipe d’agents de base, en développant le code qui permet à Codex d’agir, d’exécuter des commandes et d’utiliser des outils. Ultrafast a changé la manière dont ils opèrent lors d’incidents de sécurité. « Avant, je demandais à Codex de examiner quelque chose, puis je le faisais moi-même en même temps, car je savais que ce n’était pas assez rapide pour attendre simplement », dit Adam. « Maintenant, grâce à Ultrafast, Codex est suffisamment rapide pour que je puisse me concentrer sans devoir diviser mon attention. »
Sayan apprécie le fait que Ultrafast lui permette d’obtenir des réponses immédiates provenant de plusieurs sources de données : « En plus de consulter les logs lors d’un incident, je utilise Codex pour explorer Slack afin de déterminer s’il y a des références à des changements qui pourraient être suspectes, ou si des personnes discutent de symptômes similaires ailleurs dans Slack », dit-il.
Réponses rapides en moins de 30 secondes
Si cela prend plus de 30 secondes pour trouver une réponse avec l’IA, Jeff Niu, un autre membre du personnel technique, dit qu’il vérifiera Slack ou discutera avec un collègue. Mais la plupart de son travail se situe maintenant dans cette limite avec Ultrafast. Avant, il posait une question à Codex, changeait de sujet pendant que l’algorithme réfléchissait, puis revenait sans avoir gardé le fil de ses pensées. Maintenant, cette conversation se déroule en temps réel ; cela l’aide à rester concentré sur la tâche en cours.
Ultrafast rend également Jeff plus disposé à entreprendre de grandes refactorisations, car réécrire le code existant prend moins de temps. « Le dû technique est beaucoup plus facile à rembourser maintenant qu’avant », dit-il. « Le code est peu coûteux, et il est désormais très rapide à produire. Une refactorisation qui prenait autrefois beaucoup de temps se fait presque instantanément. »
Travailler en tant que co-pilote
Adam gère un fil de discussion intitulé « Codex » qu’il appelle son chef de cabinet. Chaque matin, il lui indique quelles réunions il a et quels messages il a peut-être oublié de répondre. « Tous les données nécessaires pour rédiger ce résumé ont déjà été consultées, donc lorsque je pose une question de suivi, il ne faut pas attendre pour obtenir plus d’informations », dit-il. « Je peux simplement continuer à poser des questions dans la même conversation, comme un vrai chef de cabinet. »
Sayan utilise Codex pour effectuer des tâches manuelles ennuyeuses dans le navigateur, comme remplir des formulaires – une activité qu’il évitait auparavant car elle était trop lente. « Il ouvrait un navigateur, restait assis là pendant cinq secondes, cliquait sur quelque chose, puis restait de nouveau assis », dit-il. Grâce aux améliorations apportées par les modèles les plus récents du système informatique, il est plus à l’aise à ce point de laisser Codex s’occuper de ces tâches. « Maintenant, je suis complètement d’accord à laisser cela passer par le navigateur, et c’est suffisamment rapide pour que je ne perde pas de temps en ne le faisant pas moi-même. »
En ce qui concerne la réponse aux incidents, la planification quotidienne et le refactoring, Ultrafast permet au personnel technique d’OpenAI de travailler avec Codex à l’allure de leurs questions. Ils peuvent suivre une réponse, essayer une autre approche, et continuer à travailler sans perdre leur flux de pensée. Ce temps de réponse plus court change également ce qu’ils sont prêts à entreprendre : un refactoring qu’ils auraient repoussé devient une tâche routine qui vaut enfin la peine d’être déléguée.