En 30 secondes
- Chaque étape ajoute un petit risque. Sur 20 étapes, on ne réussit plus qu'une fois sur trois (exemple illustratif).
- Les chercheurs mesurent : presque 100 % de réussite sur des tâches de moins de 4 minutes, moins de 10 % au-delà de 4 heures (METR, mars 2025).
- Cette limite recule : la durée tenable double environ tous les 7 mois.
Le calcul
Un agent qui réussit 95 % de ses étapes rate quand même la plupart des longues tâches. Ce n'est pas un bug : chaque étape ajoute un petit risque. Sur 20 étapes, ces petits risques font qu'on ne réussit plus qu'une fois sur trois. C'est un exemple illustratif.
Ce que les chercheurs mesurent
D'après METR (19 mars 2025), les agents réussissent presque 100 % des tâches de moins de 4 minutes, et moins de 10 % des tâches de plus de 4 heures.
La bonne nouvelle
Cette limite recule : la durée de tâche tenable double environ tous les 7 mois. En attendant : découpe, vérifie, garde la main.
Ton réflexe
Sources
- 1. METR, « Measuring AI Ability to Complete Long Tasks », 19 mars 2025.
- 2. Toby Ord, « Is there a half-life for the success rates of AI agents? », arXiv, mai 2025.
- 3. Sources citées dans le carrousel validé ; cet article reprend ses chiffres, sans nouvelle lecture des études.
Comment cet article a été fait. Adapté par une IA de notre post du même nom, sous la responsabilité de l'éditeur. Les chiffres viennent du carrousel validé, qui cite ces deux sources. L'exemple à 20 étapes est illustratif, pas une mesure. Une erreur ? Signale-la, elle sera corrigée dans la rubrique « Correctifs ».