Ce que mon agent me coûte, à l'euro près

Un agent qui tourne toute la journée, ça consomme. Mais tant qu'on ne l'a pas mesuré, « ça consomme » reste une intuition : on sent vaguement que telle tâche est lourde, que telle autre l'est moins, sans jamais le vérifier. J'ai préféré en faire une courbe — pas le total de fin de mois, la dépense au fil de la journée, message par message, en tokens.

Et ce que cette courbe m'a appris vaut bien plus qu'un montant. Elle m'a montré ce qui coûte vraiment, tâche par tâche : un dialogue, une recherche, une réflexion, un bout de code n'ont pas du tout le même prix. Savoir ça, c'est enfin savoir où est l'effort réel derrière chaque mission — et c'est ça que je cherchais.

Un forfait, pas une facture à la carte

Je travaille sur un abonnement à prix fixe, mensuel. Ça change tout par rapport à une clé API facturée à la requête : mon coût en euros est plafonné d'avance. Je ne risque pas la facture qui explose à cause d'une boucle mal fermée.

Mais le prix fixe déplace la question, il ne la supprime pas. La vraie ressource, ce n'est plus l'euro — c'est la fenêtre de consommation, bien réelle et bien finie, que le forfait m'accorde. Je vais jusqu'à cent pour cent quand il le faut, avec une alerte à quatre-vingt-cinq. La bonne question n'est donc pas « combien ça coûte », mais « à quoi j'ai dépensé ma fenêtre aujourd'hui ». Et pour répondre à ça, il faut la voir.

J'ai instrumenté ma propre consommation

Alors j'ai construit les outils qui me manquaient. Des petits scripts, sans prétention, qui tracent la ligne de ma consommation : combien chaque message coûte, où partent les tokens sur une journée, et une comparaison avant/après une grosse évolution de mon système. Rien de commercial, rien de léché — juste de quoi transformer une intuition en chiffre.

La première fois que j'ai regardé la courbe avant/après, elle disait l'inverse de ce que je croyais. J'étais persuadé que mon nouveau système, plus riche, consommait bien plus qu'« avant ». Faux : c'était l'ancienne façon de faire — de longues sessions de développement en solo, une seule conversation qui gonfle des heures durant — qui pesait le plus lourd, et de loin. Mon intuition n'était pas imprécise : elle était inversée. Ce genre de mesure ne sert à rien tant qu'on ne la fait pas ; et une fois qu'on l'a faite, on ne travaille plus pareil.

Le piège du cache

Voici un exemple de ce que la mesure révèle et que l'intuition ne voit pas. Le système garde en cache le contexte d'une conversation pendant environ cinq minutes. Tant qu'on enchaîne, on relit ce cache — c'est rapide et bon marché. Mais si on laisse une session dormir au-delà de ces cinq minutes, le tour suivant repart sans cache : il faut tout relire, et ça coûte nettement plus cher.

Concrètement, une pause-café mal placée au milieu d'une session peut coûter, en tokens, plus qu'un échange entier. Ce n'est pas intuitif. Ça ne se voit que sur la courbe. Et une fois qu'on le sait, on structure ses journées autrement — on regroupe, on ne laisse pas traîner.

Le vrai coût n'est pas là où on croit

L'autre révélation, je l'ai racontée en détail dans Cent cinquante outils pour un agent : le gros de la dépense ne vient pas du nombre d'outils ni de la longueur des conversations. Il vient des retours volumineux qui traversent le modèle en entier — comme cet outil qui m'a rendu 124 815 caractères pour trois champs. Filtrer avant que la donnée touche le modèle a ramené ça à 2 272 — cinquante-cinq fois moins. Et cet outil-là n'est pas un cas isolé : un tableau de projets ici, une recherche dans ma knowledge là, chaque appel non filtré paie plein tarif le trajet à travers le modèle. Répétée sur une journée entière, c'est cette fuite-là qui creuse la facture en tokens, bien plus que la longueur de mes conversations.

C'est le même combat que celui du contexte que je garde volontairement maigre, raconté dans Le million de tokens que je n'ouvre jamais en grand. Mesurer, c'est ce qui m'a fait comprendre où était vraiment l'argent.

Une passe réelle de mon instrumentation : 25,32 $ sur 113 tours. Le panneau « Où part vraiment le coût » dit tout — presque rien en input frais, l'essentiel dans le cache et l'output.

La comparaison qui a tout lancé

Ma toute première mise en chiffres, c'était celle que j'ai racontée dans Quand Copilot m'a fait fuir — un ratio de vingt-sept pour un qui m'a fait changer d'outil. C'est ce jour-là que j'ai compris qu'en matière de coût, une opinion ne vaut rien à côté d'une mesure. Depuis, je ne tranche plus une question de conso sans l'avoir instrumentée.

Pourquoi je m'embête à mesurer

Parce qu'on ne maîtrise pas ce qu'on ne voit pas. La mesure n'est pas une coquetterie de comptable — c'est ce qui a changé ma façon de travailler, et surtout ma façon de répartir l'effort : je sais désormais quelles missions pèsent lourd et lesquelles sont presque gratuites, et je m'organise en fonction. Je filtre les retours. Je garde le contexte mince. Je ne laisse plus une session dormir dix minutes pour rien. Aucune de ces habitudes n'est venue d'un principe ; toutes sont venues d'une courbe que j'ai fini par regarder.

C'est le côté le moins glamour du build-in-public, et sans doute l'un des plus utiles : avant d'optimiser quoi que ce soit, instrumente-toi. La première fois que tu verras où part vraiment ta consommation, tu ne la reconnaîtras pas.

— Damien