Version de modèle IA : pourquoi vos prompts dérapent après une mise à jour

Version de modèle IA : pourquoi vos prompts dérapent après une mise à jour

Publié 11/12/26
6 min de lecture

Vos prompts ont été réglés sur une version précise d'un modèle. Quand le fournisseur déplace un alias ou retire une version, le ton, le format et les refus peuvent bouger sans que rien ne change de votre côté. Voici la routine de contrôle des changements qui garde vos sorties créatives stables.

  • Pourquoi une mise à jour fournisseur change vos sorties sans rien toucher
  • Épingler, tester sur un jeu de référence, puis promouvoir
  • Que faire quand l'outil ne permet pas d'épingler une version

La mise à jour que vous n'avez pas faite

Une équipe constate que ses titres rédigés par IA sont devenus plus longs et plus fades, ou qu'un format de sortie dont son pipeline dépend commence à se dégrader. Rien n'a changé dans le prompt. La cause se trouve souvent en amont. Le guide de MLflow pour repérer les régressions silencieuses place un alias flottant, comme « latest », en tête des choses à vérifier, car une mise à jour du fournisseur peut modifier le comportement d'un modèle sans aucun changement de votre côté. L'article de Tian Pan sur la dépréciation des modèles dit la même chose : les fournisseurs mettent parfois à jour le comportement à l'intérieur d'un alias de version, si bien que le nom que vous appelez aujourd'hui n'est pas forcément le modèle que vous appeliez il y a trois mois.

Dans une analyse voisine sur la dérive invisible des modèles, les signaux d'alerte sont discrets et cumulatifs : réponses plus longues, plus de précautions oratoires, respect du format plus lâche. Côté création, cela se lit comme un ton plus plat, un texte plus verbeux et des gabarits cassés. La dérive arrive progressivement et ressemble à un problème de qualité de l'équipe, ce qui explique qu'elle soit si souvent mal diagnostiquée.

Alias, versions épinglées et modèles loués

Deux termes, définis une fois. Un alias est un nom de modèle que le fournisseur peut repointer vers une version plus récente. Une version épinglée (snapshot) est un identifiant daté qui désigne un point de contrôle fixe : son comportement ne change que si vous changez l'identifiant. L'épinglage n'est pas gratuit. L'analyse de la dérive note qu'il ajoute une tâche opérationnelle : suivre les échéances de dépréciation et tester les nouvelles versions avant de migrer.

La tâche est inévitable parce que les modèles hébergés se comportent comme une infrastructure louée, avec des dates de fin. Les fournisseurs publient leurs règles. La page de dépréciations d'Anthropic indique qu'un modèle déprécié fonctionne encore mais n'est plus recommandé, qu'une date de retrait est fixée, que les requêtes vers un modèle retiré échouent, et que les modèles publiés publiquement bénéficient d'au moins 60 jours de préavis avant retrait. Elle précise aussi que les plateformes partenaires comme Amazon Bedrock et Google Cloud fixent leurs propres calendriers, si bien qu'un même modèle peut être retiré à des dates différentes selon la voie d'accès. D'autres fournisseurs publient des pages comparables. Le principe vaut partout : la version que vous avez testée a une durée de vie.

La routine en trois temps : épingler, tester, promouvoir

Épingler. Consignez la version exacte à côté de la version du prompt. L'analyse de Tian Pan sur les versions de prompt et de modèle plaide pour une version conjointe : la trace que la version 37 du prompt a été testée contre une version donnée du modèle, et que ce couple a été mis en production à une date donnée. Évaluez le couple, pas chaque moitié, car un résultat vert pour un couple ne certifie pas un autre.

Tester. Construisez un jeu de référence (golden set) : un ensemble figé d'entrées réelles avec des sorties validées. L'analyse de la dérive suggère de 50 à 100 prompts tirés du trafic de production et représentatifs de vos usages principaux. Pour une équipe créative, cela signifie de vrais briefs, les séries de titres ou de légendes validées par un relecteur de marque, et une courte liste de contrôles que n'importe qui peut exécuter : longueur, format, termes interdits, mentions obligatoires, plus une petite relecture à l'aveugle pour le ton.

Promouvoir. Faites tourner la version candidate à côté de la production, sur les mêmes entrées, sans rien publier, et comparez. La règle de MLflow est simple : ne promouvoir une nouvelle version qu'après son passage dans la suite du jeu de référence. Gardez l'ancienne version disponible aussi longtemps que le fournisseur le permet, car le retour en arrière n'est possible que si la version précédente existe encore, et consignez ensemble le prompt, l'identifiant du modèle et les réglages de génération pour chaque mise en production.

Si vous ne pouvez pas épingler : l'IA intégrée à vos outils

Une grande part de l'IA d'une équipe créative se trouve dans des outils qui n'exposent aucune version. On ne peut pas épingler ce qu'on ne peut pas choisir, mais on peut détecter le changement. Faites tourner le jeu de référence à intervalle régulier, chaque mois et après chaque note de version du fournisseur, et traitez un écart comme un constat à remonter, pas comme une opinion. L'analyse de la dérive recommande de garder à la fois un point d'accès épinglé et un point d'accès non épinglé, pour que ce dernier vous alerte avant le retrait de la version épinglée. Pour les outils sous forme d'application, le canari planifié joue le même rôle.

Deux habitudes complètent le dispositif. Demandez aux fournisseurs un préavis des changements de modèle et un champ de version dans les notes de version, et inscrivez cette demande au contrat. Notre article sur le maintien de la portabilité de votre stack créative liste ce qu'il faut demander. Et consignez l'outil, le modèle et la date sur chaque asset généré, pour savoir quelles sorties viennent d'avant un changement et lesquelles d'après. La fiche de génération comporte déjà un champ pour cela.

Tenir un registre des modèles, avec un responsable

L'article de Tian Pan sur la dépréciation recommande un registre simple : pour chaque usage, l'identifiant épinglé, le fournisseur, la fonctionnalité ou le workflow qui l'utilise, son statut de dépréciation et sa date de fin projetée. Il ajoute qu'un tableur maintenu suffit, et que sans responsabilité explicite la tâche devient celle de tous et donc de personne.

Pour une équipe d'opérations créatives, ajoutez trois colonnes : la bibliothèque de prompts ou l'agent qui dépend du modèle, la date du dernier passage du jeu de référence, et le responsable nommé. Ce responsable peut être la personne qui recalibre les agents quand la marque évolue, une routine décrite dans notre article sur le maintien de l'alignement des agents IA lors de l'évolution de la marque. Le registre apporte aussi à votre gouvernance de prompts et à votre bibliothèque de prompts le fait qui leur manque le plus souvent : pour quel modèle chaque prompt a été écrit. Quand prompts, validations et sorties vivent dans un même dossier de projet, comme sur la plateforme MTM, la comparaison avant et après vient du dossier plutôt que de la mémoire.

À faire ce mois-ci

Listez tous les endroits où l'IA touche la production et notez si la version peut être épinglée. Épinglez quand c'est possible. Construisez un jeu de référence de trente entrées réelles, assez pour démarrer, et exécutez-le avant tout changement. Inscrivez la prochaine date de fin dans un calendrier, avec un responsable nommé. Le but n'est pas d'éviter les mises à niveau. C'est de faire de chacune une décision que votre équipe a prise en connaissance de cause.

FAQ

Quelle différence entre un alias et une version épinglée ? Un alias est un nom que le fournisseur peut repointer vers un modèle plus récent. Une version épinglée est un identifiant daté qui désigne un snapshot fixe : le comportement reste le même jusqu'à ce que vous le changiez délibérément.

Quelle taille pour un jeu de référence ? L'analyse de la dérive suggère de 50 à 100 prompts issus du trafic de production réel. Une petite équipe peut démarrer avec une trentaine et en ajouter un à chaque défaillance constatée.

Épingler signifie-t-il ne jamais mettre à niveau ? Non. Cela rend les mises à niveau délibérées. Les fournisseurs retirent des versions selon un calendrier, vous migrerez donc tôt ou tard, et l'épinglage vous permet de tester d'abord la nouvelle version sur vos propres entrées.

De quel préavis disposez-vous avant le retrait d'un modèle ? Cela varie. La page d'Anthropic promet au moins 60 jours pour les modèles publiés publiquement et précise que les plateformes partenaires fixent leurs propres calendriers. Consultez la page de chaque fournisseur et de chaque plateforme que vous utilisez, et inscrivez les dates dans un calendrier.

Nous avons vu un changement de sortie sans en connaître la cause. Par où commencer ? Par le modèle : vérifiez si un alias pointe désormais vers une nouvelle version, comme le conseille MLflow. Comparez ensuite la version actuelle du prompt à la dernière version connue comme bonne, puis les réglages de génération.

Sources