Anthropic lance un outil pour comparer les IA entre elles — comme un diff de code

Anthropic, le créateur de Claude, vient de publier une méthode pour comparer automatiquement le fonctionnement de différents modèles d’IA. L’idée ? Appliquer le principe du « diff » — l’outil que les développeurs utilisent pour comparer deux versions d’un code — aux intelligences artificielles elles-mêmes.

Concrètement, ça permet quoi ?

Imaginez que vous voulez savoir ce qui différencie vraiment ChatGPT de Claude, ou Llama de Mistral — pas en théorie, mais dans leur façon réelle de traiter vos demandes. Cette technique analyse les « features » internes de chaque modèle (les comportements spécifiques appris pendant l’entraînement) et isole ce qui est unique à chacun.

Résultat : au lieu d’auditer un modèle complet (des milliards de paramètres), on peut se concentrer uniquement sur ce qui le distingue des autres. C’est plus rapide, plus ciblé — comme comparer deux voitures en regardant seulement les différences de motorisation plutôt que de démonter les deux entièrement.

Pour qui c’est utile ?

Principalement pour les chercheurs en sécurité IA et les entreprises qui veulent auditer les modèles qu’elles utilisent. Si vous êtes DSI et que vous hésitez entre deux IA pour votre service client, cette méthode pourrait à terme vous aider à identifier laquelle gère mieux la confidentialité ou évite mieux les biais sur vos données métier.

Pour le grand public, l’impact est indirect mais réel : plus les modèles sont auditables, plus on peut exiger de la transparence sur leurs comportements — notamment sur les sujets sensibles (modération, biais, respect de la vie privée).

Les limites reconnues par Anthropic

L’équipe l’admet elle-même : la technique n’est pas parfaite. Elle peut être « trop sensible » et signaler comme différentes des fonctionnalités qui sont en réalité analogues — un peu comme si votre antivirus vous alertait pour un fichier inoffensif.

C’est un premier pas, pas une solution miracle. Mais c’est exactement ce type d’outil qui manquait pour passer d’une IA « boîte noire » à une IA qu’on peut vraiment inspecter. La recherche complète est accessible publiquement dans le cadre du programme Anthropic Fellows.

Cette méthode d’audit est encore expérimentale et destinée aux chercheurs. Son application grand public dépendra de son adoption par les régulateurs et entreprises du secteur.