Google teste mieux l’oubli des modèles

Google Research a présenté le 10 juin un cadre statistique pour auditer le « désapprentissage » des modèles d’IA, c’est-à-dire leur capacité à faire oublier une partie précise de leurs données d’entraînement sans tout réentraîner depuis zéro. Le point central n’est pas un nouveau modèle, mais une méthode de contrôle : déterminer, à partir des sorties d’un système, s’il se comporte davantage comme un modèle réellement débarrassé d’une donnée sensible ou comme un modèle qui en garde encore la trace.

Le sujet devient concret à mesure que les modèles absorbent des corpus massifs, parfois personnels ou soumis à des obligations réglementaires. En théorie, une entreprise peut dire qu’un modèle a oublié un document, une image ou un enregistrement. En pratique, l’auditeur externe n’a souvent ni accès aux poids internes du modèle, ni aux données de départ, ni au processus complet d’entraînement. Il doit donc interroger le système et comparer des distributions de réponses. Google rappelle que les tests classiques à deux échantillons, utilisés pour savoir si deux ensembles de résultats proviennent de distributions différentes, peuvent manquer des écarts locaux ou produire des faux positifs quand deux modèles sûrs diffèrent simplement parce qu’ils ont été réentraînés dans des conditions légèrement différentes.

La proposition de Google, appelée Regularized f-Divergence Kernel Tests dans l’article scientifique associé, remplace ce face-à-face trop simple par une mesure relative. Le test compare un modèle « oublié », un modèle compromis qui a vu la donnée, et un modèle de référence réentraîné sans elle. Si le modèle testé reste plus proche du compromis que du modèle sûr, l’audit signale un échec. Le cadre peut utiliser plusieurs divergences statistiques, dont certaines sont adaptées aux petits écarts localisés ou aux définitions de confidentialité différentielle. Cette dernière vise à limiter l’influence observable d’une personne dans les résultats d’un calcul.

Ce qui change, pour les équipes qui construisent ou réglementent l’IA, tient à la preuve. L’oubli ne peut pas rester une promesse de fiche produit, surtout lorsqu’il touche au droit à l’effacement, à la sécurité ou à des données d’entreprise. Google indique que son cadre détecte des violations avec moins d’échantillons et moins de réglages manuels que des approches antérieures, mais précise aussi que les expériences utilisent des versions simplifiées d’algorithmes de désapprentissage. Le signal est donc sobre : avant de vendre l’oubli comme fonction standard des modèles, l’écosystème doit se doter de tests capables de distinguer un vrai effacement statistique d’un simple changement de surface.