Machine unlearning : Les chercheurs font « oublier » des données aux modèles d’IA
Des chercheurs de l’Université des sciences de Tokyo (TUS) ont mis au point une méthode permettant aux modèles d’IA à grande échelle de Machine unlearning sélectivement certaines classes de données, ouvrant la voie à des applications plus éthiques et efficaces.
Les progrès et les défis de l’IA généralisée
L’intelligence artificielle a révolutionné divers domaines, de la santé à la conduite autonome. Cependant, à mesure que cette technologie progresse, des défis complexes émergent, notamment des questions liées à la durabilité, à l’efficacité et à l’éthique.
Les limites des modèles généralistes
Les systèmes d’IA à grande échelle comme ChatGPT et CLIP, connus pour leur polyvalence, consomment des quantités massives d’énergie et nécessitent du matériel coûteux. De plus, leur capacité à traiter un large éventail de tâches peut nuire à leur précision lorsqu’ils sont appliqués à des tâches spécifiques.
Par exemple, pour un véhicule autonome, il est inutile de reconnaître des objets comme des meubles ou des animaux, ce qui gaspille des ressources informatiques tout en augmentant le risque de fuites de données.
Le concept du désapprentissage des modèles
Pourquoi faire oublier des données à l’IA ?
Le désapprentissage des modèles, ou machine unlearning, consiste à supprimer des informations redondantes ou inutiles pour rendre les modèles plus efficaces. Cela permet de réduire leur complexité et d’améliorer leur précision dans des applications spécifiques.
Les limites des approches traditionnelles
Les méthodes existantes de désapprentissage supposent souvent un accès total au modèle (approche « boîte blanche »). Cependant, de nombreux systèmes commerciaux ou soumis à des restrictions éthiques fonctionnent comme des « boîtes noires », rendant ces techniques impraticables.
Une nouvelle approche : le désapprentissage boîte noire
Méthodologie de désapprentissage
L’équipe de TUS a développé une méthode appelée « désapprentissage boîte noire ». Cette approche modifie progressivement les instructions d’entrée (prompts) des modèles pour les amener à « oublier » certaines classes de données, sans accéder à leur architecture interne.
Les technologies derrière la méthode
La recherche repose sur la Covariance Matrix Adaptation Evolution Strategy (CMA-ES), un algorithme évolutif permettant d’ajuster les prompts fournis au modèle CLIP. Une stratégie novatrice, appelée « partage de contexte latent », a également été introduite pour rendre le processus plus efficace et scalable.
Résultats prometteurs
Grâce à des tests sur plusieurs ensembles de données, les chercheurs ont démontré que leur méthode pouvait faire oublier environ 40 % des classes ciblées, marquant une première dans le désapprentissage des modèles vision-langage en boîte noire.
Applications et avantages du machine unlearning
Optimisation pour des tâches spécifiques
En simplifiant les modèles pour des tâches dédiées, on améliore leur vitesse, leur efficacité énergétique, et leur compatibilité avec des appareils moins performants, élargissant ainsi leur utilisation à des domaines jusque-là inaccessibles.
Prévention des contenus indésirables
Dans des applications comme la génération d’images, le désapprentissage pourrait éviter la création de contenus inappropriés ou nuisibles, comme des images offensantes ou de la désinformation.
Respect de la confidentialité
Le machine unlearning répond également aux préoccupations liées à la confidentialité. En supprimant sélectivement des informations sensibles ou obsolètes, cette méthode s’inscrit dans les cadres légaux tels que le « droit à l’oubli », tout en évitant les coûts énergétiques associés au réentraînement des modèles.
Une avancée majeure pour l’avenir de l’IA
L’approche innovante de l’Université des sciences de Tokyo marque un tournant pour rendre l’IA plus adaptable, efficace, et respectueuse de l’éthique. Bien que des risques d’abus subsistent, cette méthode prouve que les chercheurs s’efforcent activement de résoudre les défis pratiques et éthiques de l’intelligence artificielle.
Le désapprentissage sélectif, ou machine unlearning, représente une solution prometteuse, combinant innovation technologique et responsabilité.
