Apprentissage auto-supervisé : définition et exemples de modèle

En machine learning, l'apprentissage auto-supervisé est surtout utilisé pour classer des données naturelles (photos, textes), sans que les informaticiens aient besoin d'étiqueter manuellement les données. Il existe de nombreux exemples d'usage.

L'apprentissage auto-supervisé, c'est quoi ?

Dans le domaine du machine learning, l’apprentissage supervisé occupe une place assez prépondérante, quand il s’agit d’effectuer des tâches de régression ou de classification. Et ce, malgré le fait que la construction des modèles s’avère complexe et fastidieuse, car il est nécessaire de procéder à un étiquetage manuel des données au préalable. Une source de surcoûts et d’erreurs qui freine le développement des applications.

L’apprentissage auto-supervisé apporte une réponse à ce problème, en permettant un usage de données non étiquetées, tout en maintenant les aspects les plus intéressants de l’apprentissage supervisé. L’idée est de générer automatiquement des étiquettes en se fiant à la structure ou aux caractéristiques latentes des données, en exploitant les corrélations entre les données. Puis, une fois cet étiquetage autonome terminé, les modèles sont entraînés classiquement, de façon supervisée.

La technique de l’apprentissage auto-supervisé est particulièrement intéressante dans le traitement vidéo, la robotique, ou la vision par ordinateur, et plus largement pour toutes les applications nécessitant un apprentissage en intelligence artificielle. Elle est considérée comme une étape supplémentaire vers un fonctionnement d’une IA similaire à l'intelligence humaine, car la création de modèles se rapproche davantage de la pensée humaine.

Exemples de modèles d'apprentissage auto-supervisé

Les grands groupes du numérique ont largement recours à l’apprentissage auto-supervisé pour les représentations linguistiques, afin de classer rapidement les gigantesques masses de données en leur possession. Ce qui prendrait un temps considérable aux équipes de ces entreprises pour étiqueter les données, avec l’apprentissage supervisé classique. Google a ainsi développé le modèle ALBERT, et Facebook le modèle RoBERTa. Pour chacun de ces deux exemples, des algorithmes auto-encodeurs sont utilisés.

En matière de computer vision, l’apprentissage auto-supervisé peut servir à des tas d’usages, comme la colorisation de documents, le remplissage de contexte ou profondeur, la rotation 3D. Un modèle comme SwAV analyse des images ayant subi des formes de distorsions (découpe, filtre de couleur), et les classe dans des groupes distincts.

Dans le secteur de la robotique, un autre exemple d’usage possible est l’entraînement des modèles chargés d’analyser les données issues des caméras ou capteurs de proximité des robots, et de déterminer les objets ou obstacles en face d’eux, en minimisant le besoin d’une intervention humaine pour indiquer et étiqueter les objets en question. Ce qui représente un gain de temps lors du développement des algorithmes.

Par ailleurs, l’un des avantages apportés par ce type d’apprentissage est qu’il peut être aisément réalisé en ligne, puisque les données sont récoltées et étiquetées sans avoir besoin d’intervention humaine.

Dictionnaire de l'intelligence artificielle