Hyperparameter tuning : définition et cas d'application

L'hyperparameter tuning, ou le réglage des hyperparamètres, est une étape cruciale en machine learning (apprentissage automatisé). De leur optimisation dépend en effet le bon fonctionnement de l'algorithme d'apprentissage automatique. Explications et cas concrets.

L'hyperparameter tuning, c'est quoi ?

Les hyperparamètres sont les paramètres d’ajustement des algorithmes d’apprentissage automatisé. Leurs valeurs ne sont pas optimisées : c’est à l’utilisateur de l’algorithme de les choisir (souvent le data scientist). Un algorithme d’apprentissage automatique ne peut en effet fonctionner sans ces hyperparamètres. Leur réglage (tuning) nécessite un important travail statistique afin de déterminer les hyperparamètres qui donneront le meilleur résultat.

Plusieurs approches existent, dont la recherche par quadrillage (Grid Search) : une liste de possibilités est établie pour chaque hyperparamètre. Le modèle sera entraîné pour chaque combinaison, son score calculé à chaque fois. La combinaison qui atteint le score le plus élevé sera l’hyperparamètre choisi.

En quoi consiste l'hyperparameter tuning en random forest ?

Un random forest (traduction littérale : forêt aléatoire) est un algorithme utilisé pour les problématiques de prédiction, particulièrement apprécié quand il y a un nombre élevé de variables explicatives.

Régler et optimiser les hyperparamètres de cet algorithme complexe consiste à choisir le nombre d’arbres qu’il faut créer et le nombre de variables à utiliser pour chaque division d’un nœud. La recherche par quadrillage, ou Grid Search, peut être appliquée pour tester une série de paramètres, comparer les résultats, et déterminer le meilleur paramétrage.

En quoi consiste l'hyperparameter tuning en régression logistique ?

La régression logistique (ou logit) est un modèle statistique prédictif très utilisé en machine learning. C’est un classificateur binaire souvent employé pour déterminer la probabilité qu’une observation appartienne à une classe spécifique.

Comme tout modèle, il faut régler les hyperparamètres (variables) qui permettront d’affiner son fonctionnement. Par exemple, pour créer un modèle de régression logistique, on peut appliquer la Descente du Gradient. Grâce à cet algorithme, la machine va apprendre et trouver le meilleur modèle. Le taux d’apprentissage fait partie de l’équation, c’est un hyperparamètre de ce modèle.

Quid de l'hyperparameter tuning en deep learning, pour un réseau de neurones ?

Le deep learning (apprentissage profond ou en profondeur) est un modèle d’apprentissage reposant sur un système de neurones artificiels, à l’image du cerveau humain. Ce type de modèle contient un nombre considérable d’hyperparamètres, et leur réglage est complexe. Une partie de la configuration d’un réseau de neurones artificiels consiste à décider du nombre de couches de nœuds cachées qui seront utilisées entre la couche d’entrée et la couche de sortie.

Le nombre de nœuds utilisés par chaque couche doit aussi être déterminé. Ces variables de configuration qu’il faut définir manuellement font partie, non exhaustivement, de l'hyperparameter tuning.

Dictionnaire de l'intelligence artificielle