Introduction au ML

Définitions

Le Machine Learning (ML) est l’ensemble des algorithmes qui améliore leur performance dans certaines tâches grâce à des expériences et des observations.

L’apprentissage supervisé utilise un ensemble d’observations étiquetées (pour chaque observation, on connaît la propriété qui nous intéresse) pour construire une fonction de prédiction.

Classification d’image, détection d’objets, prédiction de prix…

L’apprentissage non supervisé ne possède pas cette étiquette et l’objectif est alors de décrire la manière dont les données sont organisées et d’en extraire des sous-ensembles homogènes.

Segmentation, data visualisation, catégorisation par similarités

Apprentissage supervisé

Loss function

Le principe de l’apprentissage supervisé repose sur l’utilisation d’une fonction de “Loss” (Loss Function) qui évalue à quel point la prédiction f(x) est proche de la véritable étiquette ou label y.

Cette fonction de loss pénalise les erreurs :

$$ L(y,f(x))= \left\{ \begin{array}{ll} 0 & \text{if } y=f(x) \\ \ge 0 & \text{if } y \ne f(x) \end{array} \right. $$

Quelques exemples de fonctions de loss :

$$ \text{Quadratic loss : } L(Y, f(X))=(Y-f(X))^2 \\ \text{l}_1 \text{ loss : } L(Y, f(X))=|Y-f(X)| \\ \text{0-1 loss : } L(y, f(x))= \left\{ \begin{array}{ll} 0 & \text{if } y=f(x)\\ 1 & \text{otherwise} \end{array} \right. \\ \text{Hinge loss : } L(y, f(x))=max(0,1-y*f(x)) $$

Ainsi, l’erreur quadratique est plus appropriée pour des problèmes de régression tandis que les 0-1 loss et Hinge loss sont parfaites pour de la classification binaire.

D’un point de vue mathématique, notre objectif est de trouver la fonction de prédiction qui minimise le risque réel (true risk) définie comme ceci :

$$ R(f)=E_{(X,Y)}[L(Y, f(X))]=\int_{X*Y}L(y,f(x))*p(x,y)\, dx dy $$

Sauf que cela est généralement insoluble, car l’on ne connaît pas la distribution jointe p(x,y) et que l’ensemble d’entrainement est de taille finie. On définit alors le risque empirique :