# Réseaux de neurones et apprentissage profond

Informatique de gestion · Master 1

> Neurones, rétropropagation, régularisation et architectures profondes appliquées.

## Introduction

Un réseau de neurones compose des transformations linéaires et non linéaires pour apprendre des représentations. Avec de nombreuses couches, il s'applique aux images, au texte, aux sons et aux séries, et parfois aux données tabulaires.

L'entraînement repose sur la descente de gradient : la rétropropagation calcule comment chaque poids influence l'erreur. Le principal défi est de généraliser sans surapprendre, avec des données et du calcul coûteux.

Ce deck présente les briques, l'entraînement, la régularisation, les grandes familles d'architectures et la question du choix face à des modèles plus simples.

## Objectifs d'apprentissage

- Décrire le perceptron multicouche et le rôle des activations
- Expliquer la rétropropagation et la descente de gradient
- Appliquer des techniques de régularisation
- Décider quand l'apprentissage profond se justifie

## Concepts clés

- **Neurone et couche** : Somme pondérée des entrées plus biais, puis activation non linéaire (ReLU, sigmoïde) ; sans non-linéarité, le réseau resterait linéaire.
- **Rétropropagation** : Calcule les gradients de l'erreur par rapport aux poids en remontant le réseau (règle de dérivation en chaîne).
- **Descente de gradient stochastique** : Mise à jour des poids sur de petits lots de données, avec un taux d'apprentissage à régler.
- **Régularisation** : Dropout, décroissance des poids, arrêt précoce et augmentation des données limitent le surapprentissage.
- **Architectures** : Convolutifs pour les images, récurrents et transformeurs pour les séquences ; pour des tableaux, les arbres boostés restent souvent compétitifs.

## Conclusion

L'apprentissage profond est puissant mais coûteux en données, en calcul et en explicabilité. Retenez les briques, la rétropropagation, les outils de régularisation et le critère de décision face à des modèles plus simples.

À l'examen, justifiez le choix d'une architecture par la nature des données et les contraintes métier.

## Cartes

### Pourquoi une fonction d'activation non linéaire ?

Sans elle, un empilement de couches équivaut à un modèle linéaire.

### Qu'est-ce que ReLU ?

Une activation qui renvoie max(0, x), simple et courante.

### Que calcule la rétropropagation ?

Le gradient de l'erreur par rapport à chaque poids, via la règle de dérivation en chaîne.

### Qu'est-ce qu'une époque ?

Un passage complet sur les données d'entraînement.

### Quel est l'effet d'un taux d'apprentissage trop élevé ?

L'entraînement oscille ou diverge.

### Que fait le dropout ?

Il désactive aléatoirement des neurones à l'entraînement pour limiter le surapprentissage.

### Pourquoi utiliser un jeu de validation ?

Pour régler les hyperparamètres et décider de l'arrêt précoce sans toucher au test.

### Quand préférer un réseau convolutif ?

Pour des images, où les motifs locaux se répètent.

### Quand l'apprentissage profond n'est-il pas justifié ?

Avec peu de données tabulaires ou un besoin d'explication fort, où un modèle plus simple suffit.

## Glossaire

- **Perceptron multicouche** : Réseau de couches entièrement connectées.
- **Rétropropagation** : Calcul des gradients couche par couche vers l'arrière.
- **Taux d'apprentissage** : Pas de mise à jour des poids.
- **Dropout** : Désactivation aléatoire de neurones à l'entraînement.
- **Réseau convolutif** : Réseau exploitant des filtres locaux, adapté aux images.
- **Surapprentissage** : Modèle trop ajusté aux données d'entraînement, mauvais sur de nouvelles données.

https://ruvy.ch/decks/-P5CwD8vr8_HLfDNx5AC