La couche de convolution est le bloc fonctionnel principal d'un CNN, c'est là que se produisent la majorité des calculs. Elle nécessite quelques composants, à savoir des données d'entrée, un filtre et une carte de caractéristiques ou feature map. Supposons que l'entrée soit une image couleur, composée d'une matrice de pixels en 3D. Cette entrée aura alors trois dimensions (hauteur, largeur et profondeur) qui correspondent à la combinaison RVB dans une image. Nous disposons également d'un détecteur de caractéristiques, également connu sous le nom de noyau ou de filtre, qui se déplacera sur les champs réceptifs de l'image pour vérifier si la caractéristique est présente. Ce processus est appelé convolution.

Le détecteur de caractéristiques est une matrice de poids bidimensionnelle (2D), qui représente une partie de l'image. Bien que la taille puisse varier, le filtre est généralement une matrice 3x3 ; cela détermine également la taille du champ réceptif. Le filtre est ensuite appliqué à une zone de l'image et un produit scalaire est calculé entre les pixels d'entrée et le filtre. Ce produit scalaire est ensuite intégré dans une matrice de sortie. Puis, le filtre se décale d'un cran pour répéter le processus jusqu'à ce que le noyau ait balayé toute l'image. La sortie finale de la série de produits scalaires issus de l'entrée et du filtre est connue sous le nom de carte de caractéristiques, carte d'activation, feature map ou caractéristique convoluée.

Notez que les pondérations dans le détecteur de caractéristiques restent fixes lorsqu’il se déplace sur l’image, ce qui est également connu sous le nom de partage de paramètres. Certains paramètres, comme les valeurs de pondérations, s’ajustent pendant l’entraînement grâce au processus de rétropropagation et de descente de gradient. Cependant, il existe trois hyperparamètres qui affectent la taille du volume de sortie et qui doivent être définis avant le début de l’entraînement du réseau neuronal. On trouve notamment :

1. Le nombre de filtres affecte la profondeur de la sortie. Par exemple, trois filtres distincts donneraient trois cartes de caractéristiques différentes, créant une profondeur de trois. 

2. Le pas est la distance, ou le nombre de pixels, que le noyau parcourt sur la matrice d’entrée. Bien que des valeurs de pas égales ou supérieures à deux soient rares, un pas plus grand produit une sortie plus faible.

3. La marge, ou zero-padding est généralement utilisée lorsque les filtres ne correspondent pas à l’image d’entrée. Cela met à zéro tous les éléments qui se trouvent en dehors de la matrice d’entrée, produisant une sortie plus grande ou de taille égale. Il existe trois types de marges :

• Marge valide : il s’agit de l’absence de marge. Dans ce cas, la dernière convolution est supprimée si les dimensions ne s’alignent pas.
• Marge identique : cette marge garantit que la couche de sortie a la même taille que la couche d’entrée.
• Marge pleine : ce type de marge augmente la taille de la sortie en ajoutant des zéros à la bordure de l’entrée.

Après chaque opération de convolution, un CNN applique une transformation ReLU (unité de rectification linéaire) sur la carte d'activation, ce qui permet d'introduire une non-linéarité dans le modèle.

Comme nous l’avons mentionné précédemment, une autre couche de convolution peut suivre la couche de convolution initiale. Dans ce cas, la structure du CNN peut devenir hiérarchique, car les couches suivantes peuvent voir les pixels dans les champs réceptifs des couches précédentes.  Supposons par exemple que nous cherchions à déterminer si une image contient un vélo. Nous pouvons considérer le vélo comme un ensemble de parties : il est composé d’un cadre, d’un guidon, de roues, de pédales, etc. Chaque partie du vélo constitue un schéma de niveau inférieur dans le réseau de neurones, et la combinaison de ses parties représente un schéma de niveau supérieur, créant ainsi une hiérarchie de caractéristiques au sein du CNN. Enfin, la couche convolutionnelle convertit l’image en valeurs numériques, ce qui permet au réseau neuronal d’interpréter et d’extraire des modèles pertinents.

Les couches de pooling, également appelée couches de sous-échantillonnage, permettent de réduire la dimensionnalité, c'est-à-dire de réduire le nombre de paramètres d'entrée. Comme pour la couche de convolution, l'opération de pooling balaie un filtre sur toute l'entrée, à la différence que ce filtre n'a aucun poids. Au lieu de cela, le noyau applique une fonction d'agrégation aux valeurs du champ réceptif, remplissant ainsi la matrice de sortie. Il existe deux principaux types de pooling :

• Max pooling : à mesure que le filtre se déplace sur l’entrée, il sélectionne le pixel ayant la valeur maximale pour l’envoyer à la matrice de sortie. Soit dit en passant, cette approche a tendance à être plus souvent utilisée que l’average pooling.
• Average pooling : à mesure que le filtre se déplace sur l’entrée, il calcule la valeur moyenne dans le champ réceptif pour l’envoyer à la matrice de sortie.

Bien que de nombreuses informations soient perdues dans la couche de pooling, celle-ci présente malgré tout un certain nombre d'avantages pour le CNN. Elle permet de réduire la complexité, d'améliorer l'efficacité et de limiter le risque de surajustement. 

La couche entièrement connectée porte bien son nom. Comme mentionné précédemment, les valeurs de pixel de l'image d'entrée ne sont pas directement connectées à la couche de sortie dans les couches partiellement connectées. Cependant, dans la couche entièrement connectée, chaque nœud de la couche de sortie se connecte directement à un nœud de la couche précédente.

Cette couche effectue la classification en fonction des caractéristiques extraites à partir des couches précédentes et de leurs différents filtres. Alors que les couches de convolution et de pooling ont tendance à utiliser les fonctions ReLu, les couches FC exploitent généralement une fonction d'activation softmax pour classer les entrées de manière appropriée, produisant une probabilité de 0 à 1.