Introduction

L'ingénierie des caractéristiques (feature engineering) est un processus systématique conçu pour identifier et sélectionner l'ensemble de variables le plus efficace afin de construire un modèle prédictif robuste. L'inclusion d'un nombre excessif de variables, en particulier celles qui sont fortement corrélées, peut entraîner une sous-performance ou un surapprentissage du modèle. Dans de nombreux cas, le principe de Pareto (la règle des 80/20) s'applique : environ 80 % de la puissance prédictive d'un modèle peut souvent être attribuée à seulement 20 % de ses variables. Cela souligne pourquoi une ingénierie des caractéristiques réfléchie et rigoureuse est cruciale pour développer des modèles d'IA ou de prédiction performants.

Dans cet article, nous nous concentrerons spécifiquement sur les données structurées, qui suivent un schéma clair. Les deux autres types de données, semi-structurées (avec un schéma souple) et non structurées (sans schéma), nécessitent des approches différentes. Pour celles-ci, des techniques telles que l'analyse textuelle et l'analyse de sentiment sont couramment utilisées pour extraire des caractéristiques significatives qui peuvent ensuite être intégrées dans la modélisation prédictive.

Ingénierie des caractéristiques

L'ingénierie des caractéristiques se compose de quatre processus clés : l'extraction, la transformation, l'apprentissage et la sélection. En partant de données brutes, ces étapes sont appliquées séquentiellement pour produire un jeu de données composé de caractéristiques et d'étiquettes correspondantes — où chaque instance (ligne) de données se voit attribuer une étiquette pouvant être utilisée pour entraîner un algorithme d'apprentissage automatique. Comme illustré dans la Figure (1), le processus est à la fois séquentiel et itératif ; même après une première phase de sélection, des caractéristiques supplémentaires peuvent être extraites du référentiel de données et affinées lors des itérations suivantes. Dans les sections suivantes, nous explorons chacun de ces quatre sous-processus plus en détail.
‍

1. Extraction des caractéristiques

Avant d'entamer la construction d'un modèle d'IA ou de ML à des fins prédictives, il est essentiel d'évaluer les données disponibles. Bien souvent, les données sont dispersées dans plusieurs systèmes plutôt que stockées dans un référentiel centralisé unique. Pour y remédier, un processus de migration de données bien défini doit être mis en place afin de garantir que toutes les informations soient facilement accessibles et cohérentes. Cette migration doit unifier les données provenant de sources diverses au sein d'une solution de stockage centralisée, telle qu'un entrepôt de données (data warehouse), un lac de données (data lake) ou une lakehouse.

Une fois le système de données centralisé en place, nous pouvons passer à la première étape de l'ingénierie des caractéristiques : l'extraction. Comme il s'agit d'un processus itératif, il n'est pas toujours nécessaire d'extraire toutes les variables dès le premier passage. Cependant, dans de nombreuses situations pratiques, toutes les caractéristiques disponibles dans le référentiel centralisé sont extraites simultanément afin d'établir une base de référence complète.

Un aspect crucial de l'étape d'extraction est l'association de chaque instance de données (ou ligne) à une étiquette correspondante. Cette étiquette, également appelée « vérité terrain » (ground truth), est essentielle pour évaluer l'efficacité du pipeline d'ingénierie des caractéristiques. Bien qu'aucun modèle d'IA ou de ML ne soit construit durant cette phase, l'inclusion d'étiquettes permet une analyse détaillée et des décisions éclairées quant aux variables qui devraient finalement être conservées pour l'entraînement du modèle.

À ce stade, il est important de noter que l'ingénierie des caractéristiques peut également s'appliquer aux tâches de prévision, où nous analysons des données chronologiques brutes pour générer des variables prédictives optimales, même en l'absence d'étiquettes explicites. Ces caractéristiques peuvent inclure des variables de retard (valeurs passées), des variables de fenêtre glissante (statistiques récapitulatives sur une période mobile), des variables temporelles (telles que le jour de la semaine, le mois ou les jours fériés) et des facteurs externes (comme les indicateurs macroéconomiques ou les conditions météorologiques), principalement des indicateurs avancés. L'intégration de ces variables améliore la précision du modèle en lui permettant de capturer des modèles complexes, des tendances sous-jacentes et la saisonnalité au sein des données.

2. Transformation des caractéristiques

Le deuxième sous-processus de l'ingénierie des caractéristiques est la transformation. Cette étape consiste à modifier les variables originales présentes dans le système de données centralisé afin qu'elles puissent être utilisées efficacement pour construire un modèle d'IA ou de ML. Les données brutes sont rarement sous une forme immédiatement exploitable pour la modélisation ; la transformation garantit donc que les caractéristiques sont normalisées, significatives et alignées avec les exigences des algorithmes choisis.

Pour mieux comprendre, il est utile de savoir que les caractéristiques se répartissent généralement en trois types principaux : numériques, catégorielles et ordinales. Les caractéristiques numériques prennent des valeurs chiffrées, tandis que les caractéristiques catégorielles sont généralement représentées par des chaînes de caractères. Les caractéristiques ordinales ressemblent aux catégorielles mais possèdent un ordre inhérent entre leurs valeurs. Par exemple, une variable avec les valeurs « Bon », « Moyen » et « Mauvais » présente un classement naturel qui la distingue des données purement catégorielles.

Pour les caractéristiques numériques, les techniques de transformation courantes incluent la mise à l'échelle, qui peut être réalisée par normalisation ou standardisation. Dans la normalisation, chaque valeur est divisée par l'étendue (la différence entre les valeurs maximale et minimale), produisant des valeurs comprises entre 0 et 1 si elles sont toutes positives. La standardisation, quant à elle, consiste à soustraire la moyenne et à diviser par l'écart-type, ce qui donne des données avec une moyenne de zéro et un écart-type de un. Une autre transformation fréquemment utilisée est la transformation logarithmique, qui aide à réduire l'asymétrie dans les distributions de données.

Les caractéristiques catégorielles sont généralement transformées par encodage, comme le « one-hot encoding », qui convertit les étiquettes textuelles en variables binaires indicatrices. Lorsque les variables catégorielles comportent de nombreuses valeurs distinctes, une technique de regroupement (bucketing) peut être utilisée pour rassembler les catégories moins fréquentes dans une classe générale telle que « Autre ». Pour les caractéristiques ordinales, l'encodage est plus simple car leur ordre naturel permet de les mapper directement à des valeurs numériques — par exemple, attribuer 0 à « Bon », 1 à « Moyen » et 2 à « Mauvais » préserve l'ordre inhérent.

Enfin, l'une des techniques de transformation les plus universellement applicables à tous les types de caractéristiques est l'imputation, qui consiste à compléter les valeurs manquantes ou incomplètes. L'imputation garantit que le jeu de données reste complet et cohérent, évitant ainsi la perte de données précieuses lors de l'entraînement du modèle et améliorant la robustesse globale du pipeline prédictif.

3. Apprentissage des caractéristiques

Ce sous-processus est facultatif et implique l'utilisation d'un flux de travail AutoML (apprentissage automatique automatisé). Traditionnellement, l'ensemble du processus d'ingénierie des caractéristiques peut être effectué manuellement, où des experts métier déterminent quelles variables extraire, quelles transformations appliquer et lesquelles sélectionner finalement pour le modèle d'IA ou de ML. Cette approche manuelle repose fortement sur l'expertise du domaine et une analyse détaillée des valeurs sous-jacentes pour identifier celles qui contribuent le plus à la performance du modèle.

Cependant, les flux de travail automatisés modernes offrent désormais des solutions complètes incluant l'ingénierie automatisée des caractéristiques (AutoFE). Dans cette approche, des techniques non supervisées analysent toutes les valeurs extraites et appliquent des méthodes statistiques et basées sur les données pour identifier les variables les plus pertinentes et prédictives. L'AutoFE peut accélérer considérablement le processus de modélisation, réduire les biais humains et améliorer la cohérence entre les itérations, tout en permettant aux experts métier de valider et d'affiner les résultats.

L'ingénierie automatisée des caractéristiques (AutoFE) est manifestement très évolutive, bien qu'elle puisse exiger des ressources informatiques considérables. Elle s'avère particulièrement efficace pour les grands ensembles de données où le nombre initial de caractéristiques est vaste, rendant l'ingénierie manuelle peu pratique et chronophage. Néanmoins, l'ingénierie manuelle conserve des avantages importants. Elle tire parti de la connaissance du domaine, ce qui est crucial pour certaines tâches de transformation de données — telles que l'agrégation — où les points de données sont regroupés et résumés par des mesures statistiques. La force la plus significative de l'ingénierie manuelle réside peut-être dans la création de termes d'interaction combinant deux ou plusieurs caractéristiques existantes. Sans expertise métier, ce processus devient irréalisable en raison de l'explosion combinatoire des interactions possibles entre caractéristiques, un défi que l'AutoFE ne peut pas encore relever efficacement. L'ingénierie manuelle est également précieuse lors de l'application d'encodeurs, comme l'encodage one-hot, pour convertir des données catégorielles en forme numérique, où certaines valeurs catégorielles peuvent être regroupées pour améliorer l'efficacité du processus de modélisation. Les avantages supplémentaires de l'ingénierie manuelle incluent une meilleure interprétabilité, découlant de son fondement dans les connaissances d'experts, et une interopérabilité améliorée entre les flux de travail analytiques.

4. Sélection des caractéristiques

Dans ce sous-processus, l'ensemble final de caractéristiques (ainsi que leurs étiquettes correspondantes) est déterminé pour être utilisé dans le modèle d'IA ou de ML. Cette étape est guidée par une analyse statistique rigoureuse, garantissant que seules les caractéristiques les plus informatives et pertinentes sont conservées. Plusieurs mesures et techniques clés sont couramment utilisées pour évaluer et affiner les ensembles de caractéristiques. Il s'agit notamment de : Gain d'information, indice de Gini, analyse de corrélation et analyse en composantes principales (ACP).

Ensemble, ces méthodes garantissent que l'ensemble final de caractéristiques est à la fois efficace et prédictif, jetant ainsi des bases solides pour la construction de modèles d'IA/ML robustes et performants.

Conclusions

Nous avons exploré les meilleures pratiques qui sous-tendent l'ingénierie des caractéristiques, un processus crucial qui garantit qu'un modèle d'IA ou de ML est entraîné sur les données les plus pertinentes et de la plus haute qualité disponible. En général, l'ingénierie des caractéristiques est un processus itératif composé de quatre sous-processus clés : l'extraction, la transformation, l'apprentissage et la sélection. Chacune de ces étapes affine davantage les données, améliorant leur adéquation à la modélisation.

En adhérant strictement à ce flux de travail structuré, les data scientists et les ingénieurs peuvent maximiser la puissance prédictive et la fiabilité de leurs modèles. Une ingénierie des caractéristiques efficace améliore non seulement les performances du modèle, mais établit également une base solide pour un déploiement réussi dans le monde réel, où la qualité et la pertinence des données sont essentielles pour obtenir des informations significatives et exploitables.