Le détaillant générait des volumes massifs de données de vente et de données clients provenant de multiples canaux, notamment les magasins physiques, les plateformes e-commerce, les applications mobiles et les partenaires externes. Les données arrivaient dans des formats différents et à des fréquences variables, rendant leur intégration et leur gestion de plus en plus complexes.

Les principaux défis comprenaient :

• L'intégration de données structurées et semi-structurées provenant de sources multiples.
• Le traitement de téraoctets de données de transaction hebdomadaires sans goulots d'étranglement de performance.
• L'élimination des enregistrements en double et l'amélioration de la qualité globale des données.
• La protection des informations sensibles des clients tout en respectant les exigences de conformité.
• La construction d'une plateforme de données évolutive et rentable, capable de prendre en charge l'analyse d'entreprise et les futures initiatives d'IA.

UPSTA a conçu et mis en œuvre un pipeline de données retail de bout en bout qui a automatisé l'ingestion, le traitement, la gouvernance et le stockage des données au sein d'un data lake Hadoop Hive.

La solution comprenait :

• Une ingestion par lots, en streaming et basée sur API utilisant Apache Sqoop, Apache Kafka et Spark.
• Le nettoyage automatisé des données, la déduplication, la validation de schéma et la normalisation des formats.
• Un stockage sécurisé dans HDFS utilisant des formats optimisés Parquet/ORC avec partitionnement et bucketing pour accélérer les performances des requêtes.
• Une gouvernance des données d'entreprise via Apache Ranger pour la sécurité basée sur les rôles et Apache Atlas pour la gestion des métadonnées et le lignage.
• L'intégration avec des plateformes de BI et d'apprentissage automatique, permettant le reporting, l'analyse prédictive et les charges de travail en science des données.
• Des options de déploiement Hadoop basées sur le cloud pour une meilleure évolutivité et des coûts d'infrastructure optimisés.