Data engineer (H/F)

About the RoleEn tant que Data Engineer, vous jouerez un rôle déterminant dans la conception, la construction et l’optimisation des pipelines de traitement des données au sein d’une plateforme de données centralisée « DATAHUB ». Cette plateforme consolide, fédère et améliore les ressources de données massives pour divers cas d’utilisation, notamment le reporting, l’analytique et l’apprentissage automatique. Vous travaillerez avec plusieurs sources de données, garantissant l’intégration, la transformation et la qualité transparentes des données, tout en migrant l’infrastructure Hadoop vers les environnements cloud.Responsabilités :Intégration des données : intégrez des données provenant de plusieurs sources et formats dans la couche brute du DATAHUB.Modélisation des données et développement de pipelines : Concevez et développez des pipelines de données efficaces pour enrichir et transformer de grands volumes de données avec des règles commerciales complexes et la modélisation des données du lakehouse.Transformation et qualité des données : Mettez en œuvre des processus de transformation des données et de contrôle de la qualité pour garantir la cohérence et l’exactitude des données. Utilisez des langages de programmation tels que Scala et SQL et des outils tels que Spark pour les opérations de transformation et d’enrichissement des données.Planification avec Airflow : Planifiez des tâches de traitement des données à l’aide d’Airflow.Tests de validation : Effectuez des tests unitaires et de validation pour garantir l’exactitude et l’intégrité.Mise en œuvre du pipeline CI/CD : configurez des pipelines CI/CD pour automatiser le déploiement, les tests unitaires et la gestion du développement.Documentation : Rédiger la documentation technique (spécifications, documents opérationnels) pour assurer la capitalisation des connaissances.Amélioration du code : modifiez le code existant selon les exigences de l’entreprise et améliorez-le continuellement pour de meilleures performances et une meilleure maintenabilité.Migration de l’infrastructure : migrez l’infrastructure Hadoop existante vers une infrastructure cloud sur Kubernetes Engine, Object Storage, Spark as a service et Airflow as a service.Optimisation des performances et sécurité : Assurer la performance et la sécurité de l’infrastructure de données et suivre les meilleures pratiques de l’ingénierie des données.Support de production et maintenance : Contribuer au support de production, à la correction d’incidents et d’anomalies, et mettre en œuvre des évolutions fonctionnelles et techniques pour assurer la stabilité des processus de production.Collaboration d’équipe : travaillez en étroite collaboration avec les équipes de données et les équipes commerciales pour comprendre les besoins en matière de données et fournir des solutions sur mesure.Animer l’équipe : Guider, collaborer et déléguer des tâches de développement à des développeurs juniors.About YouCompétences techniques :Spark, Airflow, Hadoop, Oozie, Kubernetes, COS, Scala, SQL, Dremio, Git, GitLab, Jenkins. #J-18808-Ljbffr