architecte informatique pyspark - 3 mois (IT) / Freelance

Contrainte forte du projetFort enjeux métierLes livrables sont :Package pysparkDictionnaire / catalog de donnéesModèle de données tabulaireCompétences techniques :PYTHON / PYSPARK / SPARK - Expert - ImpératifDatabricks / Data Factory / Azure DevOps - Expert - ImpératifAzure Analysis Services - Expert - ImpératifIntégration GIT - Expert - ImportantConnaissances linguistiques : Français Courant (Impératif)Description détaillée :L'équipe Datafinance utilise actuellement une architecture basée sur Databricks, Azure Blob Storage, Azure Data Factory et Azure Analysis Services pour traiter et analyser ses données financières. Nous cherchons à optimiser les processus de traitement de ces données, en particulier le rafraîchissement des données, pour améliorer la performance et la qualité des analyses.Dans ce cadre, nous recherchons un expert en BI et Data pour une mission de 3 mois. L'objectif est d'optimiser le temps de traitement et de rafraîchissement des données.Objectifs de la mission :Optimiser le traitement des données du projet Data finance, en se concentrant principalement sur le processus de rafraîchissement des données entre la zone gold et le cube de données.Optimiser l'utilisation de Azure Analysis Services (modèle Tabulaire) pour les rapports et les analyses.Technologies utilisées :Databricks (en particulier avec PySpark).Azure Analysis Services (modèle Tabulaire).SQL.Git et Azure DevOps pour la gestion des versions et l'intégration continue.Compétences requises :Maîtrise de PySpark : pour le traitement et l'optimisation des données dans Databricks.Expertise en modélisation de données : capacité à concevoir et optimiser des modèles de données pour améliorer la performance et la gestion des données financières.Maîtrise du modèle Tabulaire dans Azure Analysis Services : pour optimiser le rafraîchissement des données et améliorer les performances des cubes.Bonnes compétences en SQL.Livrables attendus :Mise en œuvre des optimisations dans Databricks et Azure Analysis Services.Documentation détaillée des modifications apportées et des bonnes pratiques mises en place.Transfert de connaissances aux équipes internes pour garantir une gestion continue des processus optimisés. #J-18808-Ljbffr