Description du poste
Missions :
Migration des pipelines Data
• Réaliser l'audit des tables et pipelines existants.
• Identifier les flux éligibles à la migration.
• Transformer et migrer les pipelines vers la nouvelle Data Engine Platform.
• Assurer la maintenance et le support des nouveaux flux mis en production.
Migration de l'architecture Data
• Participer à la migration de l'environnement Azure Synapse Analytics vers Microsoft Fabric.
• Concevoir et optimiser les traitements de données dans un objectif de performance et de maintenabilité.
• Intervenir sur les composants Microsoft Fabric (OneLake, Lakehouses, etc.).
• Participer à l'intégration des différentes sources et outils du SI Data.
Gouvernance des données
• Mettre en œuvre les règles de conservation et d'archivage des données.
• Garantir la conformité des flux avec les politiques de rétention définies par l'organisation.
• Participer à la documentation et à la structuration du patrimoine Data.
Vie d'équipe
• Participer aux cérémonies Agile.
• Collaborer étroitement avec les équipes Data Engineering et Data Analytics.
• Produire et maintenir une documentation technique de qualité.
• Être force de proposition sur les bonnes pratiques et les évolutions techniques.
Stack technique :
Data Platform
• Microsoft Fabric
• Azure Synapse Analytics
• OneLake
• Lakehouse
Data Engineering
• Python
• PySpark
• SQL
• Spark
Orchestration
• Airflow
• DAG complexes
Outils & Méthodologies
• Jira
• Azure DevOps
• Agile Scrum / Kanban
Écosystème
• Salesforce
• Amplitude
• Tableau
Profil recherché :
• Vous justifiez d'une expérience confirmée en Data Engineering.
• Vous maîtrisez les environnements Microsoft Data, notamment Azure Synapse et idéalement Microsoft Fabric.
• Vous possédez une solide expertise sur Spark, Python, PySpark et SQL.
• Vous avez une expérience significative dans la conception et l'optimisation de pipelines Data complexes.
• Vous êtes à l'aise avec la création et la maintenance de DAG sous Airflow.
• Vous maîtrisez les principes de modélisation de données et les architectures Data modernes.
• Vous êtes autonome, rigoureux et capable de porter des sujets techniques de bout en bout.
• Vous appréciez le travail en équipe et savez communiquer efficacement avec des interlocuteurs techniques et fonctionnels.
• Une sensibilité aux usages de l'IA appliqués au développement et à l'optimisation des pipelines constitue un plus.