Description du poste
Description du poste :
Contexte
Dans le cadre du renforcement d'une équipe Data & IA, nous recherchons un(e) Ingénieur Data Platform / Big Data pour assurer l'administration, l'évolution et le maintien en conditions opérationnelles des plateformes Data. Vous interviendrez sur des environnements à forts enjeux, en collaboration avec les équipes applicatives, infrastructures et métiers.
Vos missions Administration et exploitation des plateformes Data***Assurer l'administration, la supervision et le maintien en conditions opérationnelles des plateformes Data.***Garantir la disponibilité, la performance et la fiabilité des infrastructures.***Réaliser les opérations de maintenance corrective et évolutive.***Participer à la résolution d'incidents complexes sur les plateformes Big Data (Hive, Yarn, Spark, etc Assurer un support technique auprès des équipes applicatives et métiers Conception et gestion des flux de données***Recueillir et analyser les besoins métiers liés à la collecte et au stockage des données.***Développer des solutions d'acquisition de données via API.***Concevoir et mettre en œuvre des architectures de stockage performantes et évolutives.***Automatiser les traitements de données grâce à des batchs et workflows.***Réaliser les tests unitaires et d'intégration afin de garantir la qualité des développements.
Valorisation et gouvernance des données***Industrialiser les traitements de nettoyage et de transformation des données.***Administrer des bases de données issues de sources multiples.***Veiller au respect des bonnes pratiques de gouvernance et de conformité (RGPD Garantir la qualité et la disponibilité des données pour les utilisateurs.
Industrialisation des modèles Data & IA***Participer au déploiement industriel des modèles statistiques et de Machine Learning.***Mettre en place les dispositifs de validation, de supervision et de monitoring des modèles.***Assurer leur maintien en conditions opérationnelles.
Contribution aux projets Data***Participer à la définition des spécifications techniques.***Être force de proposition sur les évolutions techniques de la plateforme.***Contribuer aux projets de modernisation et de migration des infrastructures Data.***Assurer un reporting régulier auprès du chef de projet.***Accompagner les utilisateurs métiers sur les problématiques techniques et les cas d'usage.
Environnement technique
Big Data***Cloudera CDP 7.1***Hadoop***Hive***HBase***Kafka***Spark***Solr***Ranger***Knox***ZooKeeper***Kerberos***LDAP Containerisation & Cloud***OpenShift***Kubernetes***Cloudera Data Services (CDS Data Engineering***Trino / Starburst***Apache Airflow***Apache Flink
Développement & Industrialisation***Java***Maven***Gradle***API REST***Ansible
Description du profil :
Profil recherché***Formation supérieure en informatique (Bac+5 ou équivalent Expérience significative sur des environnements Big Data et Data Platform.***Solides compétences sur l'écosystème Hadoop et les technologies Apache.***Expérience de l'administration de plateformes Cloudera.***Bonne maîtrise des environnements Linux.***Connaissances des architectures conteneurisées (OpenShift / Kubernetes Capacité d'analyse et de résolution d'incidents complexes.***Esprit d'équipe, autonomie et sens du service.***Bonnes capacités de communication avec des interlocuteurs techniques et métiers.