Description du poste
Contexte
Dans le cadre du renforcement d'une équipe Data & IA, nous recherchons un(e) Ingénieur Data Platform / Big Data pour assurer l'administration, l'évolution et le maintien en conditions opérationnelles des plateformes Data. Vous interviendrez sur des environnements à forts enjeux, en collaboration avec les équipes applicatives, infrastructures et métiers.
Vos missions
⚙️ Administration et exploitation des plateformes Data
•
Assurer l'administration, la supervision et le maintien en conditions opérationnelles des plateformes Data.
•
Garantir la disponibilité, la performance et la fiabilité des infrastructures.
•
Réaliser les opérations de maintenance corrective et évolutive.
•
Participer à la résolution d'incidents complexes sur les plateformes Big Data (Hive, Yarn, Spark, etc.).
•
Assurer un support technique auprès des équipes applicatives et métiers.
️ Conception et gestion des flux de données
•
Recueillir et analyser les besoins métiers liés à la collecte et au stockage des données.
•
Développer des solutions d'acquisition de données via API.
•
Concevoir et mettre en œuvre des architectures de stockage performantes et évolutives.
•
Automatiser les traitements de données grâce à des batchs et workflows.
•
Réaliser les tests unitaires et d'intégration afin de garantir la qualité des développements.
Valorisation et gouvernance des données
•
Industrialiser les traitements de nettoyage et de transformation des données.
•
Administrer des bases de données issues de sources multiples.
•
Veiller au respect des bonnes pratiques de gouvernance et de conformité (RGPD).
•
Garantir la qualité et la disponibilité des données pour les utilisateurs.
Industrialisation des modèles Data & IA
•
Participer au déploiement industriel des modèles statistiques et de Machine Learning.
•
Mettre en place les dispositifs de validation, de supervision et de monitoring des modèles.
•
Assurer leur maintien en conditions opérationnelles.
Contribution aux projets Data
•
Participer à la définition des spécifications techniques.
•
Être force de proposition sur les évolutions techniques de la plateforme.
•
Contribuer aux projets de modernisation et de migration des infrastructures Data.
•
Assurer un reporting régulier auprès du chef de projet.
•
Accompagner les utilisateurs métiers sur les problématiques techniques et les cas d'usage.
Environnement technique
️ Big Data
•
Cloudera CDP 7.1
•
Hadoop
•
Hive
•
HBase
•
Kafka
•
Spark
•
Solr
•
Ranger
•
Knox
•
ZooKeeper
•
Kerberos
•
LDAP
☁️ Containerisation & Cloud
•
OpenShift
•
Kubernetes
•
Cloudera Data Services (CDS)
️ Data Engineering
•
Trino / Starburst
•
Apache Airflow
•
Apache Flink
Développement & Industrialisation
•
Java
•
Maven
•
Gradle
•
API REST
•
Ansible
Profil recherché
•
Formation supérieure en informatique (Bac+5 ou équivalent).
•
Expérience significative sur des environnements Big Data et Data Platform.
•
Solides compétences sur l'écosystème Hadoop et les technologies Apache.
•
Expérience de l'administration de plateformes Cloudera.
•
Bonne maîtrise des environnements Linux.
•
Connaissances des architectures conteneurisées (OpenShift / Kubernetes).
•
Capacité d'analyse et de résolution d'incidents complexes.
•
Esprit d'équipe, autonomie et sens du service.
•
Bonnes capacités de communication avec des interlocuteurs techniques et métiers.