Dgddi Dnsce - Data Engineer H/F

Les missions du poste La DNSCE est composée d'une équipe de direction restreinte et de cinq pôles: - La direction: le/la directeur(rice) et son adjoint(e), correspondant(e) social(e), secrétariat général, responsable de la sécurité des systèmes d'information; - Le pôle Ressources et Moyens: Fonction RH locale, brigade de surveillance et sécurité du site, hygiène-sécurité et conditions de travail, élaboration et gestion du budget, soutien informatique, logistique, gestion des travaux, marchés publics, formation professionnelle; - Le pôle du Développement: plusieurs équipes-projets pour développer les projets informatiques ou statistiques et assurer leur maintenance corrective ou évolutive, ainsi qu'une équipe Recette; - Le pôle du Fonctionnement: systèmes, réseau informatique, installation et surveillance des serveurs et des traitements batchs, gestion des bases de données, hébergement, ToIP, exploitation messagerie, exploitation d'architectures big data; - Le pôle de la Statistique: collecte et traitement des données issues des déclarations intra et extra communautaires: vérification de leur fiabilité et correction, enquêtes a posteriori, diffusion des productions statistiques, rattachement de la gestion directe des premières entreprises françaises; - Le pôle Qualité, Assistance et Sécurité de l'Information: Service d'Assistance aux Utilisateurs, missions référentiels, qualité, Plateforme de Service aux Agent(e), sécurité du SI et projets correspondants, Sécurité Opérationnelle (SOC). L'équipe DATA de la DNSCE est une équipe transverse qui comprend des compétences infrastructures et de développement. Elle regroupe des métiers variés (ingénieurs cloud, ingénieurs ETL, tech lead, data engineers ou développeurs fullstack). Le/La Data Engineer (DE) intégrera l'équipe de trois DE sous le pilotage d'un(e) chef(fe) de projet local. Son périmètre d'intervention est axé sur les dispositifs de collecte de la donnée et de son traitement, sa mise en forme, sa transformation, et parfois sa restitution. Il/Elle prend en charge le développement des nouvelles ingestions et l'entretien de celles qui sont opérationnelles. Il/Elle prépare les données et contribue à leur mise en qualité afin d'en faciliter l'exploitation par les équipes utilisatrices. La mise en oeuvre de l'infrastructure de traitement de la donnée fait l'objet de nombreuses expérimentations (POC) pour sélectionner les outils et les processus les mieux adaptés aux cas d'usages, et les DE sont mobilisés dans le processus de sélection et d'implémentation des services ad-hoc. Il/elle pourra être amené(e) ponctuellement à réaliser de la data visualisation. Il/Elle est doté(e) d'une forte capacité d'adaptation et d'apprentissage, d'un esprit curieux et constructif, d'une approche pragmatique, et porte un intérêt réel à la matière et les objectifs finaux. Largement autonome et responsabilisé sur son domaine d'intervention, le/la Data Engineer participe à l'évolution de l'offre de services en matière de mise à disposition et mise en qualité des données, proposées par la DNSCE. Responsabilités opérationnelles: Sous le pilotage du responsable du pôle développement de la DNSCE, l'agent(e) aura tout particulièrement la charge de: - Participer à la mise en oeuvre des workflows de traitement des données (Extract Transform Load, Master Data Management...) - Développer les solutions techniques de collecte des données (structurées et non structurées) produites par les différentes sources internes ou externes, ponctuellement ou de manière automatique - Assurer le maintien en condition opérationnelle des traitements de collecte existants - Superviser, contrôler le bon fonctionnement des échanges de données et fournir des indicateurs d'activité et de performance - Structurer la donnée - Mettre en oeuvre les traitements de nettoyage de données (élimination des doublons, etc.) - Procéder aux contrôles qualité des données retraitées - Réaliser la préparation des données pour les besoins des cas d'usages - Réaliser le maintien en condition opérationnelle des traitements de data préparation des cas d'usages existants - Cartographier et documenter les flux de données - Participer à l'entretien du référentiel de données - Assurer une veille technologique - Participer à l'enrichissement et à la mise à jour de la documentation Le profil recherché Rejoignez une équipe qui place la donnée au coeur de ses enjeux stratégiques et participez à la construction de solutions data au sein d'un environnement technologique riche et stimulant. En tant que Data Engineer, vous évoluerez sur une infrastructure composée de multiples briques techniques et contribuerez à concevoir, développer et industrialiser des pipelines de données robustes et performants.Nous recherchons un profil curieux, rigoureux et passionné par les problématiques de gestion et de valorisation de la donnée. Une solide maîtrise de Python est indispensable, ainsi qu'une bonne connaissance des bases de données relationnelles et non relationnelles (SQL et NoSQL). Une maîtrise ou de bonnes notions en Java constitueront un véritable atout.Une expérience des outils ETL et des plateformes low-code telles que Talend ou Informatica constituera un avantage apprécié. De même, une sensibilité à l'environnement Linux ainsi qu'une connaissance de l'écosystème Cloudera Data Platform (notamment Spark, Hive et Iceberg) seront de grands plus.Toutefois, au-delà des compétences techniques déjà acquises, nous valorisons également votre capacité d'apprentissage, votre autonomie et votre envie de progresser sur des technologies variées. Bienvenue chez Service Public La DNSCE est composée d'une équipe de direction restreinte et de cinq pôles:La direction: le/la directeur(rice) et son adjoint(e), correspondant(e) social(e), secrétariat général, responsable de la sécurité des systèmes d'information;Le pôle Ressources et Moyens: Fonction RH locale, brigade de surveillance et sécurité du site, hygiène-sécurité et conditions de travail, élaboration et gestion du budget, soutien informatique, logistique, gestion des travaux, marchés publics, formation professionnelle;Le pôle du Développement: plusieurs équipes-projets pour développer les projets informatiques ou statistiques et assurer leur maintenance corrective ou évolutive, ainsi qu'une équipe Recette;Le pôle du Fonctionnement: systèmes, réseau informatique, installation et surveillance des serveurs et des traitements batchs, gestion des bases de données, hébergement, ToIP, exploitation messagerie, exploitation d'architectures big data;Le pôle de la Statistique: collecte et traitement des données issues des déclarations intra et extra communautaires: vérification de leur fiabilité et correction, enquêtes a posteriori, diffusion des productions statistiques, rattachement de la gestion directe des premières entreprises françaises;Le pôle Qualité, Assistance et Sécurité de l'Information: Service d'Assistance aux Utilisateurs, missions référentiels, qualité, Plateforme de Service aux Agent(e), sécurité du SI et projets correspondants, Sécurité Opérationnelle (SOC).