Développeur Big Data (IT)

Organisation Dans le cadre de ses activités liées au traitement de données volumineuses, une organisation recherche un profil en développement Data, Python, SQL, Shell, Spark (+ de 5 ans d'expérience) pour l?accompagner dans la gestion d'une plateforme Hadoop. Objectif de la mission Réaliser et maintenir les développements nécessaires à l'alimentation de la plateforme Hadoop, notamment la mise en place d'extractions et l'accompagnement des utilisateurs. Description de la mission Le candidat, rattaché au responsable en charge du traitement de données volumineuses, sera principalement chargé de : Prendre en charge l'évolution des flux de données et reprendre les développements existants pour leur alimentation, en faisant évoluer ceux-ci selon les besoins. (Stack technique : Hadoop Cloudera, Hive, Impala, Python, Shell, Linux, SQL, VBA, Jupyter) Définir la spécification technique des tâches, fournir des requêtes de référence, réaliser des revues de code, et accompagner d?éventuels alternants ou stagiaires. Mettre en place des processus d'extraction à partir des données. Assurer le support de niveau 2. Faire respecter les consignes d?utilisation auprès des utilisateurs. Garantir le respect des délais de livraison dans un environnement exigeant. Contribuer à la maintenabilité, la performance et l?exploitabilité de la plateforme. Il veillera également à respecter l?utilisation des modèles référencés ou leur évolution, en collaboration avec la Direction Technique et la Gouvernance des Données. Le profil doit posséder des compétences avérées en communication, diplomatie, capacité d?intégration, partage de connaissances, documentation, et accompagnement des utilisateurs. Profil candidat: Compétences et expériences requises : Développement de traitements d'alimentation, avec une forte capacité à structurer l'activité à l'aide d'outils tels que JIRA. Mise en place et rédaction de processus, y compris la création de guides et l'accompagnement des utilisateurs. Pilotage opérationnel de certains sujets pour assurer leur bon déroulement. Expertise dans le développement d'extractions de données via SQL et scripting Shell avancé, notamment pour automatiser les tâches répétitives. Capacité à analyser et à réaliser du reverse engineering dans une architecture héritée complexe, en identifiant rapidement les enjeux et solutions potentiels. Optimisation des traitements de la plateforme, ainsi que ceux réalisés par les utilisateurs, afin d'améliorer la performance et l'efficacité. Aptitude à communiquer aisément, en vulgarisant les sujets techniques pour des interlocuteurs variés tels que développeurs, bureaux d'études, qualifieurs ou clients (Groupes de protection sociale). La connaissance de Power BI et SAS constitue un atout supplémentaire. Exemples de livrables attendus : Code source documenté Plan et fiches de tests Bilan de l'étude ou du projet Bordereau de livraison Manuel d?installation Dossier d?exploitation Documentation JIRA Environnement technique : Hadoop Cloudera Hive Impala Python Shell Spark Linux SQL VBA Git Jupyter Connaissances complémentaires : Une bonne compréhension de l?écosystème de la protection sociale, notamment en retraite complémentaire, serait un avantage appréciable.