Développeur Big Data : Python, SQL, Shell, Spark expérimenté (IT)

Contexte Le client dans le cadre de son activité Big Data, recherche un profil en développement Data, Python, SQL, Shell, Spark (+ de 5 ans d'expérience) pour l?accompagner dans nos actions sur la plateforme Cloudera Hadoop. L'objectif de la mission est de réaliser et maintenir les développements nécessaires à l'alimentation de la plateforme Hadoop, à la mise en place d'extractions et à l'accompagnement des utilisateurs

MISSIONS

Rattaché au responsable Big Data, le profil aura pour principales missions :

• de prendre en charge les évolutions des données à intégrer, reprendre les développements effectués pour l'alimentation du Datalake , de les faire évoluer en fonction des besoins (Stack technique : Hadoop Cloudera, Hive, Impala, Python, Shell, Linux, SQL, VBA, Jupyter)
• d'avoir une expertise technique permettant de spécifier techniquement les tâches, fournir les requêtes de référence, effectuer une revue de code, accompagner les potentiels alternants ou stagiaires (une alternante à date)
• de mettre en place des extractions à partir de ces données,
• d?assurer le support niveau 2,
• de faire appliquer les consignes aux utilisateurs,
• de garantir la tenue des délais de livraison dans un contexte de production à fortes attentes
• de contribuer à garantir la maintenabilité de la plateforme ainsi que ses performances et son exploitabilité

Il veillera au respect de l?utilisation des modèles référencés ou à leur évolution en collaboration avec la Direction Technique Informatique et la Gourvernance de la Donnée. Le profil devra posséder des aptitudes et qualités avérées sur sa capacité à communiquer avec diplomatie, à écouter, à s'intégrer et à partager son savoir faire, à documenter ses actions et à accompagner. Dans le même ordre d'idée, quelques attendus :

• Développement des traitements d'alimentation, forte capacité à structurer l'activité (JIRA), mise en place et description de processus (guides, accompagnement utilisateurs, ?), pilotage opérationnel de certains sujets
• Développement d'extractions avec SQL (expert) et scripting Shell avancé pour l'automatisation
• Capacité à investiguer et faire du reverse engineering dans une architecture héritée complexe
• Optimisation des traitements de la plateforme et ceux des utilisateurs
• Capacité à expliquer simplement le sujet, à communiquer vers des interlocuteurs type développeur, bureau d'étude, qualifieur et ""clients"" (Groupes de protection sociale).

La connaissance de Power BI et de SAS sont des plus." Livrables attendus Code source documenté Plan de tests / fiches de test Bilan Bordereau de livraison Manuel d?installation Dossier d?exploitation JIRA documentée" Environnement technique - technologique "? Cloudera Hadoop

• Hive, impala
• Python

? SQL

• Shell
• Spark

? VBA

? GIT

• Jupyter
• Linux

? JIRA"

Compétences techniques Connaisance Cloudera Hadoop, Hive, Impala Développement Python Requêtage SQL Développement Shell Développement Spark (Scala) Utilisation de GIT Agilité (méthodes Kanban et/ou Scrum) Compétence liée à l'environnement Connaissance de l'écosystème de la protection sociale (Retraite Complémentaire idéalement) Profil candidat:

COMETENCES ATTENDUES

Obligatoires: Hadoop Cloudera, Hive, Impala, Python, Shell, Linux, SQL, VBA Un plus : Jupyter"