Développeur Data Python SQL Shell Spark (IT)
CONTEXTE :
Le client dans le cadre de son activité Big Data, recherche un profil en développement Data, Python, SQL, Shell, Spark (+ de 5 ans d'expérience) pour nous accompagner dans les actions sur la plateforme Cloudera Hadoop. L'objectif de la mission est de réaliser et maintenir les développements nécessaires à l'alimentation de la plateforme Hadoop, à la mise en place d'extractions et à l'accompagnement des utilisateursMISSIONS
Rattaché au responsable Big Data, le profil aura pour principales missions :- de prendre en charge les évolutions des données à intégrer, reprendre les développements effectués pour l'alimentation du Datalake , de les faire évoluer en fonction des besoins (Stack technique : Hadoop Cloudera, Hive, Impala, Python, Shell, Linux, SQL, VBA, Jupyter)
- d'avoir une expertise technique permettant de spécifier techniquement les tâches, fournir les requêtes de référence, effectuer une revue de code, accompagner les potentiels alternants ou stagiaires (une alternante à date)
- de mettre en place des extractions à partir de ces données,
- d?assurer le support niveau 2,
- de faire appliquer les consignes aux utilisateurs,
- de garantir la tenue des délais de livraison dans un contexte de production à fortes attentes
- de contribuer à garantir la maintenabilité de la plateforme ainsi que ses performances et son exploitabilité
- Développement des traitements d'alimentation, forte capacité à structurer l'activité (JIRA), mise en place et description de processus (guides, accompagnement utilisateurs, ?), pilotage opérationnel de certains sujets
- Développement d'extractions avec SQL (expert) et scripting Shell avancé pour l'automatisation
- Capacité à investiguer et faire du reverse engineering dans une architecture héritée complexe
- Optimisation des traitements de la plateforme et ceux des utilisateurs
- Hive, impala
- Python
? SQL
- Shell
- Spark
? VBA
? GIT
- Jupyter
- Linux
? JIRA"
Compétences techniques Connaisance Cloudera Hadoop, Hive, Impala Développement Python Requêtage SQL Développement Shell Développement Spark (Scala) Utilisation de GIT Agilité (méthodes Kanban et/ou Scrum) Compétence liée à l'environnement Connaissance de l'écosystème de la protection sociale Profil candidat:PROFIL & COMPETENCES
- Capacité à expliquer simplement le sujet, à communiquer vers des interlocuteurs type développeur, bureau d'étude, qualifieur et ""clients"" ). La connaissance de Power BI et de SAS sont des plus." " Obligatoires: Hadoop Cloudera, Hive, Impala, Python, Shell, Linux, SQL, VBA Un plus : Jupyter"Emplois Recommandés
RECEPTIONNISTE H/F
L'Hôtel Spark by Hilton Lyon Ouest , récemment rénové, allie confort moderne et dynamisme de la marque Spark by Hilton. Avec ses 102 chambres , son restaurant Quai 50 , sa salle de fitness panor…
Consultant Confirmé Aménagement Environnement Réglementaire H/F
Notre société : Rejoignez-nous ! Et si vous vous engagiez dans un travail porteur de sens, au sein d'une entreprise dotée d'une forte notoriété, et reconnue pour son expertise technique et l'att…
Technico-Commercial - Menuiserie (H/F)
Description de l'offre En bref : Technico-Commercial Menuiserie H/F – Rhône (69) - CDI Pour le compte d’un industriel spécialisé dans la fabrication de menuiseries extérieures, vous intervene…
Ingénieur Radiation (H/F) | Orsay
Catégorie: Électronique Industrie: Énergie / Services publics / Gaz / Électricité Type d'Entreprise: Cabinet de Recrutement À propos de Danem People France Notre client est une PME fran…
Responsable Social(e) - Vrai 35h/semaine sur 4,5 jours
Tu es expert(e) paie, tu aimes encadrer, transmettre et tu recherches un cabinet où les valeurs humaines sont au cœur du quotidien ? Je recrute pour mon client, cabinet d'expertise comptable spécia…
Assistant de gestion H/F
A propos de OPL BYMYCAR: Accédez au meilleur de l'automobile ! Avec près de 95 000 véhicules vendus chaque année, BYmyCAR est le leader français de la distribution automobile et motocycliste. Notr…
Chef(e) de Projet AMO Infrastructures Mobilités (F/H)
À propos de nous setec est un groupe d'ingénierie français, indépendant et pluridisciplinaire, reconnu pour la réalisation de projets complexes et innovants à travers le monde. Animés par l'esprit "In…
Consultant.e sénior SEO F/H - Agence WAM
Qui sommes-nous ? L’ Agence WAM est une agence de conseil en stratégie de visibilité et d’autorité digitale des marques. Basée à Lyon et Mulhouse, elle accompagne des entreprises ambitieuses – PM…
Educateur de Jeunes Enfants — H/F
Educateur de Jeunes Enfants — H/F EDUCATEUR DE JEUNES ENFANTS / EDUCATRICE DE JEUNES ENFANTS CDD Temps Plein (7 mois) Donnez un sens à votre travail, rejoignez ACOLEA Notre association agit sur …
Technicien Réseaux Hydraulique H/F
Le poste : Vous participez à l'entretien des réseaux de distribution d'eau potable et de collecte des eaux usées et à surveiller la qualité de l'eau. - Détecter et signaler les anomalies sur les…