Data Engineer Spark & PySpark / Databricks (F/H)
A LIRE ATTENTIVEMENT AVANT DE POSTULER ⬇
2 à 3 jours de télétravail / semaine - Lyon (07) - Expérience de 5 ans minimum Vous aimez travailler sur toute la chaîne de traitement de la donnée, de la compréhension des besoins métier jusqu'à sa restitution ? Nous recherchons actuellement un.e Data Engineer Spark & PySpark / Databricks pour rejoindre l'équipe Data/BI de l'un de nos clients. Votre mission : faire évoluer l'architecture décisionnelle existante, développer et optimiser les traitements de données et participer à une migration vers Databricks. Un poste qui combine développement, modélisation de données et échanges avec les équipes métier. Votre mission : faire évoluer la plateforme Data Vous interviendrez sur les différentes étapes de la chaîne décisionnelle, depuis l'identification des données jusqu'à leur exploitation pour le reporting métier. Concrètement, vous serez amené à :- Comprendre les besoins métier : échanger avec les interlocuteurs métier, analyser leurs attentes et identifier les données nécessaires.
- Concevoir et faire évoluer les modèles de données : enrichir les entrepôts de données et les datamarts pour répondre aux besoins de reporting.
- Développer les traitements Data : concevoir des pipelines d'intégration et des traitements Spark pour transformer et préparer les données.
- Améliorer la qualité et les performances : contrôler, nettoyer les données et optimiser les traitements existants.
- Participer à la migration vers Databricks : contribuer à l'évolution de l'architecture et des traitements dans le cadre de cette migration.
- Assurer la fiabilité des développements : réaliser les tests, documenter les solutions, participer aux déploiements et assurer la maintenance.
- Traitement des données : Apache Spark, Databricks, PySpark
- Bases de données et stockage : Oracle, S3, Parquet
- Intégration et reporting : Informatica, Tableau
- Gestion de code et déploiement : Git, Jenkins
- Spark & PySpark sont indispensables : vous savez les utiliser pour développer et optimiser des traitements de données.
- Vous avez une très bonne maîtrise de SQL, notamment pour manipuler, transformer et exploiter les données.
- Vous avez une expérience en modélisation de données, utile pour concevoir et faire évoluer les entrepôts de données et les datamarts.
- Vous êtes capable de comprendre les besoins métier et de les traduire en solutions techniques adaptées.
Emplois Recommandés
Gestionnaire Technique de Bâtiment - F/H
La Direction de la Gestion Technique des Bâtiments (DGTB), compte 270 agents répartis en 13 services. Elle est responsable de la conservation et de la sécurité de 1 200 bâtiments (écoles, crèches,…
Responsable amélioration continue
Rejoignez l'Aventure MYTTRA en tant que Responsable Excellence Opérationnelle ! Vous êtes un expert du Lean Manufacturing et de la résolution de problèmes, avec une véritable expérience du QRQC …
People & Legal Ops
⭐ À propos L'application tout-en-un dédiée aux indépendants. Être indépendant, c’est avoir plusieurs métiers : son activité, son administratif, ses finances… Sauf qu’ils ont rarement des notions…
RSI (H/F) - Secteur de l'Enseignement
Le poste de RSI (H/F) - Secteur de l'Enseignement Rattaché au SG, vous êtes responsable de la définition, du pilotage et de la mise en uvre de la stratégie des systèmes d'information. Vous ga…
Ingénieur Sénior QA/QC F/H
Le poste : Responsable Qualité Senior / Responsable QA/QC Chantier afin d'assurer l'assurance qualité, le contrôle qualité ainsi que la gestion documentaire sur un projet clé en main de constructi…
Ingénieur Automatisme Confirmé
Le poste : Finalité du poste Au sein de la Direction des Opérations Groupe (équipe Info Indus, périmètre France et International), vous concevez, développez, mettez en service et maintenez des …
Stage - Ingénieur Systèmes Fluides - Modélisation - EPR2 F/H
Framatome, filiale d'EDF, conçoit, entretient et installe des composants et des combustibles ainsi que des systèmes de contrôle-commande pour les centrales nucléaires. Ses plus de 22 000 salariés per…
Product Owner (H/F) - CDI
Salaire: 48 000 - 55 000€ / 450-500€ TJM Le produit est une application cœur permettant d’industrialiser et simplifier les activités des métiers dans le secteur du nucléaire. Le produit est déjà en p…
[FBO] ingénieur informatique DevOps / Linux Debian - Lyon - 1887 (IT)
Description du poste : Mission de développement expérimenté pour rejoindre l'équipe dans le cadre du contrat Perform Lot 2. Etre responsable du développement et de la gestion d'une souche (fork) de …
Commercial Habitat - H/F
Votre CV ne raconte peut-être pas tout. Montrez-nous ce que vous savez faire. Vous aimez aller vers les autres, comprendre leurs besoins, convaincre et conclure une vente ? Nous recherchons avan…