Data Engineer Databricks Lyon - CDI

Contexte

En tant que Data Engineer , vous intervenez sur la conception, le développement et l’optimisation de pipelines de données robustes et scalables. Vous travaillez au cœur des plateformes Data afin de garantir la qualité, la disponibilité et la performance des données utilisées par les équipes métiers, BI et Data Science.

Missions

• Concevoir, développer et optimiser des pipelines de données robustes et scalables

• Collaborer efficacement au sein d’équipes agiles et pluridisciplinaires, en lien avec les équipes Data, IT et métiers

• Garantir la qualité, la disponibilité et la performance des données

• Prioriser les tâches, gérer les contraintes et respecter les engagements

• Communiquer clairement avec des interlocuteurs techniques et non techniques

• Appliquer les bonnes pratiques de développement logiciel pour assurer la maintenabilité et la testabilité des pipelines

• Concevoir des pipelines Data comme de véritables produits logiciels, en tenant compte de la maintenabilité, de l’évolutivité et de l’observabilité

• Mettre en place des stratégies de tests automatisés pour les pipelines, incluant tests unitaires et contrôles de qualité des données

Outils & Environnement

• Plateforme Databricks dans un contexte Data Engineering

• Apache Spark via PySpark et Spark SQL pour le développement de pipelines Data

• Delta Lake et ses mécanismes clés (Delta log, ACID, schema evolution, time travel)

• Méthodes d'ingestion de données sur la plateforme Databricks

• Framework Spark Declarative Pipelines

• Outils de tests automatisés : pytest , contrôles qualité des données ( DQX , SDP Expectations )

• Gestion de version avec Git et workflows collaboratifs associés

• Langage SQL pour interrogation des données

• Programmation en Python avec bonnes pratiques de software engineering (structuration, modularité, conventions de nommage, gestion des dépendances)

• Environnements Business Intelligence, Big Data et architectures Lakehouse

• Plateformes Data modernes (Cloud)

Conditions de travail

• Expérience attendue : 3 à 8+ ans en ingénierie Data

• Rémunération : 42-50k€

• Certifications recommandées : Databricks Certified Data Engineer Associate (ou équivalent)