architecte informatique/ Lead Expert Databricks (IT)

Contexte de la missionCette équipe en cours de construction est aujourd'hui constituée d'un chef de projet. Elle est accompagnée par diverses ressources du pôle, du département ou des équipes applicatives ( managers, coodinateurs, référent techniques, pilote de système applicatifs...). La mission du projet : Accompagner la migration et l?industrialisation d?une plateforme data cible autour de Databricks / Spark / Power BI? Description du profil: Nous recherchons un Lead Data Engineer / Expert Databricks pour accompagner la migration et l?industrialisation d?une nouvelle plateforme data. Le profil interviendra sur la conception de pipelines Databricks / Spark, la structuration du modèle de données cible et la mise en place de standards de développement robustes, maintenables et industrialisés. Le profil devra accompagner les équipes de développement pour assurer le respect des bonnes pratiques établies pendant la migration. Une capacité à prendre du recul, à proposer des choix techniques structurants et à travailler avec des équipes Data, BI et métier est attendue. Une connaissance de Power BI est appréciée pour faciliter l?exposition des données vers les usages analytiques. Objectifs et livrablesActivité principale : Concevoir, développer et maintenir des pipelines data sous Databricks / Spark Développer les traitements en Python, PySpark et SQL Contribuer à la définition et à la mise en ?uvre du modèle de données cible Industrialiser les pipelines : standards de développement, tests, CI/CD, déploiement Mettre en place des traitements robustes, maintenables et scalables Orchestrer les traitements via Databricks Workflows / Lakeflow Jobs Contribuer à la qualité, à l?observabilité et à la fiabilité des traitements Participer au run : suivi de production, analyse d?incidents, amélioration continue Prendre en compte les enjeux de performance et de maîtrise des coûts Activité secondaire : Participer au cadrage des besoins avec le Product Owner et les équipes utilisatrices Contribuer aux choix techniques liés à la nouvelle plateforme data Participer à la mise en place des pratiques de développement Databricks Contribuer à l?interfaçage avec Power BI ou à des processus intégrés Databricks / Power BI Participer à l?intégration de sources d?alimentation du datalake, Kafka apprécié Contribuer à la documentation technique et aux standards d?équipe Participer aux rituels agiles et à l?amélioration continue de la feature team Stack technique de l'équipe: Obligatoires : Databricks, Spark, PySpark, Python, SQL Obligatoires : Modélisation data, Delta Lake, Unity Catalog Obligatoires : CI/CD, tests, industrialisation des pipelines Demandées : Certification Databricks, cloud public, Terraform Demandées : Databricks Workflows, observabilité Appréciées : Kafka, Lakeflow / DLT, Power BI Appréciées : Certification cloud Profil candidat: Compétences attendues sur le profil : Compétences techniques Expertise confirmée sur Databricks Très bonne maîtrise de Spark / PySpark Très bonne maîtrise de Python et SQL Solide compétence en modélisation de données Bonne connaissance de Delta Lake et Unity Catalog Expérience en industrialisation de pipelines data : CI/CD, tests, déploiement Expérience sur des environnements cloud publics, sans cloud cible imposé Connaissance de Terraform pour les sujets Databricks / cloud Bonne pratique de Databricks Workflows Sensibilité à l?observabilité, à la qualité de service et à la maintenabilité Appétence pour les sujets de performance et de maîtrise des coûts Kafka apprécié pour l?ingestion de données vers le datalake Power BI apprécié pour les usages d?exposition et de consommation BI Certification Databricks attendue Certification cloud appréciée Posture attendue Autonomie forte après montée en compétence sur le contexte Leadership technique sans posture managériale obligatoire Capacité à structurer, standardiser et documenter Force de proposition et esprit d?amélioration continue Capacité à travailler avec des profils Data, BI, PO et métier Orientation solutions robustes, maintenables et industrialisables Impératif 1 : Expertise Databricks confirmée : minimum 4 ans, avec certification Databricks Impératif 2 : Expérience concrète en modélisation de données Impératif 3 : Participation à un projet de migration ou transformation data