Architecte / Tech Lead Data - Azure Databricks - Freelance

Contexte FREELANCE OU CDI

Remplacement à faire au sein d’une équipe de 5 à 6 personnes sur un projet long terme .
La mission concerne une Data Platform existante avec maintien et amélioration, intégration de l’IA et prise en compte de la sécurité client.
Démarrage ASAP , en présentiel 2 à 3 jours par semaine à Lyon , avec un temps plein souhaité (possibilité de démarrer à 3/5ème).

Missions

• Optimisation et mise en place de l’architecture Data Platform (Azure Databricks) en appliquant les bonnes pratiques de gouvernance, performance et scalabilité

• Organisation et structuration des ressources pour l’industrialisation de nouveaux use cases et la livraison en production

• Montée en compétence de l’équipe Data (mentorat, standards d’architecture, bonnes pratiques CI/CD)

• Implémentation d’une architecture Data Mesh orientée domaines

• Mise en place des droits d’accès et de la gouvernance des Data Domains et des use cases via Databricks Unity Catalog

• Gestion centralisée du catalogue de données, data lineage et sécurité

• Refonte et optimisation de l’architecture Data Platform pour améliorer performance, coûts et maintenabilité

• Optimisation des performances de traitement (Spark tuning, optimisation Delta, partitioning, caching)

• Création et orchestration de workflows sur Azure Databricks

• Développement de notebooks d’intégration et de transformation des données (PySpark / SQL)

• Développement de pipelines Azure Data Factory

• Mise en place de pipelines DevOps CI/CD et industrialisation des déploiements multi-environnements (DEV / UAT / PROD)

• Mirroring des catalogues et use cases Databricks vers Fabric pour unifier la gouvernance et faciliter l’adoption métier

• Utilisation des Shortcuts vers OneLake afin d’éviter la duplication de données, réduire les coûts de stockage et améliorer la performance des rapports Microsoft Power BI

• Implémentation d’AI Data Agents pour démocratiser l’accès aux données

• Utilisation de Copilot via Data Agent pour permettre aux utilisateurs métier d’interagir en langage naturel avec les données

• Intégration des Data Agents dans Microsoft Teams afin d’améliorer la collaboration et la génération assistée d’insights

Outils & Environnement

• Azure Databricks, Databricks Unity Catalog

• Azure Data Factory, Azure DevOps, Azure Key Vault

• Azure Data Lake Storage (ADLS Gen2), Azure Cosmos DB

• Microsoft Power BI, OneLake

• PySpark, Spark SQL, Delta Lake

• CI/CD, Data Mesh, Lakehouse Architecture

Conditions de travail

• Temps plein souhaité (possibilité de démarrer à 3/5ème)

• Présentiel 2 à 3 jours par semaine à Lyon

• Démarrage ASAP

• Rôle partagé : 2/5 architecture, 2/5 lead tech Databricks, 1/5 travail sur les use cases métier

• Anglais requis

• FR Nucléaire