Ingénieur Data Azure / Data Engineer H/F

Le poste :

Au sein d'une Direction des Services Socles et Poste de Travail, vous intervenez sur une plateforme Data centralisant de multiples sources d'information liées à la gestion des actifs informatiques, aux identités numériques, aux référentiels d'entreprise et aux données de gestion.

Ces données sont consolidées au sein d'un Data Warehouse Cloud Azure afin de produire des indicateurs décisionnels, des tableaux de bord Power BI et des reportings destinés aux différentes directions métiers.

Les principaux usages concernent notamment :

Le pilotage des services internes ;
Le suivi de la consommation et de la facturation des offres de services ;
L'aide à la décision ;
Le suivi des projets et déploiements ;
L'historisation des données ;
L'amélioration de la gouvernance des actifs IT.

Missions principales :
Dans le cadre de l'évolution et de l'industrialisation de la plateforme Data, vous intervenez en tant qu'Ingénieur Data avec une forte dimension DevOps.

Data Engineering & Supervision
Concevoir, développer et maintenir des pipelines de traitement de données sur Azure Databricks.
Développer des notebooks PySpark permettant l'alimentation des couches Bronze, Silver et Gold selon l'architecture Médaillon.
Exploiter et optimiser les formats de données Parquet, Delta Lake et CSV.
Garantir la qualité, la performance et la fiabilité des traitements.
Optimiser les jobs existants afin de réduire les temps d'exécution et les coûts d'exploitation.
Mettre en place et maintenir les dispositifs de supervision et de monitoring des flux de données.
Assurer le suivi de la qualité des données et la gestion des alertes.
Participer à la résolution d'incidents et à l'amélioration continue de la plateforme.
Collaborer avec les équipes métiers et techniques afin de comprendre les besoins et proposer des solutions adaptées.

DevOps & Infrastructure Cloud
Participer à l'administration et à l'évolution de l'infrastructure cloud Azure.
Maintenir et faire évoluer les infrastructures as code via Terraform.
Développer et maintenir les pipelines de déploiement sous Jenkins.
Contribuer aux processus CI/CD et aux bonnes pratiques d'industrialisation.
Réaliser des revues de code et participer à la gestion des dépôts GitHub.
Contribuer à l'automatisation des déploiements et à l'amélioration des standards techniques.

Environnement technique :
Technologies & environnement technique
- Cloud & data platform : Azure, Databricks, Azure Data Factory, Azure Storage Account, Azure Key Vault, Power BI.
- Infra & CI/CD : Terraform, Jenkins, GitHub (PR/MR, workflows), intégration runtime via VM.
- Langages & frameworks : Python, PySpark (DataFrame API, Spark SQL), SQL.
- Formats & data : parquet, delta, csv…
- Librairies Python courantes :
o pyspark (transformations, jointures, agrégations, optimisations).
o delta-spark et librairies Delta Lake pour la gestion des tables (ACID, time travel, optimisation).
o Packages Azure (azure-identity, azure-keyvault-secrets, azure-storage-blob, etc.) pour l'intégration avec les services cloud.

Profil :

Formation supérieure en Informatique, Data ou équivalent.
Minimum 5 ans d'expérience en Data Engineering.
Expérience significative sur les environnements Azure Data Platform.
Maîtrise de Databricks et du développement PySpark.
Bonne compréhension des architectures Data Lake / Data Warehouse.
Connaissances en Infrastructure as Code et pratiques DevOps.
Expérience sur les outils CI/CD et les workflows Git.

A propos de nous :

SCC est la division « technologie » du Groupe Rigby. Premier groupe informatique privé en Europe, SCC est un acteur majeur de l'intégration et des services informatiques d'infrastructure.

L'ambition de SCC est de fournir à ses clients des solutions technologiques et des services intégrés pour assurer l'efficacité financière et opérationnelle de leur outil informatique et supporter leur compétitivité.

Partenaire incontournable, SCC répond à l'ensemble des besoins clients, des plus simples aux plus complexes, grâce à l'étendue de son offre et de sa couverture géographique, son expertise tant généraliste que spécialisée et la portée de ses centres de service.

SCC est avant tout une aventure humaine. Ses collaborateurs sont sa principale richesse. Ensemble, ils sont réunis autour de cinq valeurs d'entreprise : l'esprit d'entreprendre, le professionnalisme, l'esprit d'équipe, l'engagement et les diversités.

Présente sur tout le territoire national, SCC compte plus de 5 000 clients, 3 300 collaborateurs et d'un chiffre d'affaires de 2,7 Milliard d'EUR en France au 31/03/2024.

Chez SCC, nous valorisons la diversité et l'inclusion. Chaque talent compte, indépendamment du genre, du handicap ou de toute autre distinction.