Développeur Big Data (Data Engineer) Confirmé H/F

Kaizen Solutions
Lyon 3e

Contexte du poste Au sein d'une Direction des Systèmes d'Information, le pôle concerné assure la conception, le développement, le maintien en condition opérationnelle et l'évolution de systèmes d'information traitant des données massives issues d'équipements connectés et de réseaux. L'équipe mène des études et développe des produits data innovants (maintenance prédictive, mobilité électrique, analyse de charges réseau), en lien étroit avec les métiers, pour optimiser l'exploitation des actifs et favoriser de nouveaux usages. Stack technique : Python, pySpark, Hadoop/HDFS (migration vers Databricks/Delta Lake en cours), Airflow, PostgreSQL, GitLab/GitLab-CI/CD, Jira/Confluence, PowerBI. Vos missions Développement de pipelines de données

  • Conception, développement et optimisation de pipelines pySpark traitant de gros volumes de données (plusieurs dizaines de millions de lignes)
  • Mise à disposition de données dans le datalake d'entreprise
  • Maintenance évolutive et corrective des chaînes de traitement en production
Supervision et qualité des données
  • Mise en place d'outils de supervision technique et de qualité des données avec l'équipe DevOps
  • Contribution au run des traitements en production (monitoring, alerting, contrôle qualité)
Architecture et conseil
  • Propositions de conception et d'architecture (traitements, modèles de données), avec l'appui du Tech Lead
  • Accompagnement des data scientists de l'équipe dans l'industrialisation de leurs codes d'étude et d'expérimentation
  • Rôle de conseil en data engineering auprès de l'équipe et d'autres projets
Migration Cloud - Contribution à la préparation et à la réalisation de la migration vers Databricks Veille et partage de connaissances
  • Veille technologique sur les outils et pratiques de data engineering (Spark, Databricks, Cloud)
  • Partage de connaissances et formation aux bonnes pratiques (qualité de code, tests, performance Spark)
Participation et intéressement / Politique salariale annuelle / PEE et PERECOL / CSE avec cagnotte individuelle (200€/an) + activités de groupe / Télétravail flexible selon accord manager / Téléphone professionnel / Tickets restaurant 8,50€ / Mutuelle Malakoff Médéric Eco Activ 9 / Forfait mobilité durable jusqu'à 600€/an. Profil recherché
  • Au moins 5 ans d'expérience en data engineering, dont une expérience significative en pySpark (conception et mise en production de pipelines traitant des volumes massifs)
  • Expérience significative de traitements Spark en production sur Databricks et/ou sur un cluster Hadoop (Databricks privilégié)
  • Expérience de run et de mise en production, d'optimisation, de maintenance et de supervision de pipelines Spark en production
  • Expérience avec un outil d'ordonnancement en environnement cloud (Airflow)
  • Maîtrise de l'industrialisation : tests, revue de code, packaging, CI/CD (Git, GitLab-CI)
  • Bonnes connaissances SQL, notamment PostgreSQL
  • Capacité à proposer et documenter des architectures de traitements et de jeux de données
  • Autonome, rigoureux, proactif, bon sens de l'organisation
  • Bonne capacité de communication et de pédagogie, y compris auprès de profils data science ou métier
Un plus : expérience sur des données d'adresse ou des données spatiales (Sedona, geopandas)

Publié le 2026-11-13

Emplois Recommandés

Consultant confirmé EPM (Pigment) - CDI - F/H

Talan
Lyon

Description de la mission L'EPM au sein du Groupe Talan :  Nos 150 Experts EPM interviennent partout dans le monde en tant que spécialistes du pilotage de la performance et de la planification d…

Voir les Détails
Publié le 2026-05-19

Chef de Mission Comptable F/H

Michael Page
Lyon

Le poste de Chef de Mission Comptable F/H En tant que Chef de Mission Comptable F/H basé à Lyon, vous aurez les responsabilités suivantes : * Assurer la gestion et le suivi des dossiers admin…

Voir les Détails
Publié le 2026-10-10

CHEF URGENTISTE (H/F) — CDI OU LIBÉRAL — RHONE (69)

Les Colettes Sourcing
Lyon 1er

Le poste : Pourquoi ce poste va vous plaire : - Vous prenez la tête d'un service organisé pour que les patients ne restent pas dans les couloirs : filière courte, déchoquage, UHCD de 8 lits, cir…

Voir les Détails
Publié le 2026-11-09

GH CENTRE AIDE SOIGNANT (H/F) Soins long durée Charpennes

Lyon

L'ÉTABLISSEMENT : Les Hospices Civils de Lyon, ce sont 13 hôpitaux publics, tous animés par une triple mission : le soin, la recherche et l'enseignement. Nous formons ensemble une communauté de 24 0…

Voir les Détails
Publié le 2026-10-28

Cadre de santé en médecine polyvalente (H/F)

Hiring & apply
Lyon 8e

Le poste de cadre de santé est à pourvoir dans un établissement à Lyon. Il s'agit d'une mission d'encadrement de proximité sur l'unité de neuromodulation, le DMP et le Centre douleur. Le titulaire as…

Voir les Détails
Publié le 2026-11-15

Cadre de santé (H/F)

Hiring & apply
Lyon 8e

Le poste de cadre de santé est à pourvoir au sein d'une unité de psychiatrie dans une clinique à Lyon. Vous serez en charge d'encadrer et d'accompagner une équipe soignante, d'organiser et de coordon…

Voir les Détails
Publié le 2026-11-06

Ingénieur Commercial ERP (H/F)

Cofabrik RH
Lyon

Notre client est un groupe de conseil et d’intégration ERP fondé en 2012, partenaire intégrateur de trois éditeurs majeurs : Infor M3, Oracle JD Edwards et Sage X3. Il accompagne les grands compt…

Voir les Détails
Publié le 2026-11-11

Product Designer UI H/F

SHIFT CONSULTING
Lyon

Les missions du poste: Pour savoir qui nous recherchons, il faut savoir ce qui nous anime ! Notre motivation repose sur nos valeurs : collaboration, transparence et solidarité. Chacun.e contribue …

Voir les Détails
Publié le 2026-11-07

SERVEUR H/F

CRIT LYON Evenementiel
Lyon 6e

A propos de CRIT LYON Evenementiel: Acteur leader dans les ressources humaines et recrutement en CDD, CDI, CDII et intérim, CRIT compte aujourd'hui près de 450 agences d'emploi généralistes et spécia…

Voir les Détails
Publié le 2026-11-06

Chargé(e) de missions Exploitation EHPAD F/H

Groupe Pavonis Santé
Lyon

Rattaché(e) à la Direction des Opérations, vous accompagnez nos structures dans la gestion opérationnelle. Vous participez à des missions temporaires d'encadrement d'établissement, aux reprises d'éta…

Voir les Détails
Publié le 2026-11-10