Data Engineer Python / Airflow - Énergie - Freelance
Contexte
Vous intégrerez une équipe Data composée d’environ 6 à 7 développeurs, travaillant principalement sur des technologies SQL et NiFi, ainsi qu’avec un Product Owner et un référent technique.
L’équipe fonctionne en méthode Agile, avec des sprints de 2 semaines, des rituels de suivi, des rétrospectives et la gestion d’un backlog.
Vous interviendrez dans un contexte de maintien en conditions opérationnelles (MCO) et d’amélioration continue, avec pour objectif de faire évoluer progressivement les flux existants vers une architecture davantage orientée Python et Apache Airflow.
L’environnement technique comprend notamment : Python, Apache Airflow, SQL, PostgreSQL, NiFi, API REST, CI/CD et outils de supervision/monitoring.
Missions
- Reprendre, analyser et améliorer des flux Data existants.
- Améliorer la supervision, la fiabilité et le monitoring des pipelines.
- Challenger les solutions existantes et proposer des axes d'amélioration.
- Participer à la migration progressive des flux vers Apache Airflow.
- Développer et refondre certains traitements en Python.
- Mettre en place une gestion robuste des logs, erreurs et retries.
- Participer au MCO et à la résolution des incidents.
- Contribuer à l'automatisation et à l'industrialisation des pipelines.
- Collaborer avec les équipes techniques et métier dans un fonctionnement Agile.
Outils & Environnement
- Apache Airflow
- PostgreSQL
- Python
- SQL
Conditions de travail
- Lieu de la mission : Lyon
- 2 jours de télétravail par semaine
- Date de démarrage : ASAP
- Mission de longue durée : 36 mois
- Anglais professionnel obligatoire
- Séniorité requise : minimum 8 ans d’expérience en Data Engineering dans le secteur de l’énergie
Emplois Recommandés
Infirmier(e) Diplômé(e) d'État NUIT CDD H/F
A propos de FONDATION GABRIEL FRANCOIS RICHARD: La Fondation Gabriel-François Richard, basée à Lyon, accompagne depuis plus de 170 ans les personnes en situation de handicap moteur, neuromoteur ou vi…
PLOMBIER CHAUFFAGISTE (H/F)
Description du poste : CONNECTT Rhône-Alpes est spécialisée dans le recrutement de personnel en TT/CDI, dans le domaine du BTP, de l'Industrie et du Transport. Connectt intérim recherche pour un de s…
couvreur charpentier
A propos de 7in Grenoble: Notre agence implantée à Grenoble depuis 2015 a créé sa marque 7in en 2022 pour mieux vous accompagner. 7in apporte à ses clients et intérimaires un accompagnement personnal…
Assistant gestion locative - F/H
Entreprise : Le CabRH , cabinet de recrutement et d'approche directe, recrute pour son client Détails du poste : Le CabRH , cabinet de recrutement et d’approche directe, recherche pour l’un …
Ingénieur(e) commercial(e) photovoltaïque (secteur 69, 42, 38 et 01) F/H
L'entreprise Rejoignez Wewise, acteur de la transition énergétique Wewise accompagne les professionnels , entreprises industrielles, tertiaires, collectivités et exploitation…
Comptable Syndic (H/F)
Notre Client est une société d’édition de logiciels destinés aux professionnels de l’immobilier. Construit par des anciens du métier, le produit est apprécié des cabinets de conseil indépendants pour…
Site Project Manager F/H
Poste ouvert aux personnes en situation de handicap. Join an international group, a leader in low-carbon growth and committed to tackling climate change. NUWARD , an EDF subsidiary, is dedicated to…
Directeur Adjoint de restaurant H/F
Salaire: 2700,00€ à 3000,00€ bruts par mois + TIPS Contrat: CDI à temps plein (42h hebdomadaires en coupures) Groupe de restauration de spécialités japonaises, nous recherchons pour notre resta…
Technicien·ne Prélèvements Eau H/F
Le poste : Votre mission Rattaché·e au responsable de l'équipe Prélèvements & Mesures, vous intervenez directement sur le terrain afin d'assurer le contrôle réglementaire et le suivi de la quali…
Maître d'Hôtel & Coordinateur de Prestations Traiteur...
C-GASTRONOMIE est un groupe dynamique, multi-concepts et fort de plus de 15 années d'expérience dans l'organisation de grands événements dans la région lyonnaise . Vous êtes organisé(e) et …