Data Engineer Python (IT)

Missions : Développer et maintenir des produits data avec des contrats clairement définis. Concevoir et maintenir des pipelines de données batch et event?based. Construire des pipelines Polars hautement performants. Supporter et optimiser des workflows à grande échelle sur Databricks. Mettre en place des processus robustes d'ingestion, de transformation et de validation des données, en visant performance, scalabilité et résilience. Garantir une haute qualité de données grâce à des validations et des tests automatisés. Gérer les composants de stockage et data lake de Azure Cloud conformément aux standards internes. Contribuer à l'automatisation CI/CD GitLab et assurer une haute qualité du code Python produit. Compétences : Forte expertise en Python (clean architecture, performance, tests). Expérience dans la création de data pipelines en Python. Expérience avec des bibliothèques de traitement de données : Polars, Pandas, Databricks, DBT, etc. Maîtrise d'outils d'orchestration de workflows : Prefect, Airflow, Dagster? Solide compréhension du data modeling et du design de schémas. Connaissance des bonnes pratiques d'ingénierie logicielle : CI/CD, code review, tests automatisés? Soft skills : Excellentes compétences en résolution de problèmes, autonomie, envie d'apprendre. Forte attention portée à la qualité et à la fiabilité des données. Aisance dans des environnements d'ingénierie collaboratifs. Capacité à documenter et communiquer clairement des concepts techniques. Les compétences techniques priment sur le nombre d'années d'expérience. 2J TT/semaine Compétences techniques requises : Python Azure Databricks CICD Pandas GitLab Profil candidat: Missions : Développer et maintenir des produits data avec des contrats clairement définis. Concevoir et maintenir des pipelines de données batch et event?based. Construire des pipelines Polars hautement performants. Supporter et optimiser des workflows à grande échelle sur Databricks. Mettre en place des processus robustes d'ingestion, de transformation et de validation des données, en visant performance, scalabilité et résilience. Garantir une haute qualité de données grâce à des validations et des tests automatisés. Gérer les composants de stockage et data lake de Azure Cloud conformément aux standards internes. Contribuer à l'automatisation CI/CD GitLab et assurer une haute qualité du code Python produit. Compétences : Forte expertise en Python (clean architecture, performance, tests). Expérience dans la création de data pipelines en Python. Expérience avec des bibliothèques de traitement de données : Polars, Pandas, Databricks, DBT, etc. Maîtrise d'outils d'orchestration de workflows : Prefect, Airflow, Dagster? Solide compréhension du data modeling et du design de schémas. Connaissance des bonnes pratiques d'ingénierie logicielle : CI/CD, code review, tests automatisés? Soft skills : Excellentes compétences en résolution de problèmes, autonomie, envie d'apprendre. Forte attention portée à la qualité et à la fiabilité des données. Aisance dans des environnements d'ingénierie collaboratifs. Capacité à documenter et communiquer clairement des concepts techniques. Les compétences techniques priment sur le nombre d'années d'expérience. 2J TT/semaine Compétences techniques requises : Python Azure Databricks CICD Pandas GitLab