Data Engineer AWS et SNOWFLAKE (IT)

Objectifs de la Mission :

• Optimiser les usages et la performance des plateformes AWS et Snowflake
• Optimiser les processus d?intégration des données
• Garantir une gestion des données sécurisée et conforme
• Maintenir une documentation à jour pour soutenir les projets de l?entreprise

Missions Principales : 1. Administration et gestion de la plateforme AWS - Gestion des incidents :

• Diagnostiquer et résoudre les incidents liés à la plateforme AWS.
• Mettre en place des actions préventives pour minimiser les risques d?interruption de service.

- Conception technique :

• Participer à la conception et au développement de composants techniques pour des solutions innovantes.
• Développer des solutions permettant le traitement sécurisé de grands volumes de données.

- Automatisation des processus :

• Créer et maintenir des pipelines CI/CD pour déploiements continus.
• Superviser la gestion du dépôt Git (branches, pull requests, merges) pour garantir une collaboration efficace.

2. Administration et gestion de la plateforme Snowflake - Conception de solutions sur Snowflake :

• Concevoir et déployer des solutions exploitant pleinement les capacités de Snowflake (multi-cluster, partage de données sécurisé, optimisation des charges de travail).
• Élaborer des modèles de données optimisés pour des performances maximales et des coûts maîtrisés.
• Mettre en place des architectures de données optimisées
• Créer des environnements modulaires et conteneurisés pour faciliter l?expérimentation et le prototypage

3. Intégration et gestion des données

• Superviser l?intégration des données provenant de sources multiples et variées (structurées et non structurées).
• Effectuer le nettoyage, la validation, et la sécurisation des données avant leur utilisation en aval.
• Contribuer à la gestion des référentiels de données internes pour assurer une cohérence dans leur utilisation.

4. Collaboration et documentation

• Travailler en coordination avec les équipes de développement et d?exploitation pour aligner les besoins métier et les solutions techniques.
• Documenter les processus, architectures et solutions mises en ?uvre pour assurer la pérennité et le partage des bonnes pratiques au sein des équipes.
• Animer des sessions de sensibilisation ou de formation sur les meilleures pratiques en matière de gestion et d'exploitation des données.

5. Sécurité et conformité

• S'assurer de la conformité des solutions déployées avec les politiques de sécurité et les normes internes.
• Contribuer à l'amélioration continue des processus liés à la sécurité des infrastructures et des données.
• Assurer une veille technologique active pour identifier les opportunités d?amélioration et anticiper les évolutions.

6. Animation de la communauté technique et veille technologique

• Participer à l'animation de la communauté technique autour des solutions et infrastructures de données.
• Rester à jour sur les technologies et tendances liées à la gestion et manipulation des données.
• Proposer des évolutions pour les infrastructures et outils existants en fonction des besoins métier et des avancées technologiques.

Profil candidat: Compétences Clés : Expertise dans les services AWS (EC2, S3, Lambda, Step Functions, Glue, etc.). Maîtrise des concepts et outils CI/CD. Solides compétences en administration et optimisation d'AWS et Snowflake Connaissance avancée de Git et des workflows associés. Capacité organisationnelle et autonomie, facilité à travailler en mode collectif et transverse Sensibilisé aux contextes de Production, à la performance et à la disponibilité EC2, S3, Lambda, Step Functions, Glue, etc. Administration / Sécurité / Fonctionalité GIT / Docker Python, SQL