Data Engineer Confirmé H/F
Description
Nous recherchons un Data Engineer H/F pour une mission à Nantes.
Missions :
Concevoir et développer les pipelines de données : collecter, ingérer, transformer et structurer des données provenant de sources multiples.
Construire et maintenir les architectures Data : participer à la conception et à l'évolution des plateformes de données (Data Warehouse, Data Lake, Lakehouse).
Développer les traitements ETL/ELT : automatiser les flux de données et garantir leur fiabilité et leur performance.
Assurer la qualité des données : mettre en place des contrôles, des tests et des mécanismes de surveillance.
Optimiser les performances : améliorer les traitements, les requêtes SQL et les processus d'intégration.
Assurer la documentation : documenter les architectures, les flux et les processus de traitement.
Collaborer avec les équipes métiers et techniques : comprendre les besoins et proposer des solutions adaptées.
Contribuer à la gouvernance des données : veiller à la sécurité, à la traçabilité et au respect des bonnes pratiques
Profil recherché
7 ans minimum d'expérience dans un poste similaire.
Excellente maîtrise de Python et Spark.
Solides expérience avec l'environnement AWS
Maîtrise de Terraform
Expérience dans la conception et le développement de pipelines ETL/ELT.
Bonne connaissance des architectures Data Warehouse et Data Lake.