Lead Data Engineer

Bonjour,

Je suis à la recherche d’un Lead Data Engineer :

Missions principales :

• Optimiser et faire évoluer les mécanismes d’orchestration existants pour permettre le passage à l’échelle
• Réduire les coûts d’exploitation et améliorer les temps de résolution d’incidents
• Renforcer la robustesse et la résilience de la plateforme Data
• Mettre en place l’observabilité de bout en bout, l’alerting et le monitoring avancé
• Définir et appliquer les politiques de gestion et rotation des secrets
• Concevoir des mécanismes de reprise automatique et d’isolation des flux
• Étudier les alternatives à AWS MWAA (Airflow sur ECS/EKS, Astronomer, Dagster, Prefect, etc.)
• Réaliser les recommandations d’architecture et piloter les migrations si nécessaire
• Faire évoluer les DAG Factories existantes et industrialiser les processus d’orchestration
• Mettre en œuvre les bonnes pratiques de résilience (DLQ, retry strategies, circuit breakers)
• Définir et faire respecter les standards techniques, patterns et conventions de développement
• Former et accompagner les équipes Dev et Ops vers une autonomie opérationnelle complète
• Assurer le suivi des plans d’amélioration, le reporting et la priorisation des chantiers techniques

Profil recherché

Compétences/Environnement techniques :

• Apache Airflow (5 ans minimum)
• AWS MWAA
• AWS : SQS, SNS, Secrets Manager, CloudWatch, IAM
• Scheduler, Executor, Pools, Triggers, Deferrable Operators
• Optimisation et tuning de plateformes Airflow à grande échelle (200+ DAGs en production)
• Airflow auto-hébergé sur ECS/EKS
• Astronomer
• Dagster
• Prefect
• DAG Factories dynamiques
• Python avancé (Operators, Sensors, Plugins custom)