Description :
Le Senior Data Engineer a pour mission d’assurer la collecte, le traitement et le stockage des données dans la Plateforme Data Azure de manière efficace. Il travaille sur l’implémentation de pipelines optimisés et l’exposition des données répondant aux besoins des cas d’usages data ainsi que des applications en utilisant les technologies Azure Data Factory et Azure Databricks.
Pour cela, il travaille en étroite collaboration avec les équipes métiers pour comprendre leurs besoins ainsi que les équipes CTO/DSI pour mettre en place les solutions appropriées.
Missions :
• Mise en place de pipeline pour gérer le CI/CD d’ADF et Databricks sur Azure Devops
• Mise en place de Terraform comme IaC pour sécuriser les environnements et les ressources
• Conception et développement de pipelines de données pour l’extraction, le chargement et la transformation (ELT) des données.
• Création et gestion de bases de données et d’entrepôts de données.
• Implémentation de l’architecture de données et des modèles de stockage.
• Automatisation des processus de gestion des données pour améliorer l’efficacité et la productivité.
• Optimisation des performances des pipelines et assurer un traitement efficace des données.
• Mise en place de la sécurité des données et des mécanismes de protection des données sensibles.
• Collaboration avec les parties prenantes (métiers, Data Scientists, Data Analysts, développeurs…) pour soutenir les initiatives liées aux données.
• Maintenance des pipelines de données développés.
• Documentation des processus et des normes liés à la gestion des données.
• Veille technologique pour rester à jour sur les avancées et les meilleures pratiques en matière de Data Engineering.
Compétences techniques :
• +5 ans d’expérience pertinente en Data Engineering dans l’environnement Azure
• Maîtrise des pipelines CI/CD sur Azure Devops.
• Maîtrise de l’IaC avec Terraform.
• Maîtrise des langages de programmation Python et SQL.
• Maîtrise des technologies Data sur Azure : Azure Data Factory, Azure Databricks…
• Compétences dans la conception et le développement de pipelines ELT.
• Compétences en modélisation de données et gestion des schémas.
• Connaissance des bases de données relationnelles et non relationnelles.
• Capacité à optimiser les performances des bases de données et des pipelines.