Missions :
Il sera responsable de l’architecture technique, de l’industrialisation des traitements Data, de l’orchestration des flux ainsi que de l’accompagnement de l’équipe Data dans la mise en œuvre des bonnes pratiques.
Responsabilités :
Concevoir, mettre en place et faire évoluer l’architecture de la plateforme Data.
Développer et industrialiser les pipelines ETL/ELT et les traitements Data.
Mettre en place et administrer l’orchestration des traitements avec Apache Airflow.
Mettre en œuvre le stockage Data Lake avec MinIO (S3) et les formats Parquet / Iceberg.
Optimiser Dremio pour l’accès, l’interrogation et l’exposition des données.
Développer et optimiser les traitements avec Python / Ray.
Mettre en place les contrôles de qualité des données avec Great Expectations.
Développer, maintenir et assurer le déploiement des jobs Talend.
Automatiser les installations et déploiements avec Ansible et les outils CI/CD.
Assurer l’intégration et la synchronisation des données entre les différentes sources : Oracle, PostgreSQL, Salesforce, fichiers, APIs, etc.
Assurer la performance, la sécurité, la supervision et la fiabilité de la plateforme.
Accompagner techniquement l’équipe Data et assurer les code reviews.
Rédiger et maintenir la documentation technique.
Compétences requises :
Expertise en Data Engineering et architectures Data Lake/Lakehouse.
Très bonne maîtrise de Python et SQL.
Expérience avec Airflow, Dremio et MinIO.
Bonne connaissance de Parquet et Apache Iceberg.
Expérience des traitements distribués, idéalement Ray.
Maîtrise de Talend : développement, administration et déploiement des jobs.
Bonne maîtrise des bases Oracle et PostgreSQL.
Expérience en CI/CD, Git et Ansible.
Connaissance des problématiques de Data Quality, Data Governance et Data Catalog.
Bonne connaissance de Salesforce et de ses APIs pour l’intégration et la synchronisation des données fortement souhaitée.
Bonne connaissance des outils BI tels que Power BI/ Business object.
Profil recherché :
Diplôme d’ingénieur ou équivalent en informatique/Data.
Minimum 8 ans d’expérience en Data Engineering, ETL ou intégration de données.
Expérience confirmée en tant que Tech Lead Data.
Expérience dans la conception et la mise en production de plateformes Data complexes.
Capacité à intervenir aussi bien sur l’architecture que sur le développement et l’industrialisation.
Leadership technique, autonomie et capacité à accompagner une équipe.