Le/la Data Engineer est responsable de la conception technique et du développement des actifs IT dédiés à la gestion des données et de leurs pipelines entrants et sortants.
Elle/il se basera sur la conception fonctionnelle définie par le Business Analyst, sur le cadre défini par le Data Architect, tout en se conformant au Modèle de données d’Entreprise et aux normes IT.
Elle/Il travaille en collaboration avec les Data Analyst, qui sont responsables de l’agrégation des données, et les Data Scientists, qui sont en charge de l’utilisation des data à l’aide d’algorithmes.
En outre, il interagit avec les équipes IT en charge de la sécurité, la continuité et l’architecture afin de faire valider les actifs IT qu’elle conçoit et développe.
Missions :
- Collecte les data et met en place des pipelines de données fiables.
- Construit et optimise le traitement des données, centralise les pipelines de données en un seul endroit et produit une infrastructure robuste et performante pour générer des informations exploitables.
- Est en charge du sourcing et de la connexion des données.
- Les utilisateurs de ces données comprennent les Data Analysts, les Al Business Analysts et les Data Scientists de l’ensemble de l’organisation, pour qui un accès facilité aux données standardisées permettra plus d’efficacité dans la production de usecases, la construction des tableaux de bord et la prise de décision.
Outils et méthodologies :
- Gestion des bases de données relationnelle et NoSQL
- TRANSFERT AXWAY MIDDLEWARE CFT
- ION Third party market data connectivity API
- LANGUES IT de son entité ou de son projet
Connaissance métier :
- Connaissance en matière de data
- Qualité et sécurité ds données strategy
- Connaissance informatique
- Risk awareness
- Business organisation
- Business analytics
- Droit des nouvelles technologies et du digital