Postée il y a 2 jours
Contexte :
Adossée à la plateforme data, la mission se déroulera au sein de l?équipe Pilotage. L?équipe actuellement constituée d?un Product Owner et d?un Data ingénieur est en charge de la mise à disposition des données utiles à l?ensemble des dashboards via son produit ?Data4All?, basé sur la Google Cloud Platform.
La stack technique de l?équipe est principalement constituée de SQL, Dbt et Airflow pour l?orchestration, Gitlab CI/CD pour le déploiement et de Terraform / Terragrunt pour l?industrialisation de l?infrastructure (IaC). La stack inclut aussi d?autres services de la Google Cloud Platform.
1- Prendre en charge le produit data Data4All aussi bien dans le build que dans le run :
- Construire les nouveaux indicateurs issus de nouvelles sources ou de sources existantes
- Mettre à jour et faire évoluer les indicateurs existants, en fonction des évolutions des données
- Mettre à jour et faire évoluer les indicateurs existants, en fonction des évolutions des données
- Traiter et corriger les anomalies
- Concevoir les modèles de données adaptés aux besoins des utilisateurs
2- Accompagner les utilisateurs de Data4All dans leurs usages
3- Auditer et cartographier les données existantes de Data4All et proposer une vision cible performante, gouvernée et adaptée aux besoins et contraintes
4- Mettre en place le contrôle qualité sur les données
MISSIONS
En interaction avec les membres de l?équipe, consistera à participer à/au(x) :
- La mise en place de pipelines de traitement de données
- Développement des modèles de données
- L?extraction et l?exposition des données issues de la zone silver de la plateforme data vers Data4All
- L?industrialisation des différents environnements de Data4All, en collaboration avec l?équipe d?ops
- Différentes phases de cadrage, de planification et de réalisation des tâches avec l?équipe
- La veille technique pour l?amélioration de la stack
- L?amélioration des performances et la maîtrise des coûts sur les différents environnements Data4All, sur la GCP
Profil candidat:
Expertises requises :
- Au moins 3 ans d?expérience en tant que Data ingénieur dans un environnement data
- Compétences solides en data : structures de données, code, architecture
- Expériences dans un environnement du Cloud Provider Public Google (GCP)
- Expériences sur des projets Big Data intégrant BigQuery, Airflow et dbt
- Expériences dans la mise en place de pipeline ETL / ELT
- Expériences sur des projets intégrant Gitlab (Gitlab CI/CD)
- Expériences sur des projets intégrant Docker
- Expériences sur des projets intégrant Terraform et Terragrunt
- Maitrise des langages SQL et Python indispensable
- Bonne connaissance de la solution dbt et notamment la gestion des tables incrémentales complexes
- Capacité à vulgariser et à communiquer sur des aspects purement techniques
- Pratique des méthodes Agile (Scrum, Kanban)