EMGS CONSULTING
Postée il y a 4 jours
Nous recherchons un Ingénieur Data Databricks talentueux pour rejoindre un projet de mise en place d'une plateforme Databricks. Sous la supervision d?un Chef de projet et d?un Tech Lead / Architecte Data, vous serez responsable de la conception et de l?optimisation des pipelines de données.
MissionsConcevoir, développer et maintenir des pipelines de données évolutifs sur la plateforme Databricks.
Gérer les processus d?ingestion des données depuis différentes sources vers l?environnement Databricks.
Implémenter et optimiser des processus ETL (Extract, Transform, Load) pour assurer une intégration et une transformation des données efficaces.
Garantir la qualité, l?intégrité et la sécurité des données à travers l?ensemble des flux.
Surveiller et optimiser les performances des pipelines de données, en assurant la maintenance et les mises à jour nécessaires.
Documenter les processus, spécifications techniques et bonnes pratiques.
Assurer un transfert de connaissances vers l?équipe d?ingénieurs Data qui prendra en charge la plateforme à terme.
Profil candidat:
Compétences requisesExcellente maîtrise de SQL et d?autres langages de programmation pertinents (comme Python).
Expérience avérée sur Databricks et les services AWS (S3, Redshift, Lambda).
Esprit analytique avec une forte attention aux détails.
Solides compétences en communication et en collaboration, aussi bien avec l?équipe projet qu?avec l?équipe Data Engineering.
Anglais courant.