Postée il y a 11 jours
Dans le cadre de la modernisation du datalake client, vous interviendrez sur la migration de nos workflows vers Databricks et participerez à l'optimisation de nos pipelines de données.
Responsabilités principalesDéveloppement et maintenance de pipelines de données sur Databricks
Migration des jobs Spark existants vers la plateforme Databricks
Optimisation des performances des notebooks et workflows
Mise en place de bonnes pratiques de développement
Collaboration avec les équipes Data Science et métier
Participation à la montée en compétences de l'équipe sur Databricks
Profil candidat:
Compétences techniques requises
Maîtrise de Python (5+ ans d'expérience)
Expertise en développement Databricks (notebook, jobs, workflows)
Maîtrise de Spark et PySpark
Expérience avec Delta Lake
Connaissance des patterns d'architecture Big Data
Maîtrise de Git
Expérience en développement cloud (Azure de préférence)
Compétences appréciées
Connaissances en MLOps
Expérience avec Azure DevOps
Certification Databricks