Cherry Pick
Postée il y a 4 jours
En quelques motsCherry Pick est à la recherche d'un "Data Databricks Engineer" pour un client dans le secteur de l'énergie
DescriptionContexte
Au sein de notre équipe Data Platform, vous interviendrez dans les activités liées à Databricks :Unity Catalog, Policy, Cluster/Serverless, PySpark. Vous participerez à la maintenance et àl'évolution de la Data & Analytics Platform, à l'évolution des infrastructures cloud via Terraform,au développement de micro-services en Python, et à la conception et maintenance de chaînes dedéploiement automatisé (CICD). Vous assurerez le bon fonctionnement opérationnel de la Data &Analytics Platform (MCO/Run) et enrichirez la documentation à l'attention des utilisateurs.
Missions
Interventions sur Databricks : Vous travaillerez spécifiquement sur Unity Catalog, la gestion des politiques, les clusters/serveurless, et l'utilisation de PySpark.
Maintenance et évolution de la Data & Analytics Platform : Vous participerez à la gestion et à l'amélioration continue de la plateforme de données et des infrastructures cloud.
Infrastructure via Terraform : Vous serez impliqué dans l'évolution des infrastructures cloud avec Terraform.
Développement de micro-services en Python : Vous contribuerez au développement de micro-services pour l'architecture globale.
Gestion du déploiement automatisé (CICD) : Vous serez responsable de la conception et maintenance des chaînes de déploiement continu.
MCO/Run (Maintenance et Opérations) : Vous veillerez au bon fonctionnement de la plateforme au quotidien.
Documentation : Vous enrichirez et maintiendrez la documentation à l'attention des utilisateurs.
Profil candidat:
Compétences réquises
Databricks: Unity Catalog, Policy, Cluster/Serverless, PySpark
Python, Terraform
GitHub, GitHub Action
Bonne connaissance de la méthodologie Agile.
Bonne connaissance des mécanismes de traitement et de valorisation des données.
À l'aise dans les interactions avec les parties prenantes.
Force de proposition et désireux(se) d'apprendre en continu.
Profil recherché
Environ 2 à 5 ans d?expérience dans un rôle similaire, en particulier avec des outils de cloud computing, Databricks, et développement Python.
Expérience dans la mise en place et l?automatisation de processus (CICD), ainsi que dans la gestion de données à grande échelle.
Connaissance avérée des pratiques DevOps et d'intégration continue.