DATA ENGINEER SPARK / SCALA / DATABRICKS / AZURE (IT)

Les missions du poste

Bonjour,

Pour le compte de notre client nous recherchons un data engineer spark / scala / databricks / azure.

Contexte : Dans ce projet, vous contribuerez à la migration de la plateforme entreprise vers le cloud Azure. Vous travaillerez notamment sur la refonte de la solution datawarehouse sur Azure (ingestion de données, transformation de données, vues métiers).

Attentes:

- Spark/Scala (API dataframe, dataset, rdd) + Librairie ScalaTest

- Expérience Azure, incluant les composants Azure : ADLS, DataBricks, Azure Data Factory, Azure), DevOps (terraform, docker, kubernetes), Azure Functions, KeyVault

- EDI : Intellij, Visual Studio Code, Visual Studio

- Expérience de travail avec des données de différents formats (np. Avro, Parquet, JSON, CSV/Excel, Delta)

- Python

- connaissance de Kafka, Impala

- SQL

- très bon anglais

- soft skills : compétences en communication, autogestion, compétences ETL, travail d'équipe, partage des connaissances, qualité et objectif, bien organisé

Exemple tâches cv axa direct assurance :

L?objectif de ce projet est de migrer d'un data warehouse on-premise vers le Azure, et reconstruire

un datawarehouse : data ingestion, data transformation et business views.

Activités Principales :

? Migration d'un environnement BI (sql server, oracle) vers le cloud

? Création de pipeline avec Azure Data Factory pour l?alimentation des tables Delta

? Transcription des requêtes SQL existantes en code Spark Scala simplifié

? Développement de tests unitaires avec Scala test

? Data tests et debugging avec Azure Databricks

? Optimisation des transformations Spark Scala

? Développer des algorithmes génériques pour créer un lot des tables

? Accompagner les nouveaux arrivées pendant l?intégration

? Implémentation de workflows et pipelines CI/CD avec Azure DevOps

? Réalisation du suivi de la production (production monitoring)

? Participation aux workshops d?estimation des US fonctionnelles et techniques

Environnement technique :

Spark, Scala, PySpark, Azure Data Factory, Azure Blob Storage, Azure DevOps, Release, Pipeline, Board, Repos,

Azure Databricks, Databricks Delta.



Profil candidat:
Bac + 5 informatique

Profil technique

Expertise spark / scala / databricks

Bonne communication et bon relationnel

Apprécié Azure

Qualités relationnelles et aisance orale.