Postée il y a 19 jours
Le bénéficiaire souhaite une prestation d?accompagnement pour assurer le MCO des Infrastructures HDP et CDP, administration des Clusters,
dans le cadre du projet de migration de HDP/CDP vers des services Data sur notre Cloud, des connaissances Kubernetes (IKS, Openshift...), Apache Spark, Apache Airflow et Starburst (Trino) sont souhaitées.
Les consultants retenus auront pour mission :
? Administration et optimisation de clusters HDP/CDP
? Installation, configuration et maintenance des clusters.
? Gestion des mises à jour et des patchs de sécurité.
? Surveillance des performances et optimisation des ressources.
? gestion/administration de clusters Kubernetes
? Automatisation des déploiements avec Operators?, etc.
? Sécurisation et monitoring des environnements conteneurisés.
? Orchestration des workflows avec Apache Airflow :
? Développement et optimisation des DAGs pour la gestion des pipelines de données.
? Gestion des dépendances et optimisation des temps d?exécution.
? Intégration avec les autres outils de l?écosystème.
? Traitement et analyse des données avec Apache Spark :
? Développement et optimisation des jobs Spark (batch et streaming).
? Gestion des performances et tuning des jobs.
? Intégration avec les systèmes de stockage distribués.
? Optimisation des requêtes et accès aux données avec Starburst :
? Configuration et administration de Starburst.
? Optimisation des requêtes SQL distribuées.
? Sécurisation et gestion des accès aux différentes sources de données.
Profil candidat:
Maitrise de toutes les technologies mentionnées
Starbust, SQL, Airflow, Apache Spark