Postée il y a 24 heures
Contexte du poste :
Dans le cadre de notre activité de conseil, nous recherchons un développeur ETL / Scraping spécialisé en Node.js pour intervenir sur un projet de collecte et de traitement de données. Vous serez en charge de concevoir et optimiser des processus d'extraction, de transformation et de chargement des données (ETL), ainsi que des solutions de scraping web. L?objectif est de manipuler des volumes de données importants de manière fiable et performante.
Missions :
Développer et maintenir des pipelines ETL pour extraire, transformer et charger des données
Concevoir des scripts de scraping pour collecter des informations sur des plateformes web
Intégrer et exploiter des API REST pour automatiser la récupération et l?envoi de données
Optimiser les performances des processus d?extraction et garantir leur stabilité
Mettre en place des mécanismes de suivi et de gestion des erreurs
Collaborer avec les équipes techniques pour structurer et exploiter les données collectées
Assurer une veille sur les évolutions techniques en matière de scraping et d?ETL
Stack technique :
Node.js
Scraping : Puppeteer, Playwright ou équivalent
API REST
Bases de données : SQL (ex. PostgreSQL) ou NoSQL (ex. MongoDB)
Docker (un plus)
Profil candidat:
Profil recherché :
Expérience significative en développement Node.js, avec une bonne maîtrise du scraping web
Connaissance des outils de scraping comme Puppeteer, Playwright ou Cheerio
Expérience en conception et optimisation de pipelines ETL
Bonne maîtrise des API REST et des bases de données SQL (PostgreSQL) ou NoSQL (MongoDB)
Capacité à optimiser le traitement de grands volumes de données
Autonomie, esprit analytique et capacité à résoudre des problèmes complexes