Basée à Lille, Lyon, Nantes, Grenoble et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s’imposer comme une référence en matière de freelancing par son expertise dans l’IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Développeur Big Data (H/F) à Lyon, Auvergne-Rhône-Alpes, France.

Fonctionnement : sur site à Lyon + Télétravail

Les missions attendues par le Développeur Big Data (H/F) sont :

Vous rejoindrez une équipe composée de 9 personnes dont les activités sont les suivantes :

• Réécriture/refonte de batchs d’alimentation de données de Cascading/Yarn vers Spark standalone, avec implémentation en Java

• Migration du stockage des données de HDFS vers CephObject (API S3)

• Migration des traitements d’une infrastructure physique dédiée vers un cloud privé IaaS (Open Stack, Terraform, Ansible, Jenkins)

• Refonte/évolution de la documentation des flux

• Ecriture/migration de tests unitaires, de non-régression, de performance

• Travail collaboratif : relecture de PRs, développements croisés, peer-programming sur les sujets complexes

• Evolution des outils internes Spark : migration de données et outil de TNR automatisé

• Participation au suivi projet en mode Agile : suivi de l’état de tickets et de leur traversée du workflow projet, estimations en points d’effort via poker planning, rétros

ACTIVITES

• Conception/développement/supervision/optimisation de flux d’alimentation Spark de données à forte volumétrie

• Supervision et diagnostic des jobs en production

MISSIONS

• Développer les applications du projet, en conformité avec les bonnes pratiques définies

• Tester unitairement les développements

• Relire le code produit par les autres développeurs (Pull Requests)

• Participer à la correction des anomalies applicatives

• Participer aux réunions d’équipe

• Avoir un regard critique sur le travail demandé (choix techniques et spécifications fonctionnelles) et proposer des améliorations en conséquence

EXPÉRIENCES ET CONNAISSANCES REQUISES

• Première expérience avec un framework de calcul distribué (type Spark ou autre framework)

• Bonne connaissance de Java 8-11

• Appétence pour la modélisation et traitement de données

• Sensibilité à la méthodologie Agile

• Une connaissance de AWS S3 et Hadoop (HDFS, Yarn, Hive, Map Reduce) est un plus

COMPÉTENCES TECHNIQUES

• Spark 3 / Spark SQL

• Stockage via API S3 sur Ceph Object

• Java 11, Spring 5.3, Spring Boot 2.6, JUnit 5

• Maven, GIT, Jenkins

• IaaS sur cloud privé : OpenStack / Terraform / Ansible/ Jenkins

• Linux

Compétences techniques et fonctionnelles attendues :

– Java – Confirmé – Souhaitable
– Agile – Confirmé – Souhaitable
– Spark – Confirmé – Souhaitable

Cette mission vous intéresse?

Vous justifiez d’une expérience significative comme Développeur Big Data (H/F) ?
Vous êtes rigoureux, méthodique, organisé et vous savez faire preuve d’autonomie et de réactivité ?
Vous êtes à l’aise à l’écrit comme à l’oral ?
Vous maîtrisez les périmètres techniques cités avec les niveaux adéquats ?
Vous aimez évoluer dans un univers où l’autonomie, la prise d’initiatives, le partage et le travail en équipe sont porteurs de la réussite collective ?
Vous pensez que votre profil pourrait correspondre au besoin de notre client ?

N’attendez plus pour déposer votre candidature, nos Ingénieurs d’affaires se feront un plaisir de vous en dire plus !

Afin de ne rien rater de l’actualité Insitoo, abonnez-vous à notre page Linkedin !