Posté : 4 juillet 2022
Ingénieur Big Data (H/F)
Lyon et périphérie
Mission longue
Dès que possible
Selon profil
Basée à Lille, Lyon, Grenoble et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s’imposer comme une référence en matière de freelancing par son expertise dans l’IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Ingénieur Big Data (H/F) à Lyon et périphérie.
Les missions attendues par le Ingénieur Big Data (H/F) sont :
Nous recherchons un Data Ingénieur (développements Big Data) ayant une bonne autonomie , un sens de la rigueur et des compétences techniques maitrisées, minium 3 ans d’expérience sur 1 ou plusieurs contextes métiers différents.
Les activités seront les suivantes :
-
Participation à la conception des traitement d’ingestion ou de valorisation de données en Pyspark à partir d’expression de besoin ou de règles de gestion métier
-
Réalisation de scripts de traitement de données ou encapsulation de scripts en Pyspark
-
Réalisation de pipeline Oozie pour l’ordonnancement des étapes du traitement
-
Versioning et centralisation des codes sources sous Git
-
Réalisation ou adaptation des chaines de livraison CI/CD
-
Variabilisation des scripts produits pour être conforme aux exigences CI/CD Big Data
-
Elaboration et réalisation des tests unitaires, avec la constitution si nécessaire de jeux de données
-
Enrichissement du référentiel de test sous ALM (en fonction des projets)
Contexte Technique:
Cluster Big Data Kerbérisé de la distribution HortonWorks HDP 3.1.5 et HDF 3.5.1
Les composants techniques principaux utilisés :
-
Spark (Python)
-
HDFS
-
Hive
-
Hbase
-
Oozie
-
Yarn
-
Atlas
-
Jenkins
-
Kafka
-
Kerberos
Vous pourrez vous appuyer sur une équipe déjà en place et le leader technique Big Data pour la réalisation de vos activités.
Compétences techniques et fonctionnelles attendues :
– Big Data – Indispensable
– PySpark – Indispensable
Cette mission vous intéresse?
Vous justifiez d’une expérience significative comme Ingénieur Big Data (H/F) ?
Vous êtes rigoureux, méthodique, organisé et vous savez faire preuve d’autonomie et de réactivité ?
Vous êtes à l’aise à l’écrit comme à l’oral ?
Vous maîtrisez les périmètres techniques cités avec les niveaux adéquats ?
Vous aimez évoluer dans un univers où l’autonomie, la prise d’initiatives, le partage et le travail en équipe sont porteurs de la réussite collective ?
Vous pensez que votre profil pourrait correspondre au besoin de notre client ?
N’attendez plus pour déposer votre candidature, nos Ingénieurs d’affaires se feront un plaisir de vous en dire plus !
Afin de ne rien rater de l’actualité Insitoo, abonnez-vous à notre page Linkedin !
Référence : 11-TBIBIGDAT-LY