Architect Tech / Cloud, Tech lead GCP and data, backend (Spark, Kafka, Beam, Java, Scala) / Cloud Ops, Renault Digital
Dec, 2018 - Nov, 20201 year 11 months
Projet Full Track and Trace.
Traçabilité des pièces, de toutes les opérations effectuées en usines par les outils et automates, et des emballages de pièces pour tout le groupe Renault.
Mise en place de l'architecture de la partie backend api (hexagonale) basé sur Scala, Play, Akka GRCP, Macwire
API séparée par Value Stream fonctionnel et était déployée via Docker, Kubernetes dans GKE
Mise en place et développement de certains microservices en Kotlin, Spring Boot 2, Coroutines, Reactor
Deploiement des microservices sur Google Kubernetes Engine (GKE)
Design de code en FP
Développement des jobs Scala, Spark batch et Streaming avec Dataproc, Cloud Storage, Pub/Sub
Grande participation à l'amélioration du code existant, Spark SQL Dataframe, FP avec Scala
Refonte des jobs Spark en Apache Beam Dataflow, j'ai été lead technique sur cette partie
Proposition et mise en place de l'architecture hexagonale et des best practices autour de Apache Beam Java (POC SCIO Scala)
J'ai été force de proposition et fait avancer ce chantier crucial en ayant l'adhésion de l'équipe de DEV et avec l'accompagnement de Google
Lead sur les parties Datamart pour des besoins fonctionnels spécifiques
Modélisation des bases sur Bigquery et développement des jobs en Dataflow
Réalisation de différents Spike pour arriver à la meilleure solution
Développement de tests end to end pour les jobs Dataflow avec la CI/CD et Airflow
Déploiement des jobs Spark sur Dataproc
Gestion de l'exécution des Jobs depuis Composer
Développement des jobs Apache Beam/Dataflow en full streaming avec écoute sur des topics Pub/Sub
Gestion des erreurs et reprises
Utilisation d'un cache Redis (state)
Utilisation de bases Bigquery pour la Gold zone et les datamart
Airflow pour centraliser et scheduler les jobs