Description
Rôle consultant Kafka
Résumé du poste:
Dans le cadre d’une mission de trois mois nous sommes à la recherche d’un consultant Kafka. En tant qu’expert vous évaluez, optimisez l’infrastructure existant et rédigez la gouvernance liée à opérationnalisation de la plateforme. Vous participerez également à la résolution d’une série de problèmes particuliers liés à la maintenance de la plateforme
Missions principales:
- Conception et architecture : Participer à l’architecture des flux de données et intégrer Kafka comme onne vertébrale des microservices et du cdc
- Développement : Créer et optimiser des pipelines de données, configurer les topics, partitions et les mécanismes de rétention. Opérationnaliser ces procédures
- Intégration : Évaluer l’architecture des connecteurs Kafka Connect existants et améliorer le monitoring
- Supervision : Mettre en place les outils de monitoring (ex: Grafana)
- Mise en place des procédures de troubleshooting afin de garantir la haute disponibilité des clusters
- Sécurité : Sécuriser les échanges de données (TLS, SASL, ACL)
- Transmission des connaissances et ation de l’équipe technique
Compétences requises:
- Expertise Kafka : Maîtrise approfondie de l’écosystème Apache Kafka (Broker, KRaft, Schema Registry)
- Frameworks : Expérience pratique de Kafka Streams et Kafka Connect
- Infrastructures : Connaissance des technologies liées à la conteneurisation (Strimzi, confluent,…)
- Architecture : Bonne compréhension des architectures distribuées, des principes des microservices et du traitement événementiel
- Connaissance d’Ansible
- Facultatif: Compréhension de datastack on streaming (Iceberg, Spark, Flink,…)
Profil recherché:
- Expérience significative dans la mise en production et l’optimisation de plateformes Kafka
- Esprit d’analyse et de résolution de problèmes
