Streaming Apps Poison Pill: Comment Kafka-Streams compte faire passer la pilule

17:15 - 18:10   Conférence  /  Big Data  /  intermediate   Salle Casoar Tadorne

Kafka-Streams, la librairie de traitement de données en temps réel de Apache Kafka permet de traiter une grande quantité de messages avec de très faibles latences. Les messages peuvent avoir des formats différents, des schémas différents et même être sérialisés de manières différentes. Alors que se passe-t-il quand un message indésirable se retrouve dans un flux ? Ces applications de stream processing ne peuvent pas se permettre d’attendre une remise en route manuelle. Comment notre librairie de stream processing gère donc ces événements?

Ce talk propose d’explorer l’API Stream DSL de Kafka-Streams. Des techniques comme les sentinel values ou encore les dead letter queues y sont proposées. Voyons ensemble comment elles rendent possible la gestion des messages erronés, appelés aussi poison pills.

Ils soutiennent le Jug SummerCamp