Kafka

Apache Kafka est une plateforme open source de streaming d'événements distribuée, créée chez LinkedIn en 2011 puis confiée à la fondation Apache.

Kafka stocke des flux d'événements dans des topics partitionnés, persistés sur disque et réplicables, avec une garantie d'ordre par partition et un débit de plusieurs millions de messages par seconde. Producteurs et consommateurs sont découplés et peuvent rejouer l'historique à volonté.

C'est la colonne vertébrale de la donnée temps réel dans la plupart des grandes plateformes : capture de changements (CDC), event sourcing, pipelines ML en streaming, microservices événementiels. Confluent en est le principal éditeur commercial ; AWS MSK et Aiven proposent du Kafka managé.