Apache Kafka est une plateforme open source de streaming d'événements distribuée, née chez LinkedIn, ouverte en 2011 puis devenue un projet de la fondation Apache.
Kafka enregistre des flux de messages dans des topics découpés en partitions, stockés sur disque et répliqués sur plusieurs serveurs. L'ordre est garanti à l'intérieur d'une partition. Producteurs et consommateurs ne se connaissent pas : chacun lit à son rythme, et un consommateur peut relire l'historique.
On s'en sert pour faire circuler la donnée en temps réel entre systèmes : capture de changements d'une base (CDC), architectures de microservices événementielles, pipelines analytiques ou ML en streaming. Confluent, fondé par les créateurs de Kafka, en est le principal éditeur commercial ; AWS (MSK), Aiven et d'autres proposent des offres managées.
Pourquoi ça compte quand on recrute
Beaucoup de CV citent Kafka pour avoir branché un consommateur sur un cluster existant. Le vrai niveau se voit sur l'exploitation : choix du nombre de partitions, gestion des offsets, garanties de livraison (au moins une fois, exactement une fois), schémas et évolution des messages. En entretien, demandez comment le candidat a traité un retard de consommation ou un message en double.