Kafka als Message-Broker

In meinem aktuellen Projekt „darf“ ich mit OpenSource „spielen“.

Wir versuchen im Bereich BigData mehr als die bisherigen 20.000 Schreiboperationen pro Sekunde in Richtung Couchbase-Cluster (für Hadoop + Spark) zu realisieren. Bisher erscheint Kafka von ApacheGroup (https://kafka.apache.org/) dafür mehr als geeignet.

In ersten Tests mit einem standard Broker auf einer 4 GB RAM Maschine mit 512 MB Heap (min/max) bekomme ich 2.500.000 pro Sekunde durch die Queue (1 Topic, 1 Partition). Chunk-Size / Shard-Size dafür momentan 25k 😉

Sicherlich – ich lese diese Menge auch direkt wieder aus und habe außer einem standard Consumer für die Ausgabe keine weitere Verarbeitung eingerichtet – je nach Laufzeit dafür wird sich die Queue-Read-Menge noch dramatisch verringern. Dennoch ist es für einen Start ganz angenehm, dass das System hierbei noch nicht ins „Schwitzen“ kommt.

Weitere Tests folgen…