Kai Sieveke

Kai Sieveke


Dezember 2019
S M D M D F S
« Jan    
1234567
891011121314
15161718192021
22232425262728
293031  

Kategorien


Kafka als Message-Broker

Kai SievekeKai Sieveke

In meinem aktuellen Projekt „darf“ ich mit OpenSource „spielen“.

Wir versuchen im Bereich BigData mehr als die bisherigen 20.000 Schreiboperationen pro Sekunde in Richtung Couchbase-Cluster (für Hadoop + Spark) zu realisieren. Bisher erscheint Kafka von ApacheGroup (https://kafka.apache.org/) dafür mehr als geeignet.

In ersten Tests mit einem standard Broker auf einer 4 GB RAM Maschine mit 512 MB Heap (min/max) bekomme ich 2.500.000 pro Sekunde durch die Queue (1 Topic, 1 Partition). Chunk-Size / Shard-Size dafür momentan 25k 😉

Sicherlich – ich lese diese Menge auch direkt wieder aus und habe außer einem standard Consumer für die Ausgabe keine weitere Verarbeitung eingerichtet – je nach Laufzeit dafür wird sich die Queue-Read-Menge noch dramatisch verringern. Dennoch ist es für einen Start ganz angenehm, dass das System hierbei noch nicht ins „Schwitzen“ kommt.

Weitere Tests folgen…

Designer von Prozessen, Systemen und Lösungen. Unternehmer und Business Transformation Consultant. Effektivitäts-Fan und Student in der hohen Schule des Lebens. Kommentare, Fragen ? Einfach mailen an tell@kaisieveke.com