Kai Sieveke

Kai Sieveke


Juli 2020
S M D M D F S
« Jan    
 1234
567891011
12131415161718
19202122232425
262728293031  

Kategorien


Kafka als Message-Broker

Kai SievekeKai Sieveke

In meinem aktuellen Projekt „darf“ ich mit OpenSource „spielen“.

Wir versuchen im Bereich BigData mehr als die bisherigen 20.000 Schreiboperationen pro Sekunde in Richtung Couchbase-Cluster (für Hadoop + Spark) zu realisieren. Bisher erscheint Kafka von ApacheGroup (https://kafka.apache.org/) dafür mehr als geeignet.

In ersten Tests mit einem standard Broker auf einer 4 GB RAM Maschine mit 512 MB Heap (min/max) bekomme ich 2.500.000 pro Sekunde durch die Queue (1 Topic, 1 Partition). Chunk-Size / Shard-Size dafür momentan 25k 😉

Sicherlich – ich lese diese Menge auch direkt wieder aus und habe außer einem standard Consumer für die Ausgabe keine weitere Verarbeitung eingerichtet – je nach Laufzeit dafür wird sich die Queue-Read-Menge noch dramatisch verringern. Dennoch ist es für einen Start ganz angenehm, dass das System hierbei noch nicht ins „Schwitzen“ kommt.

Weitere Tests folgen…

Designer von Prozessen, Systemen und Lösungen. Unternehmer und Business Transformation Consultant. Effektivitäts-Fan und Student in der hohen Schule des Lebens. Kommentare, Fragen ? Einfach mailen an tell@kaisieveke.com