Mobilität · EU-Mautanbieter
Nächtliche Reports, jetzt in zwei Minuten
Laufzeit des täglichen Reports
Balken maßstabsgetreu. Zwei Minuten sind 0,3 % der ursprünglichen Laufzeit.
- MySQL
- Debezium
- Kafka
- Spring Boot ETL
- ClickHouse
Das Problem
Regulatorische Reports liefen über Nacht, und die Flotte sollte von 200k auf 10M On-Board-Units wachsen.
Was ich gemacht habe
Änderungen direkt aus MySQL erfasst, über Kafka gestreamt und denormalisierte Telemetrie in ClickHouse abgelegt. Darüber liegt ein schlanker Reporting-Service, den BI-Teams direkt abfragen.
Ergebnis
Reports in zwei Minuten bei fünfzigfacher Flottengröße.
Stack Kafka, ClickHouse, Spring Boot, Debezium, Docker, PostgreSQL

