2024CompletatoIn evidenza

Atlas Ingest

Un servizio di ingestione con gestione della back-pressure, progettato per resistere alle giornate storte.

RuoloProgettazione e sviluppo

Go
Kafka
ClickHouse
Kubernetes

Il problema

La pipeline originale scartava eventi in silenzio sotto carico. Nessuno se ne accorgeva finché un cliente non chiedeva perché una dashboard non tornava con i suoi numeri.

L'approccio

Atlas Ingest tratta la back-pressure come un concetto di primo livello. I produttori ricevono un segnale esplicito invece di un timeout, e ogni batch porta una chiave di idempotenza che rende sempre sicuro un retry.

Risultato

180M eventi al giorno con p99 stabile a 40ms e zero perdite silenziose in diciotto mesi.