Come LivePerson ha ottimizzato Logstash e Kafka su GCP: benchmark e risparmi
Un'analisi dettagliata delle prestazioni e dei costi per un pipeline di logging ad alto volume

IN BREVE
- LivePerson ha benchmarkato Logstash e Kafka su cinque configurazioni di macchine GCP, identificando n4d-standard-2 come la scelta più efficiente.
- L'uso di n4d-standard-2 ha portato a un miglioramento del throughput del 100%+ su Logstash e una riduzione del 50% del costo di elaborazione.
- La selezione del codec di compressione (LZ4 vs. GZIP) ha avuto un impatto significativo sulle prestazioni di Kafka.
- L'ottimizzazione dell'infrastruttura ha ridotto il numero di istanze Logstash e partizioni Kafka, diminuendo l'overhead complessivo.
- Il benchmarking periodico è essenziale per mantenere l'efficienza in ambienti cloud in continua evoluzione.
LivePerson ottimizza le performance di Logstash e Kafka su GCP attraverso il benchmarking
LivePerson, azienda specializzata in piattaforme di conversazione digitale, ha condotto un'ampia analisi di benchmarking su diverse configurazioni di macchine virtuali di Google Cloud Platform (GCP) per ottimizzare le performance e i costi del proprio pipeline di logging. La scelta dell'infrastruttura, secondo il team di osservabilità dell'azienda, è una delle decisioni più strategiche per ottimizzare i costi a scala elevata.
Il team di LivePerson ha testato cinque diverse configurazioni di macchine virtuali GCP su Logstash e Kafka, identificando la combinazione ottimale in termini di rapporto costo-efficienza per un pipeline di logging ad alto volume. I risultati ottenuti hanno evidenziato miglioramenti significativi sia in termini di throughput che di riduzione dei costi operativi.
La sfida: un pipeline in crescita più rapida dell'infrastruttura
Con l'espansione del proprio footprint su Google Kubernetes Engine (GKE) e la migrazione dei workload da on-premise a Google Cloud, il pipeline di logging di LivePerson ha dovuto scalare rapidamente. Tuttavia, le scelte infrastrutturali sottostanti non erano state aggiornate di conseguenza.
Il pipeline di LivePerson utilizza Filebeat come produttore di log, Kafka come broker di messaggi e Logstash come consumatore e processore prima che i dati vengano inviati a Elastic. Con la crescita del sistema, Kafka ha dovuto scalare proporzionalmente. Ogni istanza di Logstash richiede una partizione dedicata per consumare i dati, il che ha portato a un aumento del numero di istanze di Logstash e, di conseguenza, a un numero maggiore di partizioni Kafka. Questo ha comportato un aumento dell'overhead complessivo e dei costi infrastrutturali.
L'infrastruttura era inizialmente configurata su istanze e2-standard, l'opzione generale di GCP comunemente utilizzata per i workload di logging. Kiril Karamanolev e Strahil Nikolov, ingegneri DevOps del team di osservabilità di LivePerson, sospettavano che ci fosse margine di miglioramento. Tuttavia, il team aveva ereditato lo stack senza un baseline di riferimento per confrontare le performance attuali.
Un'ulteriore complessità era legata al fatto che le istanze e2-standard non sono legate a una singola piattaforma CPU, il che significa che la stessa tipologia di macchina può eseguire sia su hardware AMD che Intel a seconda della disponibilità. Per workload intensivi dal punto di vista computazionale come Logstash, questa distinzione può avere implicazioni significative sulle performance, ma solo il benchmarking poteva rivelare l'entità reale del divario.
L'approccio: benchmarking su entrambe le estremità del pipeline
Invece di fare ipotesi, il team ha condotto benchmark strutturati sia su Logstash che su Kafka, trattando ciascuno come un workstream separato.
Il benchmarking di Logstash ha utilizzato il framework di benchmarking integrato di Logstash con dati di test standardizzati e configurazioni, mantenendo risultati coerenti tra le diverse tipologie di istanze. Le macchine virtuali valutate erano quelle realisticamente considerate per logging ad alto volume su GCP:
- e2-standard-2 (AMD)
- e2-standard-2 (Intel)
- n2-standard-2
- t2d-standard-2
- n4d-standard-2
Le varianti AMD e Intel di e2-standard-2 sono state trattate come casi di test separati, data la potenziale differenza significativa nelle performance a livello di CPU.
Il benchmarking di Kafka ha utilizzato gli script di benchmarking nativi di Kafka con un wrapper personalizzato per semplificare l'esecuzione. Il team ha anche testato l'impatto della scelta del codec di compressione, in particolare GZIP (il codec di compressione predefinito di Filebeat) rispetto a LZ4, sia sulla throughput di scrittura (Filebeat > Kafka) che su quella di lettura (Kafka > Logstash). L'analisi dei risultati è stata accelerata grazie all'uso di strumenti di intelligenza artificiale.
La metrica di valutazione principale non era il costo mensile dell'istanza, ma la throughput per dollaro (eventi al secondo per unità di spesa) — la figura che conta davvero a scala di produzione.
Risultati del benchmarking su Logstash
L'istanza n4d-standard-2, supportata dall'architettura AMD Milan, ha fornito risultati decisivi:
- Aumento della throughput superiore al 100% rispetto al baseline e2-standard-2
- 370 EPS per dollaro — la massima efficienza dei costi tra tutte le istanze testate
- Costo di $2.70 per 1.000 EPS rispetto a $5.95 per la configurazione meno efficiente — riduzione superiore al 50% del costo di elaborazione
L'istanza t2d-standard-2 si è classificata al secondo posto, offrendo un buon valore nelle regioni in cui la disponibilità di n4d è limitata.
Il divario di performance tra le varianti AMD e Intel di e2-standard-2 era abbastanza grande da essere operativamente significativo.
L'istanza n2-standard-2 si è classificata ultima in termini di efficienza nonostante avesse un costo mensile praticamente identico a quello di t2d-standard-2.
La conclusione più chiara è che l'istanza con il costo mensile più basso è raramente la più efficiente in termini di costi una volta presa in considerazione la throughput effettiva.
Risultati del benchmarking su Kafka
Il benchmarking di Kafka ha prodotto due conclusioni chiave:
- La scelta della tipologia di macchina ha avuto un impatto significativo sulla throughput di Kafka, coerente con i risultati ottenuti su Logstash.
- La scelta del codec di compressione è stata una variabile indipendente con un impatto significativo sia sulle performance di scrittura che su quelle di lettura. Il passaggio da GZIP a LZ4 ha portato a miglioramenti della throughput sia sul lato del produttore che su quello del consumatore.
Testare entrambe le metà del pipeline insieme è stato essenziale. Un collo di bottiglia in Kafka limita le performance dell'intero sistema: se i log non possono essere scritti abbastanza velocemente, Filebeat si intasa; se non possono essere letti abbastanza velocemente, Logstash rimane sottoutilizzato. Ottimizzare solo un lato avrebbe dato un quadro incompleto.
Riduzione del footprint infrastrutturale
L'esito più consequenziale è stato strutturale. Una throughput più elevata per istanza riduce direttamente il numero di istanze di Logstash necessarie per gestire lo stesso volume. Meno istanze di Logstash significano meno partizioni Kafka richieste. Meno partizioni significano un cluster Kafka più piccolo con un overhead inferiore su tutta la linea.
L'ottimizzazione si compounda: una scelta migliore delle istanze riduce il numero di componenti, riducendo al contempo la complessità operativa e i costi mentre migliora le performance contemporaneamente.
La lezione più ampia
I provider cloud rilasciano continuamente nuove famiglie di istanze. Ciò che rappresentava un buon valore al momento del deployment iniziale potrebbe non essere più competitivo dopo uno o due anni. Il team di LivePerson raccomanda di trattare il benchmarking dell'infrastruttura come una pratica ricorrente piuttosto che come una decisione una tantum, in particolare per i team che gestiscono workload di osservabilità ad alto volume dove l'efficienza computazionale influisce direttamente sia sui costi che sulla stabilità del pipeline.
I risultati specifici qui presentati riflettono GCP. Un benchmarking equivalente su AWS o Azure probabilmente evidenzierebbe vincitori diversi. La raccomandazione non è una tipologia di macchina, ma una metodologia: misurare prima di impegnarsi e rivedere la questione periodicamente man mano che il panorama cloud cambia.
Misurare l'efficienza a scala
Per un'azienda come LivePerson — la cui piattaforma supporta milioni di conversazioni aziendali quotidianamente e processa decine di terabyte di dati di log su un'infrastruttura GKE distribuita — la differenza tra un pipeline ben ottimizzato e uno predefinito è sostanziale. L'analisi di benchmarking condotta dal team di osservabilità ha permesso di identificare le configurazioni più efficaci, riducendo i costi operativi e migliorando le performance del sistema.
L'approccio sistematico adottato da LivePerson può servire come modello per altre aziende che cercano di ottimizzare le proprie infrastrutture cloud. La scelta delle macchine virtuali giuste, combinata con una comprensione approfondita dei workflow di dati, può portare a miglioramenti significativi sia in termini di prestazioni che di efficienza dei costi.
Implicazioni per l'architettura cloud
L'esperienza di LivePerson evidenzia come l'ottimizzazione infrastrutturale possa ridefinire l'architettura dei sistemi cloud. La riduzione del numero di istanze di Logstash e partizioni Kafka non solo abbassa i costi operativi, ma semplifica anche la gestione del sistema. Un cluster Kafka più piccolo richiede meno risorse di calcolo, meno spazio di archiviazione e meno banda di rete, con un impatto positivo su tutti gli aspetti del sistema.
Impatto sulla scalabilità
L'ottimizzazione delle performance ha reso il pipeline di logging più scalabile. Con istanze più efficienti, LivePerson può gestire un volume maggiore di dati senza dover aumentare proporzionalmente le risorse. Questo è particolarmente importante per un'azienda che gestisce milioni di conversazioni quotidianamente, dove la scalabilità è cruciale per mantenere le performance durante i picchi di traffico.
Considerazioni sulla sicurezza
Un'infrastruttura più piccola e più efficiente può anche avere implicazioni positive per la sicurezza. Meno componenti significano meno punti di potenziale vulnerabilità. Inoltre, un sistema più semplice da gestire riduce il rischio di errori umani durante la configurazione e la manutenzione.
Best practice per il benchmarking
Il team di LivePerson ha seguito una metodologia rigorosa per il benchmarking, che può essere adottata da altre organizzazioni. Questo include:
- Definizione chiara degli obiettivi: Identificare cosa si vuole ottimizzare (costo, performance, scalabilità).
- Test standardizzati: Utilizzare dati e configurazioni uniformi per garantire risultati comparabili.
- Valutazione completa del sistema: Testare tutte le componenti critiche del pipeline.
- Documentazione dei risultati: Registrare i dati di benchmarking per future referenze.
- Iterazione periodica: Ripetere il benchmarking regolarmente per adattarsi ai cambiamenti dell'infrastruttura cloud.
Strumenti e tecnologie emergenti
L'approccio di LivePerson potrebbe essere ulteriormente migliorato con l'adozione di strumenti di analisi avanzati e tecnologie emergenti. Ad esempio, l'uso di machine learning per prevedere i carichi di lavoro e ottimizzare dinamicamente le configurazioni potrebbe portare a ulteriori miglioramenti delle performance.
Implicazioni per i team DevOps
Per i team DevOps, questa esperienza sottolinea l'importanza di avere competenze specifiche sui diversi provider cloud. La comprensione delle caratteristiche delle diverse famiglie di istanze e delle loro performance su workload specifici è cruciale per prendere decisioni informate.
Condivisione delle conoscenze
LivePerson ha scelto di condividere i risultati del proprio benchmarking con la comunità cloud. Questo tipo di trasparenza è prezioso per l'intero settore, poiché permette ad altre organizzazioni di evitare di dover condurre gli stessi test da zero.
Conclusioni
L'approccio sistematico di LivePerson all'ottimizzazione delle performance del proprio pipeline di logging dimostra come un'analisi approfondita possa portare a miglioramenti significativi sia in termini di costi che di prestazioni. La lezione più importante è che l'infrastruttura cloud non è un aspetto statico, ma richiede un monitoraggio continuo e un'ottimizzazione periodica per mantenere la competitività.
Risorse aggiuntive
Per chi volesse approfondire, GCP offre strumenti come Cloud Monitoring e Cloud Profiler che possono aiutare a monitorare e ottimizzare le performance delle applicazioni cloud. Inoltre, la documentazione di GCP fornisce linee guida dettagliate sulle diverse famiglie di istanze e sui loro casi d'uso specifici.
Nota Editoriale e Disclaimer
Le guide e i contenuti pubblicati su GoYou sono frutto di attività di ricerca e analisi indipendente, a scopo informativo, educativo e di approfondimento.
GoYou non costituisce una testata giornalistica né un prodotto editoriale ai sensi della Legge n. 62/2001 e non svolge attività di informazione in tempo reale.
Il progetto GoYou non fornisce consulenza professionale, tecnica, legale o finanziaria e declina ogni responsabilità per l’uso improprio delle informazioni pubblicate.
Nel settore Crypto, ogni investimento comporta rischi: si invita il lettore a informarsi sempre in modo autonomo prima di assumere qualsiasi decisione.
Fonte: elastic.co · GoYou.it non è una testata giornalistica; i contenuti hanno finalità informative e divulgative.