Fare IT a casa: la raccolta dei log

Proseguendo la mia serie su come rendere la tua casa più simile a un serio ambiente aziendale, questa volta voglio parlare della raccolta dei log. Abbiamo accennato un po’ a questo argomento in “Fare IT a casa: ticketing e monitoraggio”, poiché Spiceworks, che ho menzionato in quell’occasione, esegue una certa raccolta degli eventi di Windows. Quella è stata però una trattazione molto leggera dell’argomento e chi fa sul serio nel “Fare IT a casa” vorrà qualcosa di più robusto e di classe enterprise.

La raccolta, la ricerca e la reportistica dei log a livello enterprise sono davvero passate, nell’ultimo decennio, da nicchia a strumento IT fondamentale, con l’onnipresente Splunk a guidare la carica. Vi sono molti prodotti che potenzialmente rientrano in questa categoria, con vari gradi di funzionalità e robustezza. I tradizionali sistemi di logging “vecchia scuola” tendono a rientrare nelle categorie dei raccoglitori di eventi di Windows come Spiceworks, Windows Event Collector e ManageEngine EventLog Analyzer. Nel mondo UNIX e in quello dell’hardware di rete tendiamo a lavorare con sistemi compatibili con syslog come Rsyslog e Solarwinds Kiwi Syslog Server. Ma questi prodotti sono piuttosto limitati, essendo molto focalizzati su piattaforme ristrette e sono spesso piuttosto costosi (Kiwi) o privi di una buona esperienza utente (Rsyslog). Nell’esplorazione per il tuo laboratorio domestico può avere senso sperimentare con alcuni di questi prodotti. Ma per portare davvero il tuo logging al livello successivo dovremo prendere in considerazione piattaforme molto più robuste, che gestiscono tutte queste fonti di dati e altro ancora, che siano estensibili e progettate non solo per raccogliere i dati ma per renderli ricercabili, visualizzabili e, auspicabilmente, utilizzabili da più persone oltre al solo irriducibile amministratore di sistema domestico.

A guidare la carica di questa nuova generazione di sistemi di raccolta log è Splunk. Splunk è principalmente un pacchetto software proprietario on-premise, ma è disponibile con un’opzione “Free” che è generalmente perfetta per un appassionato di IT domestico. L’edizione Free limita il volume di ingestione giornaliera dei log e non supporta utenti multipli, il che difficilmente costituirà un vero ostacolo per l’uso domestico. Il limite di ingestione è attualmente di 500 MB al giorno, un volume di log incredibile. Splunk comprende che i suoi clienti paganti saranno sempre e solo aziende più grandi con grandi volumi di log, quindi regalare il proprio prodotto gratuitamente alle piccole realtà e agli utenti privati aiuta in realtà i propri profitti, incoraggiando una più ampia esperienza e conoscenza del proprio prodotto. Splunk è relativamente complesso e richiederà un certo impegno per la configurazione, ma è estremamente potente e ricco di funzionalità.

Splunk non è certo l’unico protagonista nella gestione dei log on-premise. Nell’ambito open source vi è un fermento di attività attorno alla raccolta e alla reportistica dei log, per lo più costruito sopra la piattaforma dati NoSQL Elasticsearch, e quello principale è noto come lo stack “ELK”, riferendosi ai tre componenti principali: Elasticsearch, Logstash e Kibana. Un’alternativa comune è mantenere lo stack ma sostituire Kibana, l’interfaccia di analisi dei dati, con Graylog2, anch’esso open source. Lo stack ELK o stack simili forniscono funzionalità molto “simili a Splunk” senza le limitazioni di Splunk. Splunk è certamente la scelta più popolare per le aziende oggi, ma ELK sta facendo significativi progressi in termini di notorietà e si trova più spesso nelle aziende più innovative come le startup tecnologiche, le società di ricerca e i grandi servizi di hosting (Dreamhost è un noto sponsor).

Affrontare un progetto di gestione dei log on-premise fornirà un’ottima scusa per tutto quell’hardware in più che gira per casa e offrirà un’esperienza più approfondita nell’amministrazione dei sistemi, poiché c’è più “server” da gestire e mantenere. A differenza di quanto avviene in un’azienda, quando si fa IT a casa vi sono significativi benefici nella proliferazione tecnologica e nell’intraprendere intenzionalmente il percorso più difficile. Siamo attivamente alla ricerca di sfide e di sistemi significativi da far funzionare a casa che producano valore reale, e l’analisi dei log è un ottimo ambito in cui aggiungere valore sfruttando i dati che la tua rete sta già generando e fornendoteli in un modo che ti renda più capace di anticipare i problemi prima che si verifichino, di individuare le criticità a posteriori e di aumentare drasticamente la sicurezza – sapere cosa sta accadendo sulla tua rete e nei tuoi dispositivi ha un grande valore, e analizzare manualmente gli eventi di Windows e i syslog UNIX è noioso e soggetto a errori. Guardare dati grafici è più efficace e affidabile. E le piattaforme di logging possono anche inviare avvisi basati sugli eventi di log.

La gestione dei log on-premise non è l’unica opzione. La gestione dei log è disponibile anche con un modello di business Software as a Service, con due protagonisti davvero chiave: Splunk – tramite il suo servizio “Splunk Storm” – e il leader di mercato, Loggly. Entrambi questi fornitori offrono versioni completamente gratuite e a capacità limitata dei loro prodotti ospitati, che sono ben più di quanto qualsiasi utente IT domestico avrà mai bisogno. Questi servizi consentono di mettere in funzione la gestione dei log a livello enterprise in pochi minuti, senza alcun investimento, né in tempo, né in denaro, né in hardware. Se i tuoi obiettivi sono meno legati all’apprendimento dell’amministrazione di sistema e più puramente concentrati su una buona gestione dei log, o se semplicemente non hai a casa i rack di hardware che giustificano la creazione intenzionale di servizi IT “extra” in casa, allora la gestione dei log ospitata è molto probabilmente la scelta giusta per te. Per chi si concentra sullo sviluppo, sull’amministrazione di rete o su altri ambiti dell’IT, questa è probabilmente l’opzione più utile. Loggly, in particolare, è facile da usare per chiunque voglia registrarsi e iniziare a inviare dati di log, ed è il principale prodotto di gestione dei log ospitato oggi.

Più la tua rete domestica diventa grande e attiva, più una buona raccolta e gestione dei log diventa preziosa. I log forniscono una profonda comprensione della tua rete e una buona soluzione di gestione dei log non solo ti fornirà una visione di alto livello dei tuoi dati, ma sarà anche utile nel sostituire le visualizzazioni tradizionali dei tuoi dati di log in tempo reale. Lavorare da un’interfaccia web gradevole è generalmente molto più efficace rispetto al setacciare manualmente i log, anche quando si esaminano eventi correnti. E alcune soluzioni di gestione dei log forniranno anche buoni strumenti per la conservazione dei log a lungo termine, cosa che spesso manca nelle soluzioni non centralizzate.

Una buona gestione dei log sta rapidamente diventando sempre più importante e un servizio atteso in ambito aziendale. Cinque anni fa era comune vedere anche aziende molto grandi non aver ancora adottato questo genere di strumenti. Oggi si dà per scontato che qualsiasi azienda di dimensioni ragionevoli disponga di una soluzione di logging solida e matura, quasi certamente Splunk, e con le barriere all’ingresso sempre più basse offerte da ELK e Loggly vediamo il logging enterprise farsi strada in aziende sempre più piccole. Fare logging a casa è un modo eccellente per arricchire il tuo portfolio personale, ampliare le tue conoscenze e competenze e valorizzare il tuo curriculum. Inizia a fare logging oggi stesso!