IT doen in huis: Logging

Als voortzetting van mijn reeks over het meer op een serieuze bedrijfsomgeving doen lijken van je huis, wil ik het deze keer hebben over logverzameling. We hebben dit kort aangestipt in “IT doen in huis: Ticketing en monitoring”, aangezien Spiceworks, dat ik daar noemde, in zekere mate Windows-event-verzameling doet. Dat was echter een zeer oppervlakkige behandeling van het onderwerp, en een serieuze “IT-in-huis-doener” zal iets robuusters en van enterprise-klasse willen hebben.

Enterprise-logverzameling, -doorzoeking en -rapportage is in het afgelopen decennium werkelijk verschoven van een niche naar een kerninstrument binnen de IT, met het alomtegenwoordige Splunk aan kop. Er zijn veel producten die mogelijk in deze categorie passen, met uiteenlopende mate van functionaliteit en robuustheid. Traditionele “ouderwetse” loggingsystemen vallen doorgaans in de categorieën van Windows-eventverzamelaars zoals Spiceworks, Windows Event Collector en ManageEngine EventLog Analyzer. In de UNIX-wereld en in de wereld van netwerkapparatuur werken we doorgaans met syslog-compatibele systemen zoals Rsyslog en Solarwinds Kiwi Syslog Server. Maar deze producten zijn vrij beperkt, zeer gericht op een beperkt aantal platforms en vaak behoorlijk duur (Kiwi) of ze ontberen een goede gebruikerservaring (Rsyslog). Bij het verkennen van je thuislab kan het zinvol zijn om met enkele van deze producten te spelen. Maar om je logging werkelijk naar een hoger niveau te tillen, zullen we moeten kijken naar veel robuustere platforms die al deze gegevensbronnen en meer aanpakken, uitbreidbaar zijn en niet alleen rond het verzamelen van gegevens zijn ontworpen, maar ook rond het doorzoekbaar en weergeefbaar maken ervan, en hopelijk bruikbaar door meer dan alleen de doorgewinterde thuissysteembeheerder.

Aan kop bij deze nieuwe generatie logverzamelsystemen staat Splunk. Splunk is in de eerste plaats een on-premise, propriëtair softwarepakket, maar is beschikbaar met een “Free”-optie die over het algemeen perfect is voor een thuis-IT-enthousiasteling. De Free-editie beperkt het volume aan dagelijkse loginvoer en ondersteunt geen meerdere gebruikers, wat voor thuisgebruik waarschijnlijk geen echt struikelblok zal vormen. De invoerlimiet bedraagt momenteel 500 MB per dag, wat een ongelooflijk volume aan logs is. Splunk begrijpt dat hun betalende klanten altijd alleen grotere bedrijven met grote logvolumes zullen zijn, dus het gratis weggeven van hun product aan kleine bedrijven en privégebruikers helpt feitelijk hun resultaat, doordat het bredere ervaring met en kennis van hun product aanmoedigt. Splunk is relatief complex en zal enige inspanning vergen om op te zetten, maar is uiterst krachtig en rijk aan functies.

Splunk is bepaald niet de enige speler op de markt van on-premise logverwerking. In het opensourcedomein is er een stortvloed aan activiteit rond logverzameling en -rapportage, grotendeels gebouwd bovenop het Elasticsearch NoSQL-dataplatform, en de belangrijkste daarvan staat bekend als de “ELK”-stack, verwijzend naar de drie hoofdcomponenten: Elasticsearch, Logstash en Kibana. Een veelvoorkomend alternatief is om de stack te behouden, maar Kibana, de data-analyse-interface, te vervangen door Graylog2, dat eveneens opensource is. De ELK- of soortgelijke stacks bieden zeer “Splunk-achtige” functionaliteit zonder de beperkingen van Splunk. Splunk is voor ondernemingen vandaag de dag zeker de populairdere keuze, maar ELK wint significant terrein in de beeldvorming en is het vaakst te zien bij innovatievere bedrijven zoals technologie-startups, onderzoeksbureaus en grote hostingdiensten (Dreamhost is een opmerkelijke sponsor).

Het aanpakken van een on-premise-logbeheerproject biedt een uitstekend excuus voor al die extra hardware die in huis rondslingert en levert diepere ervaring met systeembeheer op, aangezien er meer “server” te beheren en te onderhouden is. Anders dan in een bedrijf zijn er bij het doen van IT in huis significante voordelen verbonden aan technologische wildgroei en aan het bewust kiezen van het moeilijkere pad. We zoeken actief naar uitdagingen en betekenisvolle systemen om thuis te draaien die echte waarde opleveren, en loganalyse is een uitstekende plek om waarde toe te voegen door data te benutten die je netwerk toch al creëert en deze aan je te leveren op een manier die je beter in staat stelt om problemen te anticiperen voordat ze zich voordoen, problemen achteraf op te sporen en de beveiliging drastisch te verhogen – weten wat er op je netwerk en in je apparaten gebeurt heeft veel waarde, en het handmatig ontleden van Windows-events en UNIX-syslogs is saai en foutgevoelig. Het bekijken van grafische data is effectiever en betrouwbaarder. En loggingplatforms kunnen tevens waarschuwingen verzenden op basis van logginggebeurtenissen.

On-premise-logbeheer is niet de enige optie. Logbeheer is ook beschikbaar volgens een Software-as-a-Service-bedrijfsmodel, met twee werkelijk belangrijke spelers: Splunk – via hun “Splunk Storm”-dienst – en de marktleider, Loggly. Beide leveranciers bieden volledig gratis, in capaciteit beperkte versies van hun gehoste producten aan, die veel meer zijn dan welke thuis-IT-gebruiker dan ook nodig zal hebben. Met deze diensten kun je binnen enkele minuten aan de slag met enterprise-logbeheer, zonder enige investering, noch in tijd, noch in geld, noch in hardware. Indien je doelstellingen minder draaien om het leren van systeembeheer en meer puur om het focussen op goed logbeheer, of je simpelweg de rekken vol hardware thuis ontbeert die het bewust creëren van “extra” IT-diensten in huis aanwakkeren, dan is gehost logbeheer zeer waarschijnlijk de juiste keuze voor jou. Voor wie zich richt op ontwikkeling, netwerkbeheer of andere IT-gebieden is dit waarschijnlijk de nuttigere optie. Met name Loggly is voor iedereen eenvoudig om je aan te melden en logdata te beginnen verzenden, en is vandaag de dag het toonaangevende product voor gehost logbeheer.

Hoe groter en actiever je thuisnetwerk wordt, hoe waardevoller goede logverzameling en -beheer wordt. Logs bieden diep inzicht in je netwerk, en een goede logbeheeroplossing zal je niet alleen een overzicht op hoog niveau van je data bieden, maar zal ook nuttig zijn ter vervanging van de traditionele weergaven van je live logdata. Werken vanuit een aantrekkelijke webinterface is over het algemeen veel effectiever dan het handmatig doorspitten van logs, zelfs wanneer je actuele gebeurtenissen bekijkt. En sommige logbeheeroplossingen bieden ook goede voorzieningen voor langdurige logbewaring, die in niet-gecentraliseerde oplossingen vaak ontbreekt.

Goed logbeheer wordt in rap tempo steeds belangrijker en is een verwachte dienst in het bedrijfsleven. Vijf jaar geleden was het gebruikelijk om zelfs zeer grote ondernemingen te zien die dit soort instrumenten nog niet hadden ingevoerd. Tegenwoordig wordt aangenomen dat elk bedrijf van enige redelijke omvang een solide, volwassen loggingoplossing – vrijwel zeker Splunk – in gebruik heeft, en met de steeds lagere toetredingsdrempels van ELK en Loggly zien we enterprise-logging zich een weg banen naar steeds kleinere bedrijven. Loggen in huis is een uitstekende manier om je persoonlijke portfolio te verrijken, je kennis en vaardighedenbasis uit te breiden en je cv op te bouwen. Begin vandaag nog met loggen!