Fazendo TI em Casa: Registro de Logs

Dando continuidade à minha série sobre tornar sua casa mais parecida com um ambiente empresarial sério, desta vez quero falar sobre coleta de logs. Tocamos um pouco nisso em “Fazendo TI em Casa: Tickets e Monitoramento”, já que o Spiceworks, que mencionei lá, faz uma certa quantidade de coleta de eventos do Windows. Aquele foi, no entanto, um tratamento muito superficial do assunto, e um “Fazedor de TI em Casa” sério vai querer algo mais robusto e de classe empresarial.

A coleta, busca e geração de relatórios de logs corporativos realmente deixou de ser um nicho para se tornar uma ferramenta central de TI ao longo da última década, com a liderança dessa investida assumida pelo onipresente Splunk. Há muitos produtos que potencialmente se enquadram nessa categoria, com graus variados de recursos e robustez. Os sistemas de registro de logs tradicionais, da “velha escola”, tendem a se dividir nas categorias de coletores de eventos do Windows, como o Spiceworks, o Windows Event Collector e o ManageEngine EventLog Analyzer. No mundo UNIX e no mundo dos equipamentos de rede, tendemos a trabalhar com sistemas compatíveis com syslog, como o Rsyslog e o Solarwinds Kiwi Syslog Server. Mas esses produtos são bastante limitados, sendo muito focados em plataformas restritas e, frequentemente, são bem caros (Kiwi) ou carecem de uma boa experiência de usuário (Rsyslog). Ao explorar seu laboratório doméstico, pode fazer sentido brincar com alguns desses produtos. Mas, para realmente levar seu registro de logs ao próximo nível, precisaremos olhar para plataformas muito mais robustas que abordem todas essas fontes de dados e mais, que sejam extensíveis e que sejam projetadas não apenas para coletar dados, mas para torná-los pesquisáveis e exibíveis e, com sorte, utilizáveis por mais do que apenas o hardcore administrador de sistemas doméstico.

Liderando a investida por essa nova geração de sistemas de coleta de logs está o Splunk. O Splunk é, principalmente, um pacote de software proprietário, on-premise, mas está disponível com uma opção “Free” (Gratuita) que geralmente é perfeita para um entusiasta de TI doméstico. A edição Free limita o volume de ingestão diária de logs e não suporta múltiplos usuários, o que dificilmente será um obstáculo real para o uso doméstico. O limite de ingestão é atualmente de 500MB por dia, o que é um volume incrível de logs. O Splunk entende que seus clientes pagantes serão sempre apenas empresas maiores, com grandes volumes de logs, então oferecer seu produto gratuitamente para pequenas empresas e usuários pessoais, na verdade, ajuda seus resultados financeiros ao incentivar uma experiência e um conhecimento mais amplos de seu produto. O Splunk é relativamente complexo e exigirá algum esforço para configurar, mas é extremamente poderoso e repleto de recursos.

O Splunk dificilmente é a única opção de tratamento de logs on-premise no mercado. No âmbito do código aberto, há uma enxurrada de atividade em torno da coleta e geração de relatórios de logs, em sua maioria construída sobre a plataforma de dados NoSQL Elasticsearch, e a principal delas é conhecida como a pilha “ELK”, referindo-se aos três componentes principais: Elasticsearch, Logstash e Kibana. Uma alternativa comum é manter a pilha, mas substituir o Kibana, a interface de análise de dados, pelo Graylog2, que também é de código aberto. As pilhas ELK ou similares fornecem uma funcionalidade muito “parecida com a do Splunk”, sem as limitações do Splunk. O Splunk é certamente a escolha mais popular para empresas hoje, mas o ELK está ganhando terreno significativo em participação na mente do mercado e é visto com mais frequência em empresas mais inovadoras, como startups de tecnologia, firmas de pesquisa e grandes serviços de hospedagem (a Dreamhost é uma patrocinadora notável).

Encarar um projeto de gerenciamento de logs on-premise fornecerá uma ótima desculpa para todo aquele hardware extra largado pela casa e proporcionará uma experiência mais profunda de administração de sistemas, já que há mais “servidor” para ser gerenciado e mantido. Ao contrário de uma empresa, ao fazer TI em Casa há benefícios significativos na proliferação de tecnologia e em intencionalmente trilhar o caminho mais difícil. Estamos ativamente buscando desafios e sistemas significativos para serem executados em casa, que produzam valor real, e a análise de logs é um ótimo lugar para agregar valor ao aproveitar dados que sua rede já está criando e fornecê-los a você de uma forma que o torne mais capaz de antecipar problemas antes que ocorram, rastrear questões após o fato e aumentar drasticamente a segurança – saber o que está acontecendo em sua rede e em seus dispositivos tem muito valor, e analisar manualmente os Eventos do Windows e os syslogs do UNIX é tedioso e propenso a erros. Observar dados gráficos é mais eficaz e confiável. E as plataformas de registro de logs também podem enviar alertas com base em eventos de log.

O gerenciamento de logs on-premise não é a única opção. O gerenciamento de logs também está disponível em um modelo de negócios de Software como Serviço (Software as a Service), com dois protagonistas realmente importantes: o Splunk – por meio de seu serviço “Splunk Storm” – e o líder de mercado, o Loggly. Ambos os fornecedores oferecem versões completamente gratuitas e com capacidade limitada de seus produtos hospedados, que são muito mais do que qualquer usuário de TI doméstico precisará. Esses serviços permitem que você comece a operar com gerenciamento de logs de nível empresarial em questão de minutos, sem qualquer investimento, nem de tempo, nem de dinheiro, nem de hardware. Se seus objetivos têm menos a ver com aprender administração de sistemas e mais puramente com focar em um bom gerenciamento de logs, ou se você simplesmente não tem os racks de hardware em casa que precipitam a criação intencional de serviços de TI “extras” na residência, então o gerenciamento de logs hospedado é, muito provavelmente, a escolha certa para você. Para aqueles focados em desenvolvimento, administração de redes ou outras áreas de TI, esta é provavelmente a opção mais útil. O Loggly, especialmente, é fácil para qualquer um se cadastrar e começar a enviar dados de log, e é o principal produto de gerenciamento de logs hospedado atualmente.

Quanto maior e mais ativa sua rede doméstica se torna, mais valiosos se tornam a boa coleta e o bom gerenciamento de logs. Os logs fornecem uma percepção profunda de sua rede, e uma boa solução de gerenciamento de logs não só lhe fornecerá uma visão de alto nível de seus dados, mas também será útil na substituição das visualizações tradicionais de seus dados de log ao vivo. Trabalhar a partir de uma interface web atraente é, geralmente, muito mais eficaz do que vasculhar logs manualmente, mesmo ao observar eventos atuais. E algumas soluções de gerenciamento de logs também fornecerão boas facilidades para a retenção de logs a longo prazo, o que frequentemente falta em soluções não centralizadas.

Um bom gerenciamento de logs está rapidamente se tornando cada vez mais importante e um serviço esperado nas empresas. Cinco anos atrás, era comum ver até mesmo empresas muito grandes que ainda não haviam adotado esse tipo de ferramenta. Hoje, presume-se que qualquer empresa de tamanho razoável terá uma solução de registro de logs sólida e madura, quase certamente o Splunk, implementada e, com as barreiras de entrada cada vez mais baixas vindas do ELK e do Loggly, vemos o registro de logs corporativo abrindo caminho para empresas cada vez menores. Registrar logs em casa é uma excelente forma de aprimorar seu portfólio pessoal, expandir seu conhecimento e sua base de habilidades e enriquecer seu currículo. Comece a registrar logs hoje!