Monitoramento de ambientes computacionais distribuídos em tempo real

Abstract

Extrair informações de estado de um conjunto de máquinas e permitir que o responsável por elas atue em tempo real no sistema monitorado é algo extremamente relevante no cenário da computação atual. Além disso, monitorar o tráfego de uma rede e reconhecer padrões de ciberataques antes que informações críticas sejam acessadas por terceiros também é um grande desafio. Este trabalho apresenta o projeto de um sistema de processamento em tempo real extensível, capaz de extrair informações de estado dos recursos monitorados e processálos com baixa latência. O sistema de monitoramento foi projetado para rodar em um conjunto de máquinas distribuídas (cluster ) a fim de garantir escalabilidade. Além disso, a comunicação entre os ambientes computacionais monitorados e o sistema de processamento pode acontecer de maneira segura através da utilização de certificados digitais (SSL/TLS) para autenticar os recursos e cifrar os dados trafegados entres as máquinas. No projeto deste sistema foram utilizadas apenas ferramentas livres e consolidadas, como o Apache Storm, o Apache Kafka e o framework Netty. A solução proposta foi desenvolvida em duas arquiteturas. A primeira delas provê um canal de comunicação direto entre o recurso monitorado e o servidor de monitoramento. Esta solução foi projetada principalmente para monitorar ambientes computacionais que necessitam que as suas informações de estado sejam tratadas com baixa latência. A segunda arquitetura foi projetada para monitorar ativos que necessitam transmitir uma larga quantidade de dados por unidade de tempo para representar suas informações de estado, como por exemplo roteadores e switches. Dessa forma, escolheu-se colocar uma fila de mensagens intermediária entre o recurso monitorado e o servidor de monitoramento para permitir o tratamento assíncrono dessas informações. Apesar de apresentar uma latência maior, a segunda arquitetura permite que um número maior de máquinas seja monitorado simultaneamente em relação à primeira, devido à capacidade das filas de mensagens de lidarem com um grande número de transações concorrentes. Cada arquitetura proposta será defendida por meio da apresentação dos seus detalhes e de suas respectivas vantagens e desvantagens quando comparadas com as outras arquiteturas. Foram realizados testes comparativos de performance para sustentar as idéias discutidas neste texto. ____________________________________________________________________________ ABSTRACT

Extracting status information from a set of computers and analyzing them in real-time is extremely relevant in the current computing scenario. Moreover, monitoring the traffic of a network and recognizing cyber attack patterns before critical information is leaked to third parties is also a great challenge. This paper presents the design of an extensible real-time processing system, able to extract status information of monitored resources and process them with low latency. The monitoring system is designed to run on a distributed network of computers (cluster) to ensure scalability. Furthermore, communication between the monitored computing environments and the central processing unit can take place in a secure manner using digital certificates (SSL / TLS) to authenticate and encrypt the data exchanged between the machines. Only open-source tools were used in this project, namely Apache Storm, Apache Kafka and the Netty API. The proposed solution was developed in two architectures. The first provides a direct communication channel between the monitored resource and the monitoring server. This solution was designed mainly to monitor computing environments that require their status information to be treated with low latency. The second architecture was designed to monitor assets that need to transmit a large amount of data per unit of time to represent its status information, such as routers and switches. Thus, it was decided to place an intermediate message queue between the monitored resource and the monitoring server to allow asynchronous processing of the information. Although it presents a larger latency, the second architecture allows a greater number of machines to be simultaneously monitored than the first, since message queues are capable of coping with a large number of concurrent transactions. Each proposed architecture will be defended by presenting its implementation and their respective advantages and disadvantages when compared to the other architecture. Comparative performance tests were conducted to support the ideas presented in this text. Creating a tool that can help these type of systems to be less human dependent, making their own decisions based on the data collected from themselves and warning the system administrators of any suspicious behavior, contribute to the Information Technology community by providing a reliable tool to systems administrators. This framework doesn’t deal with all the received data yet, but with further work, this software could be used to monitor and analyze all kinds of data received from remote machines and networks.