Desenvolvimento de software no contexto Big Data

Abstract

O armazenamento de informações em formato digital tem crescido consideravelmente nos últimos anos. Não apenas pessoas são responsáveis por produzir dados, equipamentos eletrônicos também se tornaram grandes geradores de registros, como servidores, aparelhos de GPS, microcomputadores espalhados nos mais variados contextos, entre uma infinidade de aplicações. O termo Big Data se refere a toda esta quantidade de dados que se encontra na ordem de petabytes e não pode ser analisada pelos métodos tradicionais. Neste trabalho, apresenta-se um estudo sobre uma das mais conhecidas arquiteturas para solucionar esses problemas, o software Hadoop. O desenvolvimento para o paradigma MapReduce é abordado, assim como os projetos que são construídos no topo do sistema Hadoop, provendo serviços em um nível de abstração maior. Além da etapa de pesquisa, uma arquitetura de aplicação Big Data voltada para um estudo de caso real é definida e implementada, a qual envolve a extração e análise de publicações de redes sociais com foco na política brasileira.