Construindo um processo ETL de Streaming utilizando o Ferramentas Proprietárias do Databricks e comparando-a com uma abordagem de ETL Tradicional

Abstract

Assim como o dado é tido como o novo petróleo, de nada serve o dado inexplorável. Como advento da era do Big Data e a crescente demanda por soluções aplicáveis à imensidão de dados gerada pela humanidade hoje, novas ferramentas tendem a surgir. Uma das principais frentes do ambiente de engenharia de dados tem sido tomada por uma empresa chamada Databricks. A Databricks fornece uma plataforma de engenharia de dados com diversas ferramentas proprietárias para ingestão, processamento e exposição de dados. Neste trabalho focaremos nas ferramentas de Streaming de Dados, o Auto-Loader e as Delta Live Tables do Databricks. Para ter uma base em como essas ferramentas se comparam com abordagens tradicionais, neste trabalho são construídas soluções tanto para as ferramentas do Databricks quanto para uma abordagem tradicional com Spark e Kafka e concluímos se a solução do Databricks é um diferencial tão grande quanto ela se propõe a ser.