Benchmark de FaaS baseado na arquitetura distribuída do framework Orama

Abstract

À medida que soluções orientadas a Function as a Service (FaaS) são adotadas de maneira generalizada, aumenta o interesse em ferramentas que possibilitam a execução de benchmarks nesses ambientes. O framework Orama se destaca neste contexto por oferecer uma solução altamente configurável e escalável para auxiliar no provisionamento e na avaliação de desempenho, além de análises comparativas e estatísticas dos resultados aferidos. Neste trabalho, foi proposta e desenvolvida uma arquitetura distribuída para o framework Orama, por meio da qual é possível executar benchmarks com altos níveis de concorrência, bem como disparar requisições geograficamente dispersas, aproximando-se do ambiente de execução real. Os resultados do experimento mostraram que a arquitetura proposta foi capaz de dividir a carga entre os workers distribuídos, e conseguiu consolidar adequadamente os resultados de retorno. Além disso, foi possível observar características específicas dos provedores envolvidos no experimento, como o excelente desempenho do serviço do tipo FaaS da Alibaba, cujo tempo médio de execução foi o menor dentre todos os testes realizados e livre de falhas. Google Cloud Function e AWS Lambda registraram resultados intermediários para tempo de execução, além de registrarem falhas. Por fim, o Azure Function teve os piores resultados em tempo médio de execução e de inicialização a frio.