Software requirements classification using machine learning algorithms

Abstract

A classificação correta de requisitos tornou-se uma tarefa essencial dentro da engenharia de software. Este estudo mostra uma comparação entre as técnicas de extração de fea- tures para textos, e entre algoritmos de aprendizado de máquina para o problema de classificação de requisitos de software para responder as duas questões principais “Qual a melhor técnica (Bag of Words (BoW) vs. Term Frequency – Inverse DocumentFrequency (TF-IDF ) vs. Chi Squared (CHI2 ))) para classificar Requisitos de Software em Requisi- tos Funcionais (FR) e Requisitos Não Funcionais (NF), e as subclasses de Requisitos Não Funcionais? ” e “Qual Algoritmo de Aprendizado de Máquina fornece o melhor desem- penho para a tarefa de classificação de requisitos?”. O dataset utilizado para realizar a pesquisa foi o PROMISE_exp, um conjunto de dados criado recentemente que expande o já conhecido repositório PROMISE, um repositório que contém requisitos de software rotulados. Todos os documentos do banco de dados foram limpos com um conjunto de etapas de normalização e as duas técnicas de feature extraction, e a técnica de feature selection usadas foram BoW, TF-IDF e CHI2 respectivamente. Os algoritmos utiliza- dos para classificação foram Regressão Logística (LR), Support Vector Machine (SVM), Multinomial Naive Bayes (MNB) e k-vizinhos mais próximos (kNN). O diferencial do nosso trabalho se encontra nos dados utilizados para a realização do experimento, no de- talhamento das etapas utilizadas para reproduzir a classificação e na comparação entre BoW, TF-IDF e CHI2 para este repositório, que até o presente momento não foi abordada por outros estudos. Este trabalho servirá de referência para a comunidade de engenharia de software e ajudará outros pesquisadores a entenderem o processo de classificação de requisitos. Notamos que o uso de TF-IDF seguido do uso de LR teve um melhor resultado de classificação para diferenciar os requisitos, com um F1-score de 0,91 na classificação binária (vinculada com SVM nesse caso), 0,74 na classificação de NF e 0,78 em uma clas- sificação geral. Como trabalhos futuros, pretendemos comparar mais algoritmos e novas formas de melhorar a precisão de nossos modelos.