A method for defining customer spending behavior based on unsupervised machine learning

Abstract

À medida em que mais dados financeiros são gerados a cada ano, se faz necessário o uso desses para desenvolver produtos financeiros personalizados conforme a experiência do usuário. Neste trabalho é proposto um método para definir possíveis padrões de gastos a partir de transações financeiras categorizadas. São comparados diferentes algoritmos de clusterização e de detecção de outliers com métricas usuais para validação interna de grupos, em conjunto com análises empíricas do nível de balanceamento dos clusters. Os algoritmos de clusterização comparados são k-Means, Bisecting k-Means e Mean-Shift; ademais, os algoritmos de detecção de outliers usados neste trabalho são Local Outlier Factor e Isolation Forest. Por fim, as métricas de desempenho usadas, a saber, Silhoutte Index, Calinski-Harabasz Score e Davies-Bouldin Index. Juntamente com o método, uma variação do algoritmo de clusterização k-Means, o Ok-Means, é proposto com o objetivo de reduzir as anomalias nos clusters através da detecção de outliers durante o processo de treinamento. Os algoritmos de clusterização e detecção de outliers geralmente mostraram melhores resultados quando usados em conjunto. O algoritmo proposto Ok-Means de monstrou melhores resultados, baseados nas métricas de desempenho, quando comparado com o k-Means e com a combinação de k-Means + Isolation Forest, na maioria dos testes; exibindo um índice no Sillhouette Index de 0,7920, no Calinski-Harabasz Score apresenta 37,1286 e no Davies-Bouldin Index um valor de 0,1404. Ainda assim, o Ok-Means não resolve o problema do desbalanceamento dos clusters. Uma visualização dos padrões de gastos é criada usando um método proposto e validado por um especialista na área para auxiliar na extração de informações baseadas no comportamento do usuário.