ModBERTBr: a modernBERT-based model for Brazilian Portuguese

Abstract

Avanços recentes em Inteligência Artificial (IA) têm impulsionado a rápida adoção dessas tecnologias em diversos setores e aspectos da vida cotidiana, impulsionados significati vamente pela evolução dos Large Language Models (LLMs). Um modelo fundamental nesse domínio é o Bidirectional Encoder Representations from Transformers (BERT), cuja variante de estado-da-arte, o ModernBERT, se destaca em eficiência e desempenho. No entanto, o ModernBERT é limitado ao Inglês. Além disso, existe uma lacuna sig nificativa na disponibilidade de modelos especificamente projetados para o Português Brasileiro, com as opções existentes sendo desatualizadas em relação às metodologias e tecnologias contemporâneas. Este artigo aborda essa lacuna ao introduzir o ModBERTBr, um novo modelo pré-treinado baseado na arquitetura do ModernBERT, especificamente adaptado para o Português Brasileiro e incorporando pesquisas e tecnologias de ponta. O termo mod refere-se a “Moderno”, enquanto Br representa o “Português Brasileiro”. O ModBERTBr foi pré-treinado do zero em conjuntos de dados meticulosamente trata dos, obtidos a partir da Wikipedia e do BrWac, garantindo alta qualidade dos dados. Além de incorporar inovações do ModernBERT, como um mecanismo de atenção alter nada, embeddings posicionais rotativos (rotary positional embeddings) e Flash Attention 2, também foi desenvolvido um tokenizador personalizado que utiliza a abordagem do modelo unigram. O ModBERTBr foi avaliado em comparação com múltiplas referências, incluindo o BERTimbau e o BERTugues, por meio de avaliações intrínsecas, como na tarefa de Masked Language Modeling (MLM), e tarefas mais específicas, como a de Se mantic Textual Similarity (STS), Recognizing Textual Entailment (RTE) e Named Entity Recognition (NER). Os resultados destacam a eficácia do ModBERTBr, demonstrando melhorias consistentes nas tarefas de STS e NER e desempenho competitivo em RTE em comparação com os modelos predecessores.