O impacto da pré-tokenização em diferentes línguas no desempenho de LLMs multilíngues

Abstract

A eficiência de Modelos de Linguagem de Grande Escala (LLMs) é criticamente depen dente da etapa de tokenização, que frequentemente penaliza línguas morfologicamente ricas, como o português, com fragmentação excessiva (over-tokenization). Este trabalho investiga e propõe uma solução de engenharia para mitigar essa ineficiência. Partindo de uma análise empírica que confirmou uma fertilidade 9,5% superior do português em relação ao inglês em modelos multilíngues, foi desenvolvido um pipeline de otimização composto por três estágios: detecção estatística de Expressões Multi-Palavra (MWE) via Pointwise Mutual Information (PMI), injeção cirúrgica de vocabulário e adaptação do modelo via Fine-Tuning com Low-Rank Adaptation (LoRA). Os resultados demonstra ram que estratégias ingênuas de manipulação textual pioram a eficiência, enquanto a abordagem integrada proposta resultou em uma redução real de tokens de 13,19% no tokenizador XLM-R e 7,92% no mT5/Gemma. A eficácia semântica foi validada pela re dução consistente da função de perda (Validation Loss de 3.72 para 3.49) e pela coerência na geração de texto. O estudo entrega um blueprint reprodutível para democratizar o uso de LLMs em português, reduzindo custos computacionais sem sacrificar a compreensão semântica.