Codificador de vídeo baseado em autoencoder variacional : uma análise de desempenho frente aos codificadores tradicionais HEVC e VVC

Abstract

Codificadores de vídeo com aprendizado de ponta-a-ponta estão sendo desenvolvidos com a proposta de superar limitações dos codificadores tradicionais, os quais possuem algoritmos manuais que se tornam cada vez mais complexos para ganhos de desempenho cada vez mais limitados. Este estudo tem por objetivo realizar a análise de desempenho de um codificador de vídeo, baseado em uma arquitetura de aprendizado profundo conhecida como autoencoder variacional, o qual é composto de duas redes: uma intra-quadros e outra inter-quadros. Essas redes, embora dependentes, são treinadas de forma separada. Para a definição dos parâmetros a serem utilizados nos treinamentos dos modelos finais do codificador, primeiramente são realizados treinamentos testes das redes. Nos treinamentos testes da rede intra-quadros, foram realizados três grupos de treinamentos: (i) treinamento para gerar modelos a serem utilizados no treinamento teste da rede inter-quadros, (ii) treinamento com diferentes quantidades de filtros para se definir o número de filtros para os treinamentos finais, e (iii) treinamento com bases de dados diferentes para definir qual base será utilizada no treinamento final da rede intra-quadros e seus valores para o multiplicador Lagrangiano da função objetivo, conhecido como lambda. Em (ii) foram definidos 256 filtros para o treinamento final das redes e em (iii) foi definida a utilização de um banco de dados com imagens em formato .png (Portable Network Graphics) e dois valores de lambda, 10−2 e 10−3 . O treinamento teste da rede inter-quadros utilizou os modelos do treinamento teste (i) da rede intra-quadros e gerou modelos com diferentes combinações entre parâmetros lambda intra e inter. Analisando o comportamento dos modelos obtidos, foram definidos três valores de lambda para os modelos inter finais: 5 · 10−3 , 10−3 e 5 · 10−4 . Dessa forma, foram gerados seis modelos, com as combinações possíveis entre os lambdas intra e inter-quadros. Todos os treinamentos inter-quadros utilizaram o UGC Dataset. Com os modelos finais obtidos, foram realizadas compressões de sequências de vídeo do banco de dados JVET. Com isso, foram calculadas métricas PSNR, SSIM e MS-SSIM para o canal de luminância dos resultados obtidos. As mesmas métricas foram obtidas para compressões realizadas pelos codificadores tradicionais HEVC e VVC. Com métricas tanto para o codificador de vídeo neural quanto para os codificadores tradicionais, foi realizada a comparação de desempenho entre esses codificadores. Com as análises realizadas, concluiu-se que o desempenho do codificador de vídeo analisado neste estudo é comparável ao modo de configuração All Intra dos codificadores tradicionais HEVC e VVC, principalmente ao se considerar a métrica MS-SSIM