Point Clouds Quality Assessment : exploring the power of learning-based techniques with a perceptual-driven heuristic

Abstract

Os avanços na manipulação de conteúdo 3D permitiram novas possibilidades de utilização dessas tecnologias. As aplicações variam de realidade virtual a direção autônoma e escanea mento de comunidades como a Rocinha, essas duas últimas se beneficiando do uso de tecnologia LiDAR. A estrutura de dados padrão de facto para esse tipo de problema é a Point Cloud (PC - Nuvem de Pontos). Uma PC é uma estrutura de dados composta de pontos espalhados pelo espaço cartesiano tridimensional que podem apresentar diferentes atributos, como intensidade de luz e cor, além das suas coordenadas. Essa estrutura de dados permite mapear, entre outras coisas, distâncias, alturas, volumes, o que a torna bastante útil para estudo de relevos e outras estruturas físicas. A aplicação de PCs vem ganhando tração em anos recentes, e com isso vem a necessidade de transmitir, ler, renderizar, utilizar e, portanto, comprimir. Para que técnicas de compressão sejam verdadeiramente impactantes e efetivas, é crucial avaliar a qualidade dos dados resultantes. Por consequência, o campo de Avaliação de Qua lidade de Point Clouds (PCQA) tem recebido mais atenção recentemente, e novas técnicas e heurísticas têm sido exploradas para tentar construir uma metodologia objetiva para avaliação de qualidade que correlacione bem com a qualidade percebida por seres humanos. As abor dagens usuais para PCQA são relacionadas a cor e geometria, e novas técnicas baseadas em projeções foram desenvolvidas para aproveitar métricas robustas de Avaliação de Qualidade de Imagens (IQA) já existentes, com o padrão de Compressão de Point Clouds baseada em Vídeo (V-PCC) estabelecido pelo MPEG se aproveitando dessa abordagem. Neste trabalho exploramos o poder de Redes Neurais e Aprendizagem de Máquina para criar uma heurística movida por percepção, referência-completa, para PCQA. Primeiro geramos projeções 2D, as quais são imagens regulares, a partir de PCs. Então, passamos essas imagens pela métrica de IQA DISTS movida por textura desenvolvida por Meynet et al., combinamos as pontuações geradas em um vetor e finalmente utilizamos isso para alimentar um regressor que irá predizer a pontuação de qualidade final. Nós mostramos que nosso modelo é competitivo com métricas estado-da-arte, e sugerimos trabalhos futuros e melhorias que podem ser feitos para explorar adiante a heurística e aprimorar sua desempenho. Consequentemente, demonstramos o poder de técnicas de projeção concomitantes com avaliação de textura ao gerar uma pontuação que correlaciona bem com a dada por humanos.