PEPS d'AMD : réinventer l'encodage positionnel des textures

Pensez à une texture comme à une mélodie. Des coordonnées simples fredonnent un air. Imaginez maintenant réorchestrer cet air le long d'une courbe de Lissajous bouclée pour que la mélodie contienne bien plus d'harmoniques. C'est, en substance, ce que propose le Positional Encoding Projected Sampling (PEPS) d'AMD.

Une nouvelle approche de l'encodage positionnel

La compression de textures neuronales traditionnelle s'appuie sur les représentations neuronales implicites, ou INR. On fournit des coordonnées de texture de faible dimension à un perceptron multicouche (MLP), et le réseau apprend à reconstituer les détails d'image avec une empreinte mémoire réduite. L'encodage positionnel est l'ingrédient secret : il élève les coordonnées dans un espace sinusoïdal de plus haute dimension afin que le MLP puisse modéliser les détails fins.

PEPS redéfinit cette élévation. Plutôt que de traiter chaque encodage sinusoïdal comme un vecteur isolé, l'approche d'AMD cartographie ces encodages sur des points le long de courbes de Lissajous, puis échantillonne l'encodeur ou le réseau à ces points projetés. Le résultat est une variété d'information élargie avec laquelle l'INR peut travailler. Concrètement, le modèle peut représenter un contenu de texture plus riche sans modifier l'architecture du réseau.

La contrepartie, c'est le coût. Plus d'échantillonnage implique davantage de calcul et plus de trafic mémoire. Les expériences d'AMD sur une carte 9070 XT montrent le compromis en chiffres clairs : produire une texture trois canaux de 1024 par 1024 a pris 4,32 millisecondes en référence. Grid-PEPS a porté cela à 5,47 millisecondes. Une variante optimisée appelée Grid-PinkPEPS a réduit la pénalité à 4,86 millisecondes, mais n'a pas surpassé la référence. Ces cycles supplémentaires proviennent des projections additionnelles et des accès mémoire plus lourds requis par PEPS.

Ce surcoût computationnel n'est pas rédhibitoire. C'est un choix d'architecture. Si votre priorité est l'efficacité brute de compression et la réduction du stockage, PEPS offre un nouveau levier. Si votre priorité est le rendu temps réel sensible à la latence, vous préférerez peut-être des encodeurs plus légers, du moins pour l'instant.

Autre angle intéressant : cette astuce n'est pas limitée aux textures couleur. PEPS peut s'appliquer aux champs de distances signées, ou SDF, qui sous-tendent une grande partie de la géométrie moderne et du rendu volumétrique. Les SDF exigent typiquement des réseaux haute résolution qui dévorent la VRAM. Un INR compact et expressif qui préserve la fidélité pourrait réduire significativement la pression mémoire dans des scènes qui nécessiteraient autrement des kilomètres de tampons de textures et de géométrie.

Verrez-vous PEPS dans votre prochain pilote Radeon ? Pas immédiatement. L'article de recherche a été présenté à I3D et met en avant des idées techniques prometteuses, mais l'adoption industrielle suit la recherche à la traîne. Nvidia a déjà publié des outils et des démos autour des flux de travail de textures neuronales, mais aucun titre grand public n'intègre encore une pipeline complète de compression de textures neuronales. Les documents publics d'AMD restent expérimentaux et sans marque ; l'entreprise utilise encore une terminologie générique dans ses publications plutôt qu'un nom destiné aux consommateurs.

Il y a un contexte plus large à garder en tête. L'industrie traverse encore ce que certains appellent la RAMpocalypse. Les cartes graphiques de mi-décennie avec 8 gigaoctets de mémoire restent courantes, donc toute technique qui réduit l'utilisation mémoire sans exigences matérielles drastiques a un attrait pratique. PEPS se situe précisément dans cet espace : une compression plus expressive au prix d'un surcoût de calcul, qui peut constituer un compromis intéressant pour les studios et moteurs capables d'amortir l'impact CPU/GPU.

Au final, PEPS apparaît comme une expérience élégante aux implications pratiques. Elle repousse les limites de l'encodage positionnel, empruntant un peu à la géométrie et au traitement du signal pour offrir plus de marge de manœuvre aux INR. Attendez-vous à davantage d'articles, plus d'optimisations et à des transferts lents et prudents des démonstrations de laboratoire vers les outils et les moteurs. Pour l'instant, PEPS est une étape intrigante sur la route vers des pipelines de contenu plus efficaces, et non une fonctionnalité consommateur achevée.