Youtube spiega come sta migliorando i video VR 360

YouTube ha annunciato che sta collaborando con il team dietro lo sviluppo della piattaforma Daydream VR di Google per rendere disponibili su Youtube contenuti VR più coinvolgenti. Secondo YouTube, una corrispondente acuità visiva umana è la chiave per produrre realistici 360 gradi video VR. 

In YouTube, un team di ingegneri è concentrato su come "rendere disponibili esperienze coinvolgenti e interattive che solo la realtà virtuale puo’ essere in grado di fornire, rendendo il video digitale coinvolgenti" si legge nel blog di Youtube. Nel mese di marzo 2015, Youtube ha introdotto il supporto per i video a 360 gradi a breve seguito dal supporto per i video VR (3D 360). Nel 2016 è arrivato il supporto per i video 360 in live streaming e con audio spaziale ed è stata lanciata l’app YouTube VR dedicata alla scoperta di video 360 caricati nella piattaforma di video sharing.

Ora, in uno sforzo congiunto con il team di Daydream VR, Youtube si sta impegnando a mettere a punto nuovi modi per rendere i video 360 e VR guardare ancora più realistici.

I video 360 hanno bisogno di un gran numero di pixel per fotogramma per ottenere una esperienza immersiva coinvolgente. Nello scenario ideale, secondo Youtube, bisognerebbe arrivare a corrispondere l’acutezza visiva umana, che è di 60 pixel per grado di contenuto immersivo. Significa comunque che un sacco di dati devono essere scambiati tra i server di Youtube e i dispositivi finali degli utenti, e oggi ci sono ancora problemi da affrontare come la velocità limitata delle connessioni Internet e le funzionalità dei dispositivi per rendere concreta la visione di Youtube. Un modo per colmare il divario tra queste limitazioni e l’acutezza visiva umana è quello di provare ad utilizzare "migliori metodi di proiezione", secondo Youtube.

Con il termine "proiezione" Youtube intende la mappatura utilizzata per "adattare una visione del mondo a 360 gradi su una superficie di video rettangolare". La mappatura del mondo è un buon esempio di una terra sferica proiettata su un pezzo di carta rettangolare. Una proiezione comunemente usata si chiama "proiezione cilindrica equidistante". La proiezione consiste semplicemente nel considerare le coordinate geografiche della latitudine e della longitudine come delle coordinate cartesiane. A causa delle distorsioni che introduce, questa proiezione ha scarso uso nelle carte nautiche e catastali e trova il suo uso principale nelle carte tematiche.

Inizialmente, Youtube ha scelto la proiezione cilindrica equidistante quando ha introdotto i video 360, perché "è facile da produrre col software di una fotocamera e facile da modificare". Tuttavia, tale metodo di proiezione ha alcuni svantaggi a livello di immagini digitali: ha un’elevata alta qualità ai poli (parte superiore e inferiore dell’immagine) dove le persone non guardano tanto, e concretamente in genere si tratta del cielo sopra e del terrerno sotto che non sono così interessante da guardare; altro problema è la qualità inferiore all’equatore o orizzonte dove ci sono tipicamente contenuti più interessanti da vedere; altro vantaggio consiste nel minor numero di pixel verticali per contenuti 3D.

Inconvenienti di una proiezione equirettangolare (EQ)

I suddetti problemi hanno portato Youtube a ricercare migliori tipi di proiezione per i video a 360 gradi. Per confrontare i diversi tipi di proiezione sono state usate delle "mappe di saturazione" in grado di mostrare la proporzione tra densità di pixel del video e densità di pixel del display sul quale viene mostrato. La codifica dei colori va dal rosso (bassa) ad arancione, giallo, verde e infine blu (alto). Il colore verde indica la densità di pixel ottimale di quasi 1:1. Giallo e arancio indicano insufficiente densità (troppo pochi pixel video rispetto ai pixel disponibili sul display) e blu indica uno spreco di risorse (troppi pixel video rispetto alla quantità di pixel disponibili sul display). La proiezione ideale porterebbe ad avere una mappa di saturazione che è di colore uniforme: alla risoluzione video sufficiente sarebbe uniformemente di colore verde.

Youtube ha studiato cubemaps come potenziale sistema da adottare – la mappatura "a cubo" è un metodo di mappatura di un ambiente che utilizza le sei facce di un cubo come forma di mappatura. L’ambiente viene proiettato su lati di un cubo e memorizzato come sei strutture quadrate o dispiegato in sei regioni di una singola texture. La mappa a cubo è generata da una mappatura di una scena per sei volte da un punto di vista, con le viste definite da una vista troncoconica di 90 gradi che rappresenta ogni faccia del cubo.

Mappa di saturazione di una Proiezione equirettangolare

Mappa di saturazione di una Proiezione Cubemap

Nella mappa di saturazione equirettangolare i poli sono di colore blu, indicando uno spreco di pixel. La zona dell’equatore (l’orizzonte) è arancione, il che indica un numero insufficiente di pixel. Al contrario, con la mappatura "a cubo" molte regioni verdi si possono riscontrare più vicine all’equatore, e le regioni blu inutili ai poli sono sparite del tutto. Tuttavia, i risultati del cubemap mostrano grandi regioni di colore arancione (non buono) all’equatore perché un cubemap campiona più pixel agli angoli rispetto che al centro delle facce.

Mappa di saturazione di una Proiezione Equi-angular Cubemap (EAC)

Youtube ha quindi ottenuto un sostanziale miglioramento con un approccio che ha chiamato Equi-angular Cubemap o EAC. La saturazione della proiezione EAC è significativamente più uniforme rispetto alle due precedenti, migliorando ulteriormente la qualità all’equatore:

Al contrario di una mappatura a cubo tradizionale, che distribuisce pari pixel per distanze uguali sulla superficie del cubo, EAC distribuisce pari pixel a parità di cambiamento angolare.

Ottenuto questo risultato nei test in laboratorio, Youtube ha effettuato dei test ‘su campo’ per vedere se la gente potrebbe capire la differenza. Così ha chiesto alle persone di valutare la qualità di vari video a 360 gradi senza dire loro che tipo di proiezione stessero visualizzando. Le persone hanno generalmente valutato l’EAC come di qualità superiore rispetto ad altre proiezioni.

EQ vs EAC

Youtube ha detto che sta solo iniziando a studiare nuove proiezioni innovative per video 360. Youtube ha lavorato con Equirectangular e Cube Map, e ora EAC. "Pensiamo che un modo standardizzato per rappresentare le proiezioni arbitrarie aiuterà tutti a innovare", quindi ha sviluppato la proiezione indipendente chiamata Mesh.

Alcune fotocamere a 360 gradi non catturano l’intero campo visivo. Ad esempio, esse non possono avere una lente per catturare la parte superiore e inferiore o possono catturare solo una scena di 180 gradi. La proposta di Youtube sostiene queste telecamere e consente di sostituire le porzioni non catturate del campo visivo da una geometria e una immagine statica.

Youtube ha pubblicato il proprio formato su noti portali come GitHub, sperando che il nuovo standard possa diventare un "concordato standard del settore".

La riproduzione di video sferici su Android ora beneficia della proiezione EAC durante uno streaming utilizzando una rete indipendente di proiezione. Youtube converte automaticamente i video caricati con maglia EAC. Lo stesso sarà presto disponibile su IOS e desktop. Il formato consentito nell’upload continua ad essere basato su proiezione Equirectangular come accennato nelle raccomandazioni di upload del servizio.