Oggi vi presentiamo D-WOK, una realtà innovativa che opera nell’ambito dell’Entertainment Design – concetto di integrazione poco presente in Italia – in grado di seguire creatività, progettazione, regia, movimentazione, sviluppo contenuti e innovazione tecnologica per il mondo dello spettacolo. All’interno del portfolio di D-WOK troviamo video design, ologrammi, produzioni 3D, visual effects, videomapping e molte altre realizzazioni multimediali in ambito teatrale e operistico, cinematografico, live, eventi corporate, installazioni architetturali, televisive e videoclip.
Ed è proprio in occasione del recente videoclip “CIAO” di Cesare Cremonini che D-WOK ha sperimentato per la prima volta in Italia un vero e proprio virtual set in real-time. Una modalità totalmente innovativa e un nuovo approccio nella realizzazione di set virtuali in cui è possibile visionare in diretta il risultato finale, riducendo notevolmente il lavoro di post-produzione. Con questa modalità il regista Paolo Gep Cucco (direttore creativo di D-WOK), ha potuto dirigere i movimenti della macchina da presa sul set vedendo tutto ciò che succedeva intorno a Cesare, e potendo modificare la scena 3D in tempo reale. Cuore della produzione è stato il software creato dal VFX supervisor Nicola Di Meo, che permetteva di cambiare in tempo reale la velocità di rotazione della terra, il movimento delle nuvole, la densità dell’atmosfera, la posizione del sole e della luna, così come colori, materiali, movimenti, riflessi, forme e interazioni delle stazioni orbitanti.
Abbiamo raggiunto proprio Paolo Gep Cucco per farci raccontare nel dettaglio questa particolare produzione e analizzare i potenziali sviluppi di questa innovazione in ambiti live ed eventi.
ZioGiorgio.it: in un momento difficile come questo è fondamentale reinventarsi. Vuoi raccontarci il recente sviluppo del progetto D-WOK?
Paolo Gep Cucco: a causa della crisi dei mercati in cui lavoriamo di solito, di recente ci siamo focalizzati verso il mondo del cinema, della post produzione ed effetti speciali. Abbiamo cominciato a capire cosa c’era di nuovo ed interessante nel mondo e la cosa più innovativa che abbiamo visto è stata quella dei virtual set con contenuti 3D di altissima qualità.
L’idea è nata prendendo spunto da Star Wars: The Mandalorian, in cui era presente un set formato da soli LEDwall che cambiava e reagiva in base al movimento della camera. Abbiamo così deciso di investire sul sistema per dare vita ad una versione tutta italiana, con un software fatto su misura e che avesse determinate caratteristiche. Ci interessava spingere molto più avanti la qualità del 3D real time rispetto ai sistemi visti sul mercato. I virtual set solitamente utilizzano mediaserver e sistemi che rispetto al motore Unreal, che è quello che stiamo utilizzando, sono molto inferiori dal punto di vista qualitativo. Per questo motivo abbiamo sviluppato un software e realizzato una interfaccia in grado di capire quale è l’ottica della camera in uso, simularla, interagire con il movimento fisico del braccio tramite un sensore che individua dove si trova nello spazio, con la possibilità di modificare in tempo reale tutta la scena che si sta riprendendo
ZioGiorgio.it: e con questa idea siete approdati al videoclip di Cremonini. Com’è nata questa collaborazione?
Paolo Gep Cucco: abbiamo iniziato a collaborare con Cesare per il tour negli stadi del 2018 ed è stata un’esperienza incredibile. Cesare voleva qualcosa di originale, nuovo e diverso dal solito e vista la nostra esperienza nella realizzazione di contenuti sia per l’opera lirica che per il teatro e il live, abbiamo accolto la sfida portando inizialmente un’idea totalmente opposta a ciò che le altre agenzie proponevano. Abbiamo ricostruito le barre LED 3D presenti sulla scena in plexi ed in scala ridotta, e le abbiamo riempite di acqua ed elementi materici. Abbiamo girato il tutto ed effettivamente l’effetto del live è stato fantastico perché il movimento delle barre LED e il modo in cui abbiamo ricostruito i contenuti rendeva il tutto molto realistico ed originale.
Per il nuovo tour che sarebbe dovuto partire a giugno di quest’anno volevamo fare un altro passo avanti utilizzando la grafica 3D real-time con Cesare. La scenografia e gli effetti del tour negli stadi di Cremonini sarebbero stati estremamente innovativi, con sensori che avrebbero reso dinamica la grafica 3D in real-time su una superficie LED enorme, ma il tutto è stato bloccato dalla pandemia.
Abbiamo deciso di proporre quindi a Cesare la realizzazione di un video live da regalare ai fan, realizzato in ambiente 3D interattivo. Lui ha invece rilanciato chiedendoci di realizzare il nuovo videoclip “CIAO”, ambientato nello spazio.
ZioGiorgio.it: vuoi raccontarci nel dettaglio come è stato organizzato il set?
Paolo Gep Cucco: erano molte le sfide da affrontare, a partire dalla grafica, dal fatto che l’artista doveva essere appeso, dalla la tuta spaziale a cui dovevamo inserire in post la visiera, l’ambientazione fantascientifica e molto altro.
Le riprese sono state realizzate in un unico piano sequenza, con un Jimmy Jib posizionato su un carrello su cui era montata la camera BlackMagic 6K dotata di sensore di movimento. Il sensore scelto è quello presente negli occhiali per la realtà aumentata, posizionato direttamente sulla telecamera. La camera partiva ruotando su se stessa, cominciando ad allontanarsi dal soggetto ed eseguendo una serie di movimenti molto complessi nello spazio, mentre io dirigevo il tutto osservando sullo schermo quello che succedeva intorno a Cesare. I movimenti di camera erano tutti live e fatti guardando la scena in tempo reale e decidendo cosa andare ad inquadrare e come muoversi.
Nicola di Meo con la nostra squadra ha realizzato tutta la parte di programmazione software di Unreal, e si è occupato della supervisione e della realizzazione di tutto il sistema che controllava direttamente sul set. Tracking delle camere, movimento degli asteroidi, movimento delle stazioni orbitanti, esplosioni, spostamento della camera quando entravano gli asteroidi erano tutti gestiti da Nicola in tempo reale in base a quello che ci piaceva o meno.
Il software fa vedere la versione semplificata del 3D sul quale è possibile dare determinati attributi all’oggetto come rotazione ad una determinata velocità, spostamento fisico da un punto all’altro e molto altro. Per quanto riguarda la Terra, potevamo decidere movimento, la velocità di rotazione, posizione, come risultava la luce rispetto alla curvatura dell’atmosfera e densità delle nuvole.
Angelo Stramaglia, direttore della fotografia, ha gestito invece la posizione della luce sulla scena, sulla base della posizione del sole all’interno del 3D. Tutto questo ha consentito una capacità del controllo della scena incredibile.
ZioGiorgio.it: quindi un approccio completamente differente visto che seguivi la scena da uno schermo e non osservando direttamente il set.
Paolo Gep Cucco: esatto. Dal punto di vista del girato cambia completamente la prospettiva, in quanto il lavoro viene fatto sul set dal vivo e direttamente in un ambiente digitale, inoltre riducendo di parecchio il lavoro di post produzione. Cambia totalmente il modo in cui fai il video, tutto diventa super realistico, e sei in una scena dove vedi tutto compositato e puoi decidere se ti piace o no e correggere i movimenti di Cesare in base a quello che succede intorno.
ZioGiorgio.it: sviluppi futuri di questo sistema?
Paolo Gep Cucco: da una parte stiamo pensando di creare in Puglia il primo virtual set italiano stabile in collaborazione con Apulia Film Commission. Dall’altra stiamo capendo altri modi di utilizzo, come un realtime di un personaggio animato in una fiction per bambini in collaborazione con RAI, o di utilizzarlo come sistema per il prossimo tour di Cremonini negli stadi. Immagina cosa può fare una scena interattiva che cambia in base ai movimenti sul palco dell’artista!
Inoltre a fine novembre, in occasione di un concerto benefico, sperimenteremo il controllo dalla console di tutte le colorimetrie del video. Quando ad esempio le luci lavorano su una ambientazione viola, faremo in modo che cambino in tempo reale colori, movimenti ed effetti virtuali all’interno della scenografia. E’ un idea nata intorno al mondo del video e del cinema, ma sfruttabile nel live, nel teatro e nelle installazioni.
ZioGiorgio.it: tornando al videoclip di Cremonini, puoi darci una indicazione delle tempistiche per realizzare il tutto?
Paolo Gep Cucco: considera 3 mesi per lo sviluppo dell’interfaccia e del software, 10 giorni di pre-produzione per testare i sensori e il funzionamento del sistema, un periodo dedicato alle riprese e 10 giorni di post-produzione, dedicati maggiormente alla gestione dei riflessi sulla visiera del casco, aggiunta in un secondo momento.
Insomma, un modo nuovo di gestire i virtual set e gli eventi live grazie all’impiego di Unreal, sistema utilizzato in gran parte per la realizzazione dei videogame, e che rappresenta un grande vantaggio espressivo e tecnologico, in quanto permette agli attori ed ai registi di vedere subito gli effetti speciali senza dover aspettare i tempi della post-produzione. Da qui assisteremo ad una nuova generazione di video, eventi, film e installazioni, che potranno creare mondi 3D controllabili dalla creatività e dalla tecnologia in tempo reale e sempre più simili al vero.
Vi lasciamo infine con i credit relativi alla produzione del videoclip “CIAO” di Cesare Cremonini.
Prodotto da Inside Man per Universal Music/Virgin Records Italy
Riprese: Black Magic 6K su Jimmy Jib con sensori di movimento
Tecnologia: virtual set real-time interattivo con la macchina da presa
Soggetto: Cesare Cremonini e Giorgio Squarcia
Sceneggiatura e regia: Paolo Gep Cucco
VFX supervisore e virtual set: Nicola Di Meo
Dop: Angelo Stramaglia
Costumi: Tommaso Lagattolla
Produzione esecutiva D-WOK: Lisa Baudino
Info: d-wok.it
