Viaggio nel metaverso musicale
精东影业 Image Focus
La produzione e il consumo musicale si sono sempre evoluti di pari passo con lo sviluppo tecnologico. Dai vinili alle piattaforme streaming, abbiamo assistito all鈥檃scesa e alla caduta di supporti come audiocassette, mini-disc, compact disc. Oggi, alcune tecnologie promettono esperienze di produzione e ascolto sempre pi霉 immersive e multisensoriali. Tra queste c鈥櫭� il metaverso musicale, attorno al quale ruota il progetto MUSMET, finanziato dal programma EIC Pathfinder di Horizon Europe e dalla Segreteria di Stato per la formazione, la ricerca e l'innovazione (SEFRI), condotto da un consorzio di 15 partner, tra i quali l'Istituto sistemi informativi e networking (ISIN) del Dipartimento tecnologie innovative.
Per alcuni la definizione di 鈥渕etaverso鈥� 猫 abbastanza chiara: un mondo virtuale dove le persone possono interagire tra loro e con ambienti digitali. Tuttavia, per gli esperti del settore il concetto di metaverso musicale 猫 ancora in evoluzione e si sviluppa rapidamente. Sempre pi霉 spesso, emerge come un luogo dove produrre e ascoltare musica e questo progetto ha l'obiettivo di gettare le basi di una tecnologia in grado di offrire sistemi e servizi innovativi, rivolti sia ai musicisti che al pubblico.
All'ISIN, MUSMET 猫 seguito dal ricercatore senior Omran Ayoub che tiene subito a precisare come sia un progetto 鈥渦se case鈥�, 鈥渙ssia va oltre il suo settore specifico. Se nel contesto del metaverso musicale 猫 possibile ricreare un ambiente multisensoriale performante, tra i pi霉 precisi e complessi, allora ci aspettiamo di potere applicare anche in altri ambiti la tecnologia sviluppata鈥�.
鈥嬧赌嬧赌嬧赌嬧赌嬧赌嬧赌婭l ricercatore ci illustra alcuni scenari per spiegare meglio di cosa si tratta: 鈥渋mmaginiamo tre membri di una band che si trovano in tre citt脿 diverse - Ginevra, Berlino e New York. Con l'adeguato equipaggiamento hardware e software possono incontrarsi nel metaverso e fare le prove per il loro prossimo concerto. Potrebbero farlo in due modi: utilizzando strumenti puramente virtuali (cio猫 che esistono solo nella realt脿 virtuale) come chitarre, bassi e batterie digitali che riproducono fedelmente i suoni degli strumenti reali. Oppure suonando strumenti reali collegati a un sistema di trasformazione dei segnali per convertire i suoni in dati e trasmetterli nello spazio virtuale condiviso. Ma si pu貌 andare oltre e pensare a un pubblico immerso nel metaverso per assistere a un concerto preregistrato di un artista, o partecipare a una performance live di una band, che a sua volta potrebbe esibirsi con strumenti virtuali o reali鈥�.
All'ISIN, MUSMET 猫 seguito dal ricercatore senior Omran Ayoub che tiene subito a precisare come sia un progetto 鈥渦se case鈥�, 鈥渙ssia va oltre il suo settore specifico. Se nel contesto del metaverso musicale 猫 possibile ricreare un ambiente multisensoriale performante, tra i pi霉 precisi e complessi, allora ci aspettiamo di potere applicare anche in altri ambiti la tecnologia sviluppata鈥�.
鈥嬧赌嬧赌嬧赌嬧赌嬧赌嬧赌婭l ricercatore ci illustra alcuni scenari per spiegare meglio di cosa si tratta: 鈥渋mmaginiamo tre membri di una band che si trovano in tre citt脿 diverse - Ginevra, Berlino e New York. Con l'adeguato equipaggiamento hardware e software possono incontrarsi nel metaverso e fare le prove per il loro prossimo concerto. Potrebbero farlo in due modi: utilizzando strumenti puramente virtuali (cio猫 che esistono solo nella realt脿 virtuale) come chitarre, bassi e batterie digitali che riproducono fedelmente i suoni degli strumenti reali. Oppure suonando strumenti reali collegati a un sistema di trasformazione dei segnali per convertire i suoni in dati e trasmetterli nello spazio virtuale condiviso. Ma si pu貌 andare oltre e pensare a un pubblico immerso nel metaverso per assistere a un concerto preregistrato di un artista, o partecipare a una performance live di una band, che a sua volta potrebbe esibirsi con strumenti virtuali o reali鈥�.
L鈥檕rdine degli scenari sopra elencati non 猫 casuale, si basa su gradi di interazione e complessit脿 tecnologica crescenti, con un incremento della quantit脿 e della tipologia di dati da trasferire. Qui entra in gioco un concetto fondamentale: la latenza. Affinch茅 l鈥檈sperienza nel metaverso musicale sia davvero realistica, 猫 necessario che tutti percepiscano i segnali nello stesso istante, suoni e azioni devono risultare sincronizzati. Ridurre questo ritardo al minimo, ovvero il tempo che impiega un segnale a viaggiare da un punto all'altro in una rete, 猫 fondamentale affinch茅 tutto avvenga nel tempo reale.
鈥淚mmaginiamo di trovarci tra gli spettatori mentre il cantante incita il pubblico con un 鈥淗ands up! Se le persone alzano le mani in momenti diversi a causa del ritardo nella trasmissione dei dati, l鈥檈sperienza risulter脿 poco coinvolgente. Affinch茅 il metaverso musicale funzioni davvero, 猫 essenziale che tutte le persone connesse reagiscano agli stimoli nello stesso istante, proprio come nella realt脿. Questo richiede un鈥檌nfrastruttura di rete in grado di garantire una latenza estremamente bassa, una soglia che stiamo cercando di definire e rappresenta a tutti gli effetti una 鈥渞esearch question鈥�, e che pu貌 essere riportata nell鈥檕rdine dei 30 millisecondi.鈥�
All鈥檌nterno del progetto, l鈥橧SIN coordina il work package 鈥淓xperimental Evaluation鈥�, e in questo ambito, assieme ai partner del consorzio, condurr脿 una serie di esperimenti con musicisti e audience reali per testare i tempi di razione degli utenti nel metaverso.
Dotarsi di una infrastruttura di rete efficiente 猫 una condizione necessaria perch茅 le trasmissioni di dati garantiscano la sincronicit脿 delle azioni, 猫 quello che gli esperti definiscono una 鈥淣etwork Slice鈥�. Possiamo immaginarla come un鈥檌nfrastruttura di rete progettata per instradare i dati secondo la loro tipologia, ne prevede i picchi di flusso secondo il bisogno, sfruttando i canali disponibili e garantendo sicurezza, velocit脿 e stabilit脿 all鈥檌ntero sistema.
鈥嬧赌嬧赌嬧赌嬧赌嬧赌嬧赌�
鈥淚l nostro compito all鈥檌nterno del progetto 猫 anche quello di sviluppare algoritmi di machine learning per creare modelli di rete che prevedano quali e quanti dati 猫 necessario instradare a seconda degli scenari. Questo serve per garantire un鈥檈sperienza fluida e un adeguato flusso di dati al momento della connessione degli utenti a un evento. Quella del metaverso musicale 猫 una rete multimodale, in cui coesistono diverse tipologie di dati: audio e video, ma anche fisiologici. Avvicinandoci al batterista, dovremmo percepire fisicamente i colpi dei rullanti nel petto grazie a gilet sensoriali forniti da uno dei partner del progetto. Ottimizzare questi dispositivi richiede un co-design mirato, che tenga conto della latenza, dei processi di trasmissione e della gestione dei dati. Ma entrano in gioco numerosi altri fattori che aiutano a percepire come reale l鈥檈sperienza, ad esempio l鈥檃udio spaziale che permette di sentire suoni provenienti da diverse direzioni, come il chiacchiericcio del pubblico o qualcuno che ci chiama da dietro鈥�.
鈥淚mmaginiamo di trovarci tra gli spettatori mentre il cantante incita il pubblico con un 鈥淗ands up! Se le persone alzano le mani in momenti diversi a causa del ritardo nella trasmissione dei dati, l鈥檈sperienza risulter脿 poco coinvolgente. Affinch茅 il metaverso musicale funzioni davvero, 猫 essenziale che tutte le persone connesse reagiscano agli stimoli nello stesso istante, proprio come nella realt脿. Questo richiede un鈥檌nfrastruttura di rete in grado di garantire una latenza estremamente bassa, una soglia che stiamo cercando di definire e rappresenta a tutti gli effetti una 鈥渞esearch question鈥�, e che pu貌 essere riportata nell鈥檕rdine dei 30 millisecondi.鈥�
All鈥檌nterno del progetto, l鈥橧SIN coordina il work package 鈥淓xperimental Evaluation鈥�, e in questo ambito, assieme ai partner del consorzio, condurr脿 una serie di esperimenti con musicisti e audience reali per testare i tempi di razione degli utenti nel metaverso.
Dotarsi di una infrastruttura di rete efficiente 猫 una condizione necessaria perch茅 le trasmissioni di dati garantiscano la sincronicit脿 delle azioni, 猫 quello che gli esperti definiscono una 鈥淣etwork Slice鈥�. Possiamo immaginarla come un鈥檌nfrastruttura di rete progettata per instradare i dati secondo la loro tipologia, ne prevede i picchi di flusso secondo il bisogno, sfruttando i canali disponibili e garantendo sicurezza, velocit脿 e stabilit脿 all鈥檌ntero sistema.
鈥嬧赌嬧赌嬧赌嬧赌嬧赌嬧赌�
鈥淚l nostro compito all鈥檌nterno del progetto 猫 anche quello di sviluppare algoritmi di machine learning per creare modelli di rete che prevedano quali e quanti dati 猫 necessario instradare a seconda degli scenari. Questo serve per garantire un鈥檈sperienza fluida e un adeguato flusso di dati al momento della connessione degli utenti a un evento. Quella del metaverso musicale 猫 una rete multimodale, in cui coesistono diverse tipologie di dati: audio e video, ma anche fisiologici. Avvicinandoci al batterista, dovremmo percepire fisicamente i colpi dei rullanti nel petto grazie a gilet sensoriali forniti da uno dei partner del progetto. Ottimizzare questi dispositivi richiede un co-design mirato, che tenga conto della latenza, dei processi di trasmissione e della gestione dei dati. Ma entrano in gioco numerosi altri fattori che aiutano a percepire come reale l鈥檈sperienza, ad esempio l鈥檃udio spaziale che permette di sentire suoni provenienti da diverse direzioni, come il chiacchiericcio del pubblico o qualcuno che ci chiama da dietro鈥�.
精东影业 Image Focus
Assieme all'ISIN, le istituzioni accademiche del consorzio includono il KTH Royal Institute of Technology, il Politecnico di Torino e l'Universit脿 di Trento, da dove il Professor Luca Turchet coordina MUSMET. 脠 proprio Turchet a svelarci che la grande sfida del progetto 猫 gettare le basi per un cambiamento di paradigma nel modo in cui la musica viene eseguita e vissuta: 鈥淚l nostro obiettivo 猫 sperimentare e divertirci con la musica in questi ambienti multisensoriali. Grazie a questi nuovi spazi immersivi, possiamo immaginare e creare esperienze senza precedenti, sfruttando le loro potenzialit脿 per dare vita a forme artistiche innovative. Con un pizzico di fantasia, possiamo generare emozioni intense, non solo per il pubblico, ma anche per i musicisti stessi. L鈥檕biettivo 猫 sviluppare nuovi tipi di musica e formati artistici che possano esistere esclusivamente in questi ambienti, aprendo scenari inediti per la creativit脿 e l'espressione musicale鈥�.
Nonostante il progetto sia attivo solo da un mese il lavoro 猫 gi脿 nel pieno della sperimentazione: 鈥淐ome dimostra un video registrato per l鈥檕ccasione, abbiamo realizzato un concerto sperimentale nel nostro laboratorio. Sono stati connessi strumenti musicali tradizionali, tra i quali batteria, tastiera e chitarra elettrica, potenziati con tecnologie di intelligenza artificiale, e i visori di realt脿 mista indossati dagli spettatori. Oltre alla componente visiva, abbiamo integrato dispositivi tattili, come gilet dotati di attuatori, per offrire un鈥檈sperienza multisensoriale coinvolgente, che combina udito, vista e tatto in un鈥檌mmersione completa鈥�.
鈥嬧赌嬧赌嬧赌嬧赌嬧赌嬧赌�
"Il progetto 猫 senza dubbio molto ambizioso, ma la storia ci insegna che i musicisti, soprattutto i compositori, sono spesso stati pionieri dell鈥檌nnovazione e di nuove idee artistiche, anche quando inizialmente non venivano comprese o apprezzate 鈥� riflette il docente e conclude - questo sta accadendo con l鈥檌ntelligenza artificiale e sono sicuro accadr脿 anche con il metaverso musicale. 脠 solo questione di tempo. Tuttavia, gli effetti di tali sistemi sulle persone coinvolte in attivit脿 musicali non sono ancora noti, ed 猫 di fondamentale importanza adottare una progettazione basata su solidi principi etici in modo che l鈥檌mpatto sulla societ脿 sia effettivamente positivo".
Nonostante il progetto sia attivo solo da un mese il lavoro 猫 gi脿 nel pieno della sperimentazione: 鈥淐ome dimostra un video registrato per l鈥檕ccasione, abbiamo realizzato un concerto sperimentale nel nostro laboratorio. Sono stati connessi strumenti musicali tradizionali, tra i quali batteria, tastiera e chitarra elettrica, potenziati con tecnologie di intelligenza artificiale, e i visori di realt脿 mista indossati dagli spettatori. Oltre alla componente visiva, abbiamo integrato dispositivi tattili, come gilet dotati di attuatori, per offrire un鈥檈sperienza multisensoriale coinvolgente, che combina udito, vista e tatto in un鈥檌mmersione completa鈥�.
鈥嬧赌嬧赌嬧赌嬧赌嬧赌嬧赌�
"Il progetto 猫 senza dubbio molto ambizioso, ma la storia ci insegna che i musicisti, soprattutto i compositori, sono spesso stati pionieri dell鈥檌nnovazione e di nuove idee artistiche, anche quando inizialmente non venivano comprese o apprezzate 鈥� riflette il docente e conclude - questo sta accadendo con l鈥檌ntelligenza artificiale e sono sicuro accadr脿 anche con il metaverso musicale. 脠 solo questione di tempo. Tuttavia, gli effetti di tali sistemi sulle persone coinvolte in attivit脿 musicali non sono ancora noti, ed 猫 di fondamentale importanza adottare una progettazione basata su solidi principi etici in modo che l鈥檌mpatto sulla societ脿 sia effettivamente positivo".