La startup di intelligenza artificiale Runway ha lanciato la sua prima app mobile su iOS, consentendo alle persone di utilizzare il modello di intelligenza artificiale generativa da video a video dell’azienda, Gen-1, direttamente dai loro telefoni.
Gen-1 ti consente di trasformare un video esistente in base a un testo, un’immagine o un input video. Funzionalmente, funziona in modo molto simile a uno strumento di trasferimento di stile (sebbene, a differenza del trasferimento di stile, genera video completamente nuovi come output anziché applicare filtri). Puoi caricare un video di qualcuno che va in bicicletta nel parco, ad esempio, e applicare un’estetica o un tema. Puoi dare al video l’aspetto di un dipinto ad acquerello o di uno schizzo a carboncino e così via.
Naturalmente, poiché si tratta di un’intelligenza artificiale generativa, l’output è spesso… strano. Se aggiungi un effetto claymation, ad esempio, i tuoi modelli risultanti non funzioneranno come vero argilla. I modelli si deformeranno tra ogni fotogramma; gli arti cresceranno e si restringeranno; le caratteristiche si scioglieranno e si sbavaranno. Questo è tutto da aspettarsi, però, e non toglie nulla al divertimento.
Qui, per esempio, ci sono tre diverse interpretazioni di an clip iconica di Al Pacino a Calore (1995). La cosa più notevole per me è la clip in basso a destra, che utilizza una foto che ho scattato a un gatto come intermediario. Senza che io lo specifichi, il modello ha applicato la faccia del gatto a quella di Pacino e ha persino dato alle sue mani un po’ di pelo lasciando più o meno intatto il suo abito. Gli altri due clip nella riga superiore sono filtri preimpostati.
Ecco un altro esempio: un video della Cattedrale di St. Paul a Londra con il filtro “carta e inchiostro” applicato. Non è un effetto strabiliante, ma è stato incredibilmente facile da realizzare. E nelle mani di un individuo più esperto e creativo, sono sicuro che potrebbe essere spettacolare.
Sto testando l’app di Runway da alcuni giorni e sicuramente rende l’intero processo di creazione di questo tipo di video molto più fluido. (La suite software principale di Runway è disponibile sul Web, il che rende più ampia la distanza tra l’acquisizione di filmati e la loro generazione.) Ovviamente non è un’esperienza senza soluzione di continuità. Ci sono le solite inefficienze ed errori imprevisti che ti aspetteresti di trovare nella prima versione di un’app. Ma, come ha detto il CEO di Runway Cristóbal Valenzuela Il limiterendere questi strumenti mobili è la cosa importante.
“Ecco perché il telefono ha così tanto senso perché stai registrando direttamente dal tuo dispositivo, e poi dici a Gen-1 come trasformare quel video”, ha detto Valenzuela.
Ci sono altre limitazioni degne di nota. Non puoi lavorare con filmati più lunghi di cinque secondi e ci sono alcuni prompt vietati. Non puoi generare nudità, ad esempio, e sembra che anche il lavoro protetto da copyright sia vietato. La mia richiesta di creare un video “nello stile di un film dello Studio Ghibli” è stata respinta. La creazione di ogni video richiede anche dai due ai tre minuti, il che non sembra molto ma sembra un’età nell’era dell’editing mobile istantaneo. L’elaborazione viene eseguita nel cloud e probabilmente accelererà nel tempo. L’app attualmente supporta solo il modello Gen-1 di Runway, ma Valenzuela afferma che presto verrà aggiunto il Gen-2 puramente generativo.
Ciò che queste note non catturano completamente, tuttavia, è l’enorme senso di possibilità di strumenti come questo. Anche l’output dei modelli AI text-to-image è iniziato come confuso e irrealistico. Ora vengono usati per ingannare il pubblico con immagini del papa stravaganti.
Valenzuela ce l’ha rispetto l’attuale era dell’IA generativa al “giocattoli ottici” fase del XIX secolo, quando scienziati e inventori stavano creando un’intera gamma di dispositivi banali nelle loro capacità ma anche antenati delle moderne fotocamere. L’app mobile di Runway sembra uno di questi giocattoli. Non riesco a immaginare che venga utilizzato per lavori di produzione professionale, ma non riesco nemmeno a immaginare quale effetto avranno strumenti come questo in futuro.