Inteligenta Artificiala si un clip din 1896 procesat 4K la 60 fps

[FaraUnID]

Cuvinte precum „AI” sau „Reţele Neurale” tot apar în ultimii ani prin discuţiile despre tehnologie, însă de multe ori este greu de demonstrat cât de puternice sunt aceste tehnologii, întrucât multe dintre funcţiile acestora au loc în fundal, unde utilizatorii nu pot vedea exact cât de complexe sunt calculele pe care algoritmii de acest gen le fac. Ce putem vedea însă cu ochiul liber este cât de departe a ajuns procesarea video folosind reţelele neurale.

Una dintre primele înregistrări video, din 1896, realizată de Louis Lumiere, pionier al tehnologiei de cinema a fost procesată folosind o reţea neurală pentru a fi afişată la o rezoluţie 4K la 60 de cadre pe secundă, o fidelitate vizuală care depăşeşte cu mult peste ceea ce era posibil în secolul XIX cu dispozitivele de filmare rudimentare de atunci.

Versiunea Originală:

https://www.youtube.com/watch?v=MT-70ni4Ddo

Rezultatul este impresionant, chiar dacă acţiunea prezentată este una destul de... banală. Practic, Lumiere a filmat un tren care intra în gară şi a urmărit debarcarea pasagerilor şi îmbarcarea celor care aşteptau pe peron. Versiunea originală a clipului este la o rezoluţie mică, neclară, iar mişcarea nu este fluidă, din cauza numărului scăzut de cadre pe secundă a filmului original. Versiunea procesată însă arată de parcă ar putea fi înregistrată pe un telefon în zilele noastre, cu un filtru alb-negru aplicat.

Versiunea 4K 60 FPS:

https://www.youtube.com/watch?v=3RYNThid23g

Desigur, cei care se pricep la procesare video, vor putea vedea anumite elemente nenaturale în acest video. Există câteva artefacte de procesare care apar în jurul obiectelor în mişcare, iar claritatea nu este perfectă în anumite zone ale clipului. De altfel, inclusiv creşterea artificială a framerate-ului adaugă câteva artefacte, similar cu ceea ce face tehnologia de „smoothing” de pe televizoare.

Versiunea colorizată:

https://www.youtube.com/watch?v=EqbOhqXHL7E

Totuşi, astfel de tehnologii ar putea fi folosite pentru a prezerva materiale video vechi şi pentru a le afişa în formate şi rezoluţii care să arate bine şi pe display-urile moderne. Procesarea a fost realizată de Denis Shiryaev, un utilizator de reddit, care a publicat clipul pe canalul său de YouTube cu doar 1.000 de subscriberi.

Pentru rezultatul final a folosit algoritmul Gigapixel AI de la Topaz Labs https://topazlabs.com/gigapixel-ai/, care a ridicat rezoluţia clipului original la 4K şi apoi a folosit Dain https://sites.google.com/view/wenbobao/dain pentru a creşte framerate-ul prin interpolare de cadre. Există acum şi o versiune colorizată, folosind tot AI cu algoritmul DeOldify https://github.com/jantic/DeOldify . Acest rezultat nu este la fel de clar, iar culorile variază foarte mult, de parcă rola de film folosită ar fi deteriorată. Totuşi, pentru o soluţie automatizată, calitatea este impresionantă.

Sursa 1 - https://www.go4it.ro/clipuri-virale/unde-a-ajuns-tehnologia-un-film-din-secolul-19-a-fost-imbunatatit-la-rezolutie-4k-60-fps-folosind-algoritmi-ai.-video-18794855/

Sursa 2 - https://gizmodo.com/neural-networks-upscale-film-from-1896-to-4k-make-it-l-1841449875

[Jay]

Super tare.. asta este un exemplu pozitiv de ce poti face cu tehnologia.. daca te pasioneaza, poti realiza lucruri foarte frumoase..

[#3]

Waw!! Arata foarte tare. Da, nu e perfect. Si, din anumite puncte de vedere, ai zice ca versiunea originala e mai interesanta, tocmai pentru care are acele chestii care o fac atat de mult "film", dar OMG, este impresionanta diferenta, intr-adevar. :)) Mersi frumos. 🙂

[TheSpecialist]

Am mai citit despre treaba asta, într-adevăr e un lucru super tare. S-a folosit aceasi tehnologie pentru recuperarea unor pelicule cu Hitler care au fost afectate de incendiu și rezultatele sunt spectaculoase. Dacă s-ar putea compensa efectul de smoothing și starea aceea de repeat a cadrelor, clipurile ar avea un flow incredibil. Spectaculos și asa, oricum!

[Vio73]

Da, chiar au reușit destul de bine pentru anul din care este clipul!

[Anonim]

Foarte interesant. Mulțumim pentru că ne-ai arătat așa ceva. Mi-ar plăcea să văd scene istorice (de exemplu: bătăliile din războaiele mondiale, etc.) în culori.

[FaraUnID]

Dupa clipul „Sosirea unui tren în gară”, din 1895, inteligenta artificiala "recidiveaza" si ne ofera acum o filmare uluitoare cu New York-ul anilor 1911 restaurată color cu ajutorul inteligenţei artificiale la rezolutie 4K si 60 cadrde pe secunda. Clipul „A Trip Through New York City” a fost prelucrat astfel încât să pară realizat cu aparatură de ultimă generaţie.

Titlul clipului video, publicat pe platforma online YouTube, este „O călătorie prin oraşul New York/ A Trip Through New York City” şi arată cum era viaţa pentru newyorkezi în urmă cu mai mult de o sută de ani, cu doar trei ani înainte de izbucnirea Primului Război Mondial.

Filmul original a fost realizat de compania de producţie suedeză Svenska Biografteatern şi include obiective turistice celebre, precum clădirea Flatiron, Statuia Libertăţii, podul Brooklyn şi Fifth Avenue, informează The Sun, citat de Mediafax.

Sursa - https://www.descopera.ro/cultura/18906482-filmare-cu-new-york-ul-anilor-1911-restaurata-color-cu-ajutorul-inteligentei-artificiale

Pur si simplu WOW !!!