Projekt Adobe VideoGigaGAN umożliwia przekształcanie rozmytych filmów w jakość HD

Co wiedzieć

• Firma Adobe pracuje nad nową metodą wideo superrozdzielczości (VSR) o nazwie VideoGigaGAN, dzięki której rozmyte filmy będą wyglądały jak HD.
• VideoGigaGAN może skalować filmy do 8 razy w stosunku do oryginalnej rozdzielczości bez rozmycia, migotania i innych artefaktów AI.
• VideoGigaGAN jest wciąż w fazie rozwoju i nie wiadomo, kiedy Adobe udostępni go publicznie.

Pracownicy Adobe opracowali generatywny model sztucznej inteligencji, który wkrótce umożliwi zwiększenie rozdzielczości filmów nawet ośmiokrotnie w stosunku do oryginalnej rozdzielczości. Adobe twierdzi w niedawno opublikowanym artykule , zatytułowanym VideoGigaGAN, że model ten jest znacznie lepszy od tradycyjnych podejść do super rozdzielczości wideo (VSR) z przeszłości, które zwykle wprowadzały artefakty sztucznej inteligencji i mnóstwo rozmyć podczas prób zwiększania skali.

Dzięki generatywnej dobroci sztucznej inteligencji oprogramowanie VideoGigaGAN firmy Adobe „upsampletuje filmy wideo ze szczegółami o wysokiej częstotliwości, zachowując jednocześnie spójność czasową”. Ostatecznie nowa metoda pozwala uzyskać bardziej szczegółowe wyniki, co oznacza, że ​​filmy charakteryzują się znacznie wyższą wiernością i zawierają znacznie mniej artefaktów.

Ale nie wierz nam na słowo. Oto kilka przykładów pokazujących możliwości nowej metody VSR firmy Adobe:

Chociaż dotychczasowe metody VSR okazały się przydatne w ulepszaniu obrazów, ich sukces nie przełożył się w ten sam sposób na filmy. I chociaż inne metody skalowania próbują zredukować migotanie i inne dziwactwa sztucznej inteligencji wynikające z upsamplingu, robią to jedynie poprzez poświęcenie szczegółów.

To właśnie tutaj generatywne sieci przeciwstawne (GAN) naprawdę błyszczą. VideoGigaGAN nie tylko skutecznie eliminuje zniekształcenia wideo (lub redukuje je do momentu, aż staną się ledwo widoczne), ale także tworzy wysokiej jakości filmy, które można skalować do 8-krotnej rozdzielczości oryginalnej.

Więcej porównań przed i po upsamplingu można znaleźć w witrynie VideoGigaGAN Github .

Zeszłoroczne wydarzenie Adobe MAX dało także rzut oka na podobny projekt, który poprawia jakość filmów i plików GIF przy użyciu technologii upsamplingu opartej na sztucznej inteligencji opartej na dyfuzji. VideoGigaGAN to jednak zupełnie inna bestia.

Ponieważ VideoGigaGAN jest wciąż w fazie rozwoju, a próbki mają jedynie charakter podglądowy, nie wiadomo, czy Adobe udostępni je zwykłemu użytkownikowi. Niemniej jednak, jeśli można wykorzystać próbki, technologia jest na tyle warta, aby zostać wprowadzona na rynek i może być w przyszłości udostępniona za pośrednictwem programu Adobe Premiere Pro. Nie możemy się doczekać, aż sami to wypróbujemy i zrecenzujemy dla wszystkich, którzy mogą być zainteresowani poprawą jakości niewyraźnych filmów.