O projeto VideoGigaGAN da Adobe pode transformar vídeos borrados em HD

O que saber

• A Adobe está trabalhando em um novo método de Super Resolução de Vídeo (VSR) chamado VideoGigaGAN, que pode fazer com que vídeos desfocados pareçam HD.
• VideoGigaGAN pode aprimorar vídeos em até 8x sua resolução original sem qualquer desfoque, oscilação ou outros artefatos de IA.
• VideoGigaGAN ainda está em desenvolvimento e não se sabe quando a Adobe o disponibilizará ao público.

O pessoal da Adobe desenvolveu um modelo generativo de IA que em breve permitirá aprimorar vídeos em até oito vezes sua resolução original. Intitulado VideoGigaGAN, a Adobe afirma em um artigo publicado recentemente que o modelo é muito superior às abordagens tradicionais de super resolução de vídeo (VSR) do passado, que tendem a introduzir artefatos de IA e muita indefinição em suas tentativas de aumento de escala.

Graças à sua qualidade de IA generativa, o VideoGigaGAN da Adobe “aumenta a amostragem de vídeos com detalhes de alta frequência, mantendo a consistência temporal”. Em última análise, o novo método produz resultados com detalhes mais refinados, o que significa que os vídeos são de uma fidelidade muito maior e contêm muito menos artefatos.

Mas não acredite apenas na nossa palavra. Aqui estão alguns exemplos que mostram do que o novo método VSR da Adobe é capaz:

Embora os métodos VSR do passado tenham se mostrado úteis na melhoria de imagens, seu sucesso não se traduziu nos vídeos da mesma maneira. E embora outros métodos de aumento de escala tentem reduzir a cintilação e outras estranhezas da IA ​​​​que surgem do aumento da resolução, eles o fazem apenas sacrificando detalhes.

É aqui que as Redes Adversariais Generativas (GANs) realmente brilham. O VideoGigaGAN não apenas elimina efetivamente as distorções de vídeo (ou as reduz até que fiquem quase invisíveis), mas também produz vídeos de alta qualidade que podem ser ampliados até 8x a resolução original.

Você pode encontrar comparações mais ampliadas de antes e depois no site VideoGigaGAN Github .

O evento MAX da Adobe no ano passado também deu vislumbres de um projeto semelhante que melhora a qualidade de vídeos e GIFs usando uma tecnologia de upsampling de IA baseada em difusão. VideoGigaGAN, no entanto, é uma fera completamente diferente.

Como o VideoGigaGAN ainda está em desenvolvimento e as amostras são apenas prévias, não há como saber se a Adobe o disponibilizará para o usuário em geral. No entanto, se as amostras servirem de referência, a tecnologia é digna o suficiente para ser comercializada e poderá ser disponibilizada através do Premiere Pro da Adobe no futuro. Mal podemos esperar para experimentá-lo e analisá-lo para todos que possam estar interessados ​​em melhorar a qualidade de vídeos desfocados.