Oto narzędzie Gen-1, oparte na sztucznej inteligencji, do transformacji wideo od współtwórców Stable Diffusion.
Startup, który wymyślił jeden z wcześniejszych algorytmów uczenia maszynowego do tworzenia grafiki, powraca teraz z nowym produktem. Gen-1 może zmienić klipy wideo w coś zupełnie innego, z pozornie niespotykaną jakością w porównaniu z podobnymi narzędziami. W 2021 roku Runway współpracował z naukowcami z Uniwersytetu w Monachium, aby stworzyć Stable Diffusion, jeden z głównych algorytmów uczenia maszynowego, który zwrócił uwagę na generatywną sztuczną inteligencję.
Może Cię zaciekawić także: Czy sztuczna inteligencja zastąpi pisarzy i muzyków?
Teraz firma powraca z Gen-1 – nowym modelem, który może przekształcać istniejące wcześniej filmy, postępując zgodnie z monitami tekstowymi dostarczonymi przez użytkownika.
Jak wyjaśniono na oficjalnej stronie internetowej, Gen-1 może „realistycznie i konsekwentnie syntezować nowe filmy”, opierając nowy styl na obrazie lub monicie tekstowym. To tak, jakby kręcić coś nowego „bez filmowania czegokolwiek” – mówi Runway Research.
Gen-1 może faktycznie działać w pięciu różnych „trybach”:
- Stylizacja, aby przenieść styl dowolnego obrazu podpowiedzi tekstowej do każdej klatki filmu.
- Storyboard, aby zamienić makiety w w pełni animowane rendery.
- Maska, aby wyizolować obiekty wideo i zmodyfikować je zgodnie z monitem (np. dodać czarne plamy psu).
- Renderowanie, aby zamienić nieteksturowane rendery w „realistyczne wyniki” poprzez wprowadzanie obrazu lub tekstu.
- Personalizacja, aby „uwolnić pełną moc Gen-1” poprzez dostosowanie modelu wideo.
Model ML stojący za Gen-1 nie jest pierwszą generatywną sztuczną inteligencją wideo, która pojawiła się na rynku, ponieważ wiele firm wydało już własne algorytmy tworzenia wideo w 2022 roku. W porównaniu z Meta Make-a-Video, Google Phenaki i Muse, model Runway może zapewnić zarówno profesjonalistom, jak i amatorom YouTube’a innowacyjne narzędzia o wyższej jakości i bardziej złożonych możliwościach.
Zgodnie z własnymi słowami Runwaya, badania użytkowników wykazały, że wyniki z Gen-1 są preferowane w stosunku do istniejących modeli generatywnych dla tłumaczeń obrazu na obraz lub wideo na wideo. Wydaje się, że Gen-1 jest preferowana w stosunku do Stable Diffusion 1.5 przez 73,53% użytkowników i 88,24% użytkowników Text2Live.
Runway jest z pewnością wyposażony w odpowiednią wiedzę specjalistyczną, jeśli chodzi o renderowanie i transformację wideo, ponieważ opracowane przez firmę narzędzia oparte na sztucznej inteligencji są już wykorzystywane na internetowych platformach wideo (TikTok, YouTube), tworzeniu filmów (Everything Everywhere All at Once) oraz programy telewizyjne, takie jak The Late Show ze Stephenem Colbertem.
Runway powiedziało, że Gen-1 został opracowany na podstawie wspomnianej wiedzy specjalistycznej i z myślą o klientach tworzących wideo, po latach spostrzeżeń na temat edycji VFX i postprodukcji w branży filmowej. Nowe narzędzie generatywne działa w chmurze, a dostęp do niego mają teraz tylko nieliczni zaproszeni użytkownicy. Ogólna dostępność powinna nastąpić za „kilka tygodni”.
➔ Obserwuj nas w Google News, aby być na bieżąco!
źródło: Runway | Techspot
Od 2005 roku zajmuję się komunikacją internetową i e-marketingiem, jestem pasjonatem urządzeń mobilnych oraz nowych technologii – i nie waham się ich używać.