Polacy przygotowali algorytm, który przetwarza dowolne wideo w komiks

Comixify, czyli dwa kliknięcia i wasze nagrania z szalonej domówki lub ulubiony filmik będą wyglądać niczym wyciągnięte z uniwersum Marvela.
.get_the_title().

Studenci Maciej Pęśko, Adam Svystun oraz Paweł Andruszkiewicz, a także opiekunowie naukowi Przemysław Rokita i Tomasz Trzciński – to właśnie tej piątce zawdzięczamy jedno z najciekawszych pod względem konceptu narzędzi, na jakie można natknąć się w sieci. I nie ma w tym cienia przesady. Comixify, bo o nim mowa, to zaprojektowany przez Polaków algorytm, który dowolne wideo przekształca w komiks w sposób tak imponujący i kreatywny, że rysownikom czy twórcom zajmującym się digital artem mogą zadrżeć serca.

Wszystko opiera się na selekcji najciekawszych wizualnie klatek z filmów, a następnie dopasowywaniu ich do ramek i nadawaniu im charakterystycznego komiksowego stylu.

Za wspomnianą ekstrakcję najważniejszych klatek odpowiada metoda uczenia ze wzmocnieniem (reinforcement learning). Drugi krok, czyli tzw. transfer stylu, to zaś zasługa uczenia maszynowego, a konkretniej generatywnego modelu sieci neuronowych typu GAN – ciekawy artykuł o specyfice jego działania znajdziecie tutaj.

Przepuszczanie przez Comixify różnych materiałów wideo szybko wciąga i uzależnia. Zobaczcie tylko, jak efektownie wypadł w komiksowym anturażu Adam Andruszkiewicz (pretekstem jest niedawna nominacja na wiceministra cyfryzacji):

A tu wizualny wyciąg z losowego filmiku ze „śmiesznymi zwierzętami”.

Prawda, że ładnie?

Perspektywy dla Comixify wydają się być znakomite. Na stronie Politechniki Warszawskiej czytamy, że:

„Nasi badacze chcą dalej pracować nad projektem, rozszerzając go o nowe funkcjonalności: generowanie kolejnych layoutów oraz rozpoznawanie głosu, które umożliwi dodawanie do obrazów także tekstu. Odpowiadając na międzynarodowe zainteresowanie, szukają również możliwości finansowania dalszych prac”/

A także:

Publikacja naukowa opisująca algorytm ukazała się w Internecie 12 grudnia 2018 roku i z miejsca wywołała falę zainteresowania od Japonii, przez Australię, Indie, Francję, po Stany Zjednoczone. W tym czasie strona Comixify zanotowała ponad 140 tysięcy wejść, wygenerowano na niej kilkanaście tysięcy komiksów, a twórcy otrzymali liczne wiadomości od zainteresowanych rozwiązaniem producentów filmowych oraz wydawców komiksów z Europy i Stanów Zjednoczonych”.

Z dowolnymi plikami wideo z dysku bądź YouTube’a (które nie przekraczają 50 MB) za darmo i bez ograniczeń możecie eksperymentować tutaj.

Życzymy miłej zabawy!

Tekst: Wojciech Michalski

Print
Print Text
Zobacz więcej
Wybierz region
Facebook