PILOT 2.5D

PILOT 2.5D to 45-sekundowa próba metody, którą zobaczyłem u twórcy publikującego jako @aicreataro. Najpierw powstaje klip AI z postacią, a dopiero potem buduje się wokół niej świat w Blenderze, programie do grafiki 3D. 2.5D oznacza tu płaskie obrazy rozstawione w przestrzeni 3D, między którymi może lecieć kamera.

U nas chłopak biegnie nocą przez wagony metra i robi parkour. Wagon wokół niego rozpada się na klocki, które w rytm muzyki wyskakują do kamery, a na przemian z tym obrazem pojawiają się światy z klatek tego samego klipu. Podłogę i ściany zajmują duże, kolorowe słowa z piosenki. W kilku miejscach biegacz zmienia się w bryłę 3D z kostek, kamera go obchodzi, a bryła wybucha.

Jak powstał

Metodę przyniosłem ja. W WIRE ME UP próbowaliśmy odwrotnie: animatik z Blendera, czyli uproszczona animacja 3D, miał prowadzić ruch modelu wideo, a zdarzenia się spóźniały. Tu ruch biegacza pochodzi prosto z klipu. Skrypty, scenę w Blenderze i prompty przygotował agent Claude Code, a ja oceniałem kolejne wersje i decydowałem, co zostaje.

• Pierwsza, 10-sekundowa wersja powstała do fragmentu refrenu WIRE ME UP. Druga, 15-sekundowa, z nowym utworem, wyglądała mi na kalejdoskop. Agent porównał ją z wynikiem autora metody i znalazł przyczynę: tam świat powstaje z klatek klipu, a u nas z obrazów z nim niezwiązanych.
• Do wersji końcowej agent napisał tekst i opis utworu dla Music 3. Kolaż słów polskich, japońskich, koreańskich, rosyjskich i angielskich to mój pomysł. Wybrałem też jedną z wygenerowanych wersji.
• Klip z MiniMax H3, modelu generującego wideo, powstał w moim workflow w ComfyUI z pięciu kawałków sklejonych w jedno ujęcie; każdy generował się około 4 minut. Długie prompty z zakazami dawały trucht, więc agent skrócił je do jednego zdania akcji. Dynamikę dociskałem uwagami: biegacz miał korzystać z rur i poręczy i pędzić jak w koreańskim kinie akcji.
• Biegacza wycina z klipu maska, czyli obraz oddzielający postać od tła. Kiedy zauważyłem, że biegacz jest płaski, a postać u autora metody ma bryłę, agent dołożył SAM 3D Body, model odtwarzający z wideo siatkę 3D ciała. Z tej bryły wylatują kostki, świecące cząstki i ogień.
• Odrzuciłem napisy karaoke i odcinki z pudłami do przeskakiwania. Na miejsce pudeł podsunąłem świecącego ludzika między neonowymi drążkami, a na początek czarną przestrzeń ze słowami. Gdy zapytałem o swobodę kamery, agent zaproponował i zbudował wagon 3D oklejony panoramą z klatek klipu.

Co z tego wynika

• Świat z tego samego materiału. Klatki tego samego wagonu, pocięte na klocki, mozaikę kropek i padające karty, trzymają perspektywę i pasują do biegacza.
• Perspektywa ma granice. Bryłę ciała da się oglądać z każdej strony. Świat z jednej klatki wytrzymuje obrót kamery o 30–40 stopni, a pełną swobodę daje dopiero wagon zbudowany w 3D.