← Lab

RUN IT BACK

Materiał wygenerowany z użyciem AI muzyka: MiniMax-Music3 referencje: Krea 2 turbowideo: MiniMax H3 hybrid, 12 krokówLoRA: fl2v turbo 8-stepLoRA: h3-realism-peopleLoRA: H3-GalaxyAceupscale: H3 Latent Upscaler 3D ×2

RUN IT BACK to pionowy teledysk do utworu jungle, szybkiej i ciężkiej odmiany drum and bassu. MC nawija jamajskim slangiem na siekanym breakbeacie i warczącym, przesterowanym basie, a utwór kończy się słowami „run it back”. Na ekranie dziewczyna w czarnej satynowej bomberce biegnie nocą przez dziewięć miejsc pokrytych graffiti i muralami. Obraz ma ziarno taśmy 16 mm, a ujęcia są krótkie i cięte na twardo.

Jak powstał

Chciałem zrobić nowy teledysk, tym razem do własnego utworu z MiniMax Music 3, modelu AI, który generuje muzykę z wokalem. Powstał w jeden dzień razem z agentem Claude Code. Wszystkie modele działały na moim komputerze, w ComfyUI na karcie RTX 5080.

  • Agent napisał tekst i opis stylu. Pierwsze wersje były za wolne i za melodyjne, więc poprosiłem o tekst co najmniej dwa razy dłuższy, jamajskim slangiem, i o ostrzejsze brzmienie. Ustawienie, które dało utworowi agresję, znalazłem sam w parametrach modelu i na nim wygenerowałem wersję, która weszła do filmu.
  • Bohaterka w bomberce to mój pomysł. Agent wygenerował ją w Krea 2 jako portret i arkusz postaci. Te dwa obrazy przekazywały modelowi wideo tylko twarz i ubranie, a miejsca powstawały z samego opisu.
  • Ujęcia zrobił MiniMax H3, model generujący wideo razem z dźwiękiem. Gotowy utwór trafiał do niego w latencie, czyli w skompresowanej postaci, na której model pracuje, więc ruch i usta szły za muzyką, a na ścieżce dźwiękowej został oryginał. Na moją prośbę każdy z dziewięciu klipów ma inną długość: agent zmierzył energię utworu i dobrał je od 13,7 do 17,9 sekundy, tak żeby każdy zaczynał się przy zmianie w muzyce. W środku klipów rozpisał cięcia, razem 28 ujęć.
  • Liczbę kroków, czyli przejść, w których model wydobywa obraz z szumu, podnosiłem w trakcie z 4 do 12 i poprosiłem o LoRA, czyli małe nakładki dostrajające model. Model hybrydowy (złożony z dwóch wersji H3) i konkretne LoRA dobrał agent. Jeden klip generował się około 7 minut, cały film około godziny.

Co z tego wynika

  • Szybki ruch potrzebuje kroków. Przy 4 krokach skok po schodach i ujęcia z daleka były rozmyte, a 12 kroków dało dużą poprawę. Agent wziął gładszą skórę za plastik. Wyprowadziłem go z błędu: z LoRA obraz był wyraźnie bardziej realistyczny. Gładkość oznaczała po prostu mniej szumu.
  • Daleka twarz to kwestia pikseli. W kadrze szerokim na 544 piksele twarz w głębi ma ich kilkanaście. Nie odtworzą jej ani kroki, ani LoRA, ani upscale, czyli podniesienie rozdzielczości po fakcie. Plan ogólny pokazuje miejsce, a twarz potrzebuje bliższego ujęcia.
  • Układ do powtórzenia. Jeden klip na miejsce z cięciami w środku, referencje tylko wyglądu postaci i utwór w latencie. Na tych ustawieniach dokończyliśmy później WIRE ME UP, który wcześniej utknął.

Kto co zrobił

Kierunek utworu i teledysku, dobór ustawień, akceptacja
Marcin: szybki jungle nawijany jamajskim slangiem, ustawienie cfg i wersja utworu, format, rozdzielczość i kroki wideo, decyzja o wersji końcowej
Tekst, opis stylu, długości klipów, prompty, dobór modelu hybrydowego i LoRA
Claude Code

Narzędzia

  • ComfyUI (lokalnie)
  • MiniMax Music 3 (utwór z wokalem)
  • MiniMax H3, wariant hybrydowy z dźwiękiem utworu w latencie (ujęcia), 12 kroków
  • LoRA: fl2v turbo 8-step, h3-realism-people, H3-GalaxyAce
  • Krea 2 turbo (portret i arkusz postaci jako referencje)
  • MiniMax H3 Latent Upscaler 3D ×2 (podnoszenie rozdzielczości)
  • ffmpeg (przekodowanie do wersji na stronę)