Plaża

Plaża to pionowy, czarno-biały klip trwający 37 sekund. Kamera z obiektywem typu rybie oko leci kilka centymetrów nad mokrym piaskiem bałtyckiej plaży, a pasiaste parawany zrywają się z palików i odlatują w niebo. Morze miało stać pionowo jak ściana. W finale pod tą ścianą tańczy kobieta w czarnym kostiumie kąpielowym z lat 30. i białym czepku. Muzyka to mroczne, instrumentalne techno z YuE2, modelu muzycznego uruchamianego lokalnie.

Jak powstał

Całość zajęła około półtorej godziny i miała być zabawą oraz testem nowych modeli. Pokazałem agentowi Claude Code krótki film z sieci: czarno-biały lot kamery przez wichurę, w którym psuje się fizyka. Agent zaproponował kilka światów, a ja wybrałem plażę i modele do sprawdzenia, w tym YuE2 do muzyki.

• Agent wygenerował w YuE2 cztery wersje podkładu i zostawił tę z najrówniejszym tempem, 132 uderzenia na minutę.
• Z długiego opisu scenografii zrobił w MiniMax-H3-Image klatkę startową, czyli nieruchomy kadr, od którego rusza pierwsze ujęcie.
• Ujęcia tworzył MiniMax H3, model wideo, który generuje obraz razem z dźwiękiem. Agent porównał przy tych samych opisach ujęć dwa warianty: nasz domyślny, roboczo nazywany Piką, i Flash, odchudzoną, szybszą wersję H3. Lot składa się z trzech klipów po 10 sekund. Utwór trafiał do modelu wpisany w latent, czyli w wewnętrzną, skompresowaną postać materiału, na której model pracuje.
• Uznałem, że Pika lepiej łapie rytm, a Flash wygląda bardziej filmowo, więc zaproponowałem, żeby podpiąć pod Flasha LoRA Pika H3 Flex. LoRA to mała nakładka, która zmienia zachowanie modelu. Spośród wersji tańca wybrałem Flasha z tą nakładką. Na tym ustawieniu agent wygenerował od nowa cały lot, dokleił taniec i podłożył utwór.

Co z tego wynika

• Klipy łączymy w latencie. Na początku agent przekazywał kolejnemu klipowi gotowe klatki poprzedniego: Pice 39 ostatnich, Flashowi jedną. Flash zaczynał wtedy ruch prawie od zera, a gdy dostał 39 klatek, zignorował je. Zapytałem o łączenie w latencie i po tej zmianie klipy na obu modelach zaczęły płynnie przechodzić jeden w drugi.
• Rytm to także kwestia metody. Według mnie sam Flash, bez nakładki, trzymał rytm w tańcu, więc agent uznał, że słabszy synchron w locie wynikał prawdopodobnie ze sposobu łączenia klipów. Wersja z innym ustawieniem próbkowania wyglądała najlepiej, ale zgubiła rytm, więc odpadła.
• Nie wszystko wyszło. Na klatce startowej woda stoi pionowo, ale w locie oba warianty H3 szybko zamieniały ją w zwykły horyzont wygięty przez obiektyw. Wersja z LoRA zgubiła z kolei kosze plażowe z drugiego ujęcia i generowała się dłużej: około 143 sekund na klip zamiast 110–118.