FramePack videodiffusion som kan köras på konsument-GPU:er

Tänk dig att kunna skapa AI-genererade videoklipp direkt på din vanliga bärbara dator eller PC. Det är precis vad FramePack siktar på. Projektet utvecklat av Lvmin Zhang (som också ligger bakom ControlNet, en annan känd AI-grej) gör det möjligt att köra relativt stora AI-modellerför video på hårdvara som många faktiskt har hemma.

Det mest imponerande är att det tydligen ska räcka med ett grafikkort med så lite som 6 GB VRAM. Det är typ vad som sitter i många gaming-laptops eller till och med lite äldre stationära datorer. Tidigare har man ofta pratat om behovet av 24 GB VRAM eller mer för liknande uppgifter.

Utan att gå in på de allra djupaste tekniska detaljerna verkar FramePack använda smarta tekniker för att hantera minnesanvändningen. Istället för att ladda hela den stora modellen i grafikkortets minne på en gång, jobbar den på ett sätt som minimerar behovet av VRAM. Trots detta ska det gå att generera upp till 60 sekunder långa videoklipp. Dessutom lovar utvecklarna snabb rendering och låg systembelastning överlag. Det finns flera video-diffusionsmodeller tillgängliga idag, som CogVideoX (med varianter på 5B och 14B) och Wan2.1. Dessa modeller har imponerande funktioner men kräver oftast betydligt mer minne.

Enligt GitHub-sidan kan FramePack generera en hel minut video (60 sekunder) med 30 bilder per sekund (totalt 1800 frames) med endast 6 GB VRAM när man använder 13B-modellen.

Se det i action

Utvecklaren har lagt upp en hel del exempel på projektets hemsida. Kolla in den här videon som visar hur det kan se ut när man genererar en video av en manet som dansar:

Se videoexempel på FramePack Project Page (scrolla ner lite på sidan för att se exemplen)

Nedan : Bild-till-5-sekunder (30fps, 150 bilder) – Resultat är beräknade med en RTX 3060 6GB laptop med 13B HY variant.

FramePack är ett open source-projekt vilket betyder att koden är tillgänglig för alla att titta på, använda och bygga vidare på via GitHub. Det är fortfarande tidigt, och som med all ny teknik lär det finnas saker att finslipa. Men bara det faktum att det går att köra så pass avancerad videogenerering på standardhårdvara är ett stort steg framåt.

Den stöder RTX 30-, 40- och 50-serier med FP16/BF16-stöd, även om vissa äldre kort också kan fungera.

Det ska bli spännande att följa utvecklingen av FramePack och se vad communityn kan göra med det. Kanske får vi se enklare verktyg och appar som bygger på den här tekniken framöver?