Netflix komt met eigen AI-videotool onder opensourcelicentie - update

In dit artikel:

Netflix heeft een nieuw onderzoeksinstrument voor videobewerking vrijgegeven: VOID (Video Object and Interaction Deletion). Het model is ontworpen om niet alleen pixels te veranderen, maar ook de dynamiek in een scène aan te passen wanneer een object wordt verwijderd of gewijzigd. Bijvoorbeeld: als in een botsing twee auto’s staan, kan VOID één auto weghalen en berekenen dat de andere auto doorrijdt; of bij een rij omvallende blokken het weghalen van een middenblok zodanig verwerken dat het laatste blok niet meer omvalt.

De tool is voorlopig bedoeld als wetenschappelijk hulpmiddel en is te downloaden via Hugging Face. Netflix biedt VOID onder de Apache License 2.0 aan, wat gebruikers het recht geeft het model te hergebruiken, aan te passen en te verspreiden met vermelding van die licentie. Het is nog niet duidelijk of of in welke mate Netflix VOID zal inzetten bij eigen producties.

Technisch werkt VOID met meerdere verwerkingsronden: gebruikers kunnen eerst een object selecteren om te verwijderen; een vision-language-model verwijdert het object en simuleert hoe overige objecten reageren. Voor de uitvoering schakelt VOID externe modellen in — onder andere Googles Gemini via een API-call, Meta’s SAM2 voor segmentatie/overlay, en onderdelen zoals Kubric en Humoto voor beeldgeneratie en -bewerking. Een optionele tweede pass richt zich op het verwijderen van visuele artefacten die in de eerste bewerking zijn ontstaan.

De onderzoekers benadrukken dat VOID verder gaat dan traditionele videomodellen doordat het inhoudelijk rekening houdt met oorzaak-gevolgrelaties in scènes. Er bestaan inmiddels ook andere systemen met vergelijkbare functies. De publicatie bevat een update met extra details over de gebruikte modelbundel. Potentiële toepassingen lopen van efficiëntere VFX-werkstromen tot risico’s op misbruik (deepfakes e.d.), wat vragen oproept over ethiek en regulering naarmate zulke gereedschappen eenvoudiger beschikbaar komen.