Thinking Machines wil AI voorspelbaarder maken

In dit artikel:

Thinking Machines Lab, opgericht door ex-OpenAI-topvrouw Mira Murati, pakt een hardnekkig probleem in AI aan: de grilligheid en niet-deterministische antwoorden van grote modellen. In een eerste blogpost legt het lab uit dat de gebruikelijke verklaring — afrondingsfouten door floating point-berekeningen en de parallelle uitvoering op GPU’s — niet het volledige verhaal is. Veel GPU-kernels geven namelijk wel steeds exact dezelfde bits terug als je ze herhaalt met dezelfde input.

De onderzoekers ontdekten dat de kern van de inconsistentie zit in het ontbreken van batch-invariance: de uitkomst voor één input verschilt afhankelijk van de batchgrootte of hoeveel gelijktijdige verzoeken op een server draaien. Drie onderdelen van transformer-architecturen blijken vooral gevoelig: RMSNorm, matrixvermenigvuldiging en attention. Optimalisaties die prestaties verbeteren veranderen de berekeningsvolgorde bij andere batchgroottes, wat kleine afrondingsverschillen veroorzaakt die zich uiteindelijk in verschillende antwoorden uiten.

Thinking Machines herschreef deze operaties zodat reducties en optellingen altijd in een vaste volgorde gebeuren, ongeacht batchgrootte of serverload. Daardoor verdwijnen de kleine numerieke variaties en worden resultaten echt deterministisch. In hun experiment gaf één prompt zonder deze aanpassing bij duizend herhalingen tachtig verschillende antwoorden; met de nieuwe aanpak waren alle duizend runs identiek. Die zekerheid komt met een prestatiekost: doorgaans 20–50% langzamer, maar volgens de onderzoekers praktisch aanvaardbaar.

De implicaties zijn groot: betere reproduceerbaarheid voor onderzoek, eenvoudiger debuggen voor bedrijven en een mogelijke doorbraak voor reinforcement learning, omdat training en sampling bit-identiek en dus echt on-policy kunnen zijn. Thinking Machines publiceert dit als start van de serie Connectionism, belooft meer code en onderzoek te delen, haalde circa 2 miljard dollar seed funding op en heeft een team van ex-OpenAI-onderzoekers verzameld. Het eerste product richt zich op onderzoekers en startups die modellen willen aanpassen; het is nog onduidelijk of batch-invariance direct in dat product zal worden ingebouwd, maar de strategie is duidelijk: AI niet alleen krachtig, maar ook consistent en betrouwbaar maken.