.Geek - Gamer maakt werkend taalmodel met 5 miljoen parameters in Minecraft

In dit artikel:

De Minecraft-speler en ontwikkelaar sammyuri bouwde binnen het spel een werkend taalmodel dat hij CraftGPT noemt. Het systeem draait volledig op Redstone-logica — in totaal ongeveer 439 miljoen blokken in een constructie van 1020×260×1656 — en het project is publiekelijk beschikbaar op GitHub. Voor het model werd een eigen LLM getraind op de TinyChat-dataset; het heeft een klein contextvenster van 64 tokens, waardoor het vooral geschikt is voor korte gesprekken.

Interacties verlopen via een in-game ‘computer’ met een enorm toetsenbord: spelers voeren prompts in door op toetsen te gaan staan, waarna tokenizers en matrixmultipliers binnen de bouw de rekenstappen uitvoeren. Om de rekentijd praktisch te houden gebruikte sammyuri de Mchprs-mod om de server-tickrate met 40.000× te verhogen; zo kan CraftGPT een antwoord in ongeveer twee uur genereren — zonder die versnelling zou het naar schatting meer dan tien jaar duren. De maker waarschuwt dat de chatbot vaak van onderwerp afdwaalt, grammaticale fouten maakt of onzinnige antwoorden geeft. Een demonstratie is ook te zien in een YouTube-video.