Lokale AI is stap dichterbij door Mistral-NeMo 12B

In dit artikel:

Nvidia en Mistral hebben deze week een nieuw AI-model gepresenteerd, de Mistral NeMo 12B, dat gebruikers in staat stelt om een geavanceerd language model lokaal op hun pc's te draaien. Dit markeert een belangrijke stap, aangezien eerdere modellen doorgaans afhankelijk waren van datacenters vanwege zware hardware-eisen. Met de introductie van dit model beloven de bedrijven niet alleen hogere nauwkeurigheid en flexibiliteit, maar ook een verbeterde efficiëntie en beveiliging.

Eén van de grootste uitdagingen bij het draaien van AI-modellen op persoonlijke computers is het beperkte videogeheugen van de meeste GPUs, wat het gebruik van krachtige modellen bemoeilijkt. Historisch gezien vereisen populaire modellen zoals Meta's Llama-3 een aanzienlijk geheugen dat vaak alleen beschikbaar is in cloudomgevingen. Gebruikers hebben echter een techniek, kwantisatie, toegepast om lichtere versies van deze modellen te draaien, wat leidt tot minder nauwkeurige outputs en een verhoogde kans op foutieve antwoorden.

De Mistral NeMo 12B is specifiek geoptimaliseerd voor Nvidia-hardware en kan snel worden ingezet, wat het aantrekkelijk maakt voor bedrijven die privacy en beveiliging belangrijk vinden. Desondanks zijn de mogelijkheden tot nu toe beperkt tot de duurste werkstations, met een prijskaartje dat enkele duizenden euro's kan bedragen.