Benchmark - Welke hardware is het snelst voor lokale AI? Apple, Nvidia en AMD getest

In dit artikel:

Lokale AI kan een alternatief vormen voor clouddiensten, die steeds vaker hogere prijzen en strengere gebruikslimieten hanteren. Wie modellen op eigen hardware draait, verwerkt gevoelige gegevens zonder die naar een externe aanbieder te sturen en is niet afhankelijk van beslissingen van grote technologiebedrijven. Daar staat tegenover dat lokale modellen doorgaans minder capabel zijn en dat krachtige systemen duur kunnen uitvallen.

De prestaties worden vooral bepaald door de hoeveelheid geheugen, de rekenkracht en de geheugenbandbreedte. Een model moet bij voorkeur volledig in het video- of werkgeheugen passen; als gegevens via een veel tragere ssd moeten worden aangeleverd, zakt de snelheid sterk. Bij het verwerken van een prompt bepaalt de rekenkracht hoe snel het eerste token verschijnt. Daarna is vooral de geheugenbandbreedte bepalend voor de snelheid waarmee het antwoord token voor token wordt gegenereerd.

Voor een vergelijking werden zeven systemen getest met llama.cpp en een vernieuwde meetmethode. Apple werd vertegenwoordigd door een MacBook Pro met M5 Max en een Mac Studio met M5 Ultra. Daarnaast kwamen een ASUS Ascent GX10 met Nvidia DGX Spark-chip, een ASUS ProArt P16 met dezelfde RTX Spark-hardware voor Windows, twee AMD-systemen met Ryzen AI Max+-chips en een desktop met Ryzen 7 9800X3D en GeForce RTX 5090 aan bod. De Spark- en AMD-systemen beschikken over 128GB werkgeheugen; de RTX 5090 heeft 32GB videogeheugen.

De onderzoekers testten Qwen 3.8 27B, Qwen 3.8 Flash Next en GLM 5.3 Flash. Grotere modellen kunnen doorgaans betere antwoorden geven, maar vragen ook meer geheugen. De open modellen blijven gemiddeld achter bij de nieuwste commerciële systemen van Anthropic, OpenAI en Google, al is het verschil kleiner geworden. In de Artificial Analysis Intelligence Index scoorde GLM 5.3 Flash op 27 oktober 42 punten en Qwen 3.8 Flash Next 40, tegenover 58 punten voor Claude Opus 5.5. Gecomprimeerde varianten, die minder geheugen gebruiken, leveren wel een deel van die kwaliteit in.

Bij het relatief kleine Qwen 3.8 27B-model was de RTX 5090 veruit het snelst. De kaart combineert veel rekenkracht met een hoge geheugenbandbreedte. De Mac Studio haalde 47 tokens per seconde, terwijl de MacBook Pro bijna 25 tokens per seconde bereikte. De systemen met Nvidia Spark- en AMD-chips bleven onder 20 tokens per seconde. Voor het verschijnen van het eerste token waren de Mac Studio en de Spark-systemen ongeveer even snel; AMD had bij een volle context duidelijk meer tijd nodig.

Qwen 3.8 Flash Next past niet volledig in het geheugen van de RTX 5090. Toch bleef de snelheid redelijk hoog doordat dit een mixture-of-experts-model is: per token wordt slechts een deel van de parameters gebruikt. De Macs waren hier opnieuw het snelst met ongeveer 47 tokens per seconde. De RTX Spark volgde met 33 tokens per seconde en de overige systemen kwamen uit tussen 25 en 30 tokens per seconde. De Mac Studio had met drie seconden de kortste wachttijd tot het eerste token.

GLM 5.3 Flash is nog omvangrijker. Daarom werd op de meeste systemen een kleine IQ1_S-versie gebruikt. De Mac Studio bereikte met een lege context 38 tokens per seconde en de MacBook Pro bijna 30; de andere systemen kwamen rond 20 tokens per seconde uit. Bij AMD bleek Vulkan gunstiger voor het genereren van tekst, terwijl ROCm het eerste token sneller opleverde. Met de grotere IQ3-variant, die ongeveer 30 procent meer ruimte inneemt, zakten de snelheden verder. De Mac Studio bleef met 36 tokens per seconde bruikbaar, maar de AMD-machine had 104 seconden nodig om te beginnen.

In een samengestelde score voor de drie modellen eindigde de Mac Studio bovenaan. De M5 Ultra was bij het voorbewerken van prompts ongeveer 75 procent sneller dan de M5 Max, terwijl het verschil bij het genereren van tekst 28 procent bedroeg. De Windows-versie van de RTX Spark decodeerde sneller dan de Linux-uitvoering, maar die laatste was beter in de prefillfase. AMD kon bij het genereren van antwoorden goed meekomen met de Sparks, maar bleef bij het verwerken van prompts achter. De nieuwere Ryzen AI Max+ 495 presteerde daar wel beter dan de 395.

De test laat zien dat lokale AI vooral interessant is voor gebruikers die privacy, onafhankelijkheid of onbeperkt gebruik belangrijk vinden. Het systeem kan blijven rekenen zolang de hardware dat toelaat, zonder cloudlimieten. Voor complexe modellen zijn echter veel geheugen en een hoge bandbreedte nodig, waardoor de snelste oplossingen voor de meeste consumenten weinig aantrekkelijk zijn. Apple biedt de beste prestaties, AMD veel rekenwerk en geheugen voor het geld maar een trage start, en Nvidia’s Spark-systemen vormen een compromis tussen beide. Lokale AI past daardoor vooral bij taken die niet direct klaar hoeven te zijn, zoals langdurige processen die op de achtergrond draaien.