Raspberry Pi AI HAT+ 2 krijgt 8GB geheugen voor lokaal draaien llm's op Pi 5

In dit artikel:

Raspberry Pi heeft een nieuwe add-on voor de Raspberry Pi 5 uitgebracht: de AI HAT+ 2. Dit uitbreidingsbordje bevat een Hailo-10H AI-versneller en 8 GB geheugen en levert volgens de fabrikant een rekenvermogen van 40 Tops (bij INT4-precisie). De HAT+ 2 is inmiddels te koop voor 130 dollar; europrijzen zijn nog niet bekend.

Ter vergelijking: de eerste HAT+ uit vorig jaar gebruikte een Hailo-8 (of Hailo-8L) en kwam maximaal tot 26 Tops (of 13 Tops) en had geen eigen geheugen. Raspberry Pi stelt dat die oudere uitvoering onvoldoende was voor de groeiende generatie generatieve AI-modellen, terwijl de HAT+ 2 dankzij meer geheugen en de nieuwere accelerator zwaardere modellen lokaal kan draaien.

Belangrijk praktisch effect is dat de Raspberry Pi 5 met HAT+ 2 AI-modellen op het apparaat zelf uitvoert, ook offline. Dat houdt gebruikersdata lokaal, wat privacy en beveiliging vergroot en de afhankelijkheid van (betaalde) cloud-AI-diensten vermindert. Volgens Raspberry Pi kan de HAT+ 2 bijvoorbeeld het Qwen2-model draaien en eenvoudige vragen beantwoorden, wat het geschikt maakt voor lokale AI-experimenten en edge-toepassingen zoals spraak- of tekstinference zonder cloudverbinding.

Kleine toelichting: "Tops" verwijst naar biljoenen bewerkingen per seconde en INT4-precisie betekent dat rekenwerk met laagprecisie-waarden wordt uitgevoerd om throughput en geheugenverbruik te vergroten—handig voor inference op randapparaten, met als trade-off iets minder numerieke nauwkeurigheid.