Raspberry Pi 5 kan lokaal llm's draaien via AI HAT+ 2-module met 8GB geheugen

In dit artikel:

Raspberry Pi heeft een nieuwe add-on voor de Raspberry Pi 5 uitgebracht: de AI HAT+ 2. Dit uitbreidingsbord brengt een AI-versneller (Hailo-10H) en 8 GB geheugen naar de minicomputer, waarmee het een rekenvermogen van ongeveer 40 TOPS haalt bij INT4-precisie. De HAT+ 2 is inmiddels te koop voor 130 dollar; een europrijs is nog niet gegeven.

De HAT+ 2 is opgezet om zwaardere, vooral generatieve AI-modellen lokaal te laten draaien — ook zonder internetverbinding — zodat data bij de gebruiker blijft en er minder afhankelijkheid is van betaalde clouddiensten. Raspberry Pi positioneert het als opvolger van de eerste HAT+, die met Hailo-8/Hailo-8L maximaal circa 26 of 13 TOPS haalde en geen eigen geheugen had, waardoor die oudere versie volgens het bedrijf minder geschikt is voor moderne generatieve modellen en vooral bedoeld was voor visuele AI-taken zoals objectdetectie en pose-inschatting.

Praktisch laat de HAT+ 2 zien dat ook relatief goedkope hardware steeds meer in staat is om grote taalmodellen en andere AI-toepassingen aan de rand (edge) te draaien; in demonstraties draait de module bijvoorbeeld het Qwen2-model voor eenvoudige vraag-antwoordsessies. Belangrijke kanttekening: de opgegeven 40 TOPS betreft INT4-precisie — een lage-precisie representatie die veel rekencapaciteit mogelijk maakt maar invloed kan hebben op nauwkeurigheid van sommige modellen. Voor makers en hobbyisten betekent dit een betaalbare route naar offline AI, maar wie maximale modelkwaliteit of brede compatibiliteit nodig heeft, moet op de specifieke modelvereisten en precisieprofielen letten.