'Apple praat met start-up over tech die groot AI-model op iPhone laat draaien'

In dit artikel:

Apple voert gesprekken met de Amerikaanse start-up PrismML over het gebruik van diens techniek om grote AI-modellen sterk te verkleinen, meldt The Information. De stap past in Apples bredere poging om meer kunstmatige intelligentie lokaal op apparaten te laten draaien, in plaats van alles via de cloud te verwerken.

PrismML zegt dat het erin is geslaagd om Qwen 3.6, een omvangrijk open-source model van Alibaba met 27 miljard actieve parameters, werkend te krijgen op een iPhone 17 Pro. Het bedrijf doet dat door modelgewichten terug te brengen tot 1 bit of 1,58 bit, waardoor de benodigde rekenkracht en het geheugengebruik flink dalen. Daarmee mikt PrismML op efficiëntere AI-toepassingen op smartphones en andere apparaten.

Apple heeft zelf ook al eigen AI-modellen, zoals AFM 3 Core Advanced met 20 miljard parameters, maar dat model gebruikt een sparse opzet waarbij slechts een beperkt deel van de parameters tegelijk actief is. PrismML profileert zich intussen met zijn Bonsai-modellen, die vanaf de basis zijn getraind als 1bit-modellen. Een versie met 8 miljard parameters zou volgens het bedrijf in slechts 1,15 GB geheugen passen.