IBM introduceert Granite 4-taalmodellen

In dit artikel:

IBM heeft onlangs een nieuwe open-source reeks taalmodellen vrijgegeven onder de naam Granite 4. De familie bestaat bij lancering uit vier varianten met tussen de 3 en 32 miljard parameters en combineert twee neurale architecturen om betere prestaties te leveren met minder geheugengebruik.

De kleinste variant, Granite-4.0-Micro (3B), gebruikt uitsluitend de klassieke Transformer-architectuur met attention. De drie andere modellen zijn hybride: ze voegen elementen van Mamba toe, een state-space-achtige netwerkstructuur die oorspronkelijk in lucht- en ruimtevaarttoepassingen is ontwikkeld. Mamba is ontworpen om langetermijnafhankelijkheden efficiënter te verwerken en vraagt daardoor minder geheugen bij lange invoerprompts dan pure Transformers.

Een belangrijk voordeel van de Granite 4-serie is de lagere geheugendruk, vooral zichtbaar bij de middelgrote modellen. IBM zegt dat Granite-4.0-H-Tiny (7B) aanzienlijk minder RAM nodig heeft dan zijn voorganger (Granite 3.3 8B) — in interne tests ongeveer een zesde — terwijl de outputkwaliteit verbeterde. IBM wijst erop dat die winst niet alleen aan de architectuur ligt, maar ook aan verbeterde trainingsmethoden en een uitgebreider trainingscorpus.

Het grootste model, Granite-4.0-H-Small (32B), gebruikt een mixture-of-experts-opzet waarbij per verzoek slechts een deel van de parameters wordt geactiveerd. IBM ziet deze aanpak als praktisch voor toepassingen zoals geautomatiseerde klantenondersteuning waar kostenefficiëntie en capaciteit belangrijk zijn. De kleinere hybriden zijn bedoeld voor scenario’s waarin snelheid vooropstaat boven maximale nauwkeurigheid.

Granite 4 is beschikbaar via IBM’s watsonx.ai en via externe platforms zoals Hugging Face; ondersteuning via Amazon SageMaker JumpStart en Microsoft Azure AI is gepland. IBM werkt verder aan extra varianten met geavanceerdere redeneermogelijkheden om het toepassingsbereik uit te breiden.