OpenAI onthult eerste resultaten van Jalapeño-chip

In dit artikel:

OpenAI heeft de eerste benchmarkresultaten van zijn Jalapeño-chip bekendgemaakt, een processor die speciaal is ontwikkeld voor AI-inferentie. Tijdens tests met opensourcemodellen op de InferenceX-benchmark zou de chip 1,5 tot 1,9 keer meer rekenkracht per kilowatt leveren dan Nvidia’s Blackwell-chips. Jalapeño heeft een maximaal vermogen van 700 watt, maar kwam in de tests niet boven 550 watt uit.

Volgens OpenAI ligt de end-to-endlatency 1,7 tot 3,6 keer lager dan bij Blackwell. De chip zou bovendien 2,7 tot 4,1 keer sneller tokens kunnen genereren. Dat komt onder meer doordat de KV-cache lokaal wordt gehouden, waardoor minder data hoeft te worden verplaatst. OpenAI zegt dat de resultaten niet zijn verbeterd met technieken zoals speculatieve decodering of multi-token prediction.

Onderzoeksbureau SemiAnalysis waarschuwt echter dat de cijfers volledig door OpenAI zijn aangeleverd. Het bureau verifieerde enkele runs, maar voerde de volledige benchmark niet zelfstandig uit. Ook gebruikt Jalapeño sneller HBM4-geheugen dan Blackwell, dat HBM3E gebruikt, en is de volgens SemiAnalysis realistischer AgentX-benchmark niet meegenomen.

OpenAI wil de chip tegen het einde van het jaar inzetten. Een tweede generatie is al in ontwikkeling en aan een derde generatie wordt gewerkt. Nvidia-chips blijven volgens OpenAI daarnaast nodig voor zowel training als inferentie van AI-modellen.