AMD introduceert Instinct MI350P voor plug-in enterprise AI

In dit artikel:

AMD heeft recent de Instinct MI350P PCIe-kaart gepresenteerd, een accelerator bedoeld om AI-workloads eenvoudiger on-premises in bestaande datacenters te draaien zonder ingrijpende aanpassingen aan stroom, koeling of rackinfrastructuur. De kaart richt zich op organisaties die extra rekenkracht willen voor inference en retrieval-augmented generation (RAG) maar niet willen investeren in gespecialiseerde GPU-platforms die vaak datacenterupgrades vereisen.

De MI350P is gemaakt voor standaard luchtgekoelde servers en kan volgens AMD tot acht kaarten per systeem ondersteunen voor workloads met kleine tot grotere modellen. Hardwarekenmerken: 144 GB HBM3E-geheugen met ~4 TB/s geheugenbandbreedte, prestaties tot circa 2.299 TFLOPS (pieken tot 4.600 TFLOPS met MXFP4) en ondersteuning voor meerdere precisieformaten (FP8, MXFP8, MXFP4, INT8, BF16). Sparsity-ondersteuning moet doorvoer en efficiëntie verder verhogen.

AMD legt nadruk op interoperabiliteit: ondersteuning voor Kubernetes GPU Operator, AMD Inference Microservices en frameworks zoals PyTorch, plus een open-source enterprise AI reference stack zonder licentiekosten. Daarmee wil het bedrijf operationele kosten verlagen, lock-in beperken en het on-premise gebruik van AI praktischer en energiezuiniger maken.