Zelfs Apple-chips kunnen meedoen in lokaal AI-cluster van Nvidia's PAIR

In dit artikel:

Nvidia heeft Personal AI Router (PAIR) uitgebracht als opensource-bètasoftware. Het programma herkent apparaten met AI-rekenkracht binnen een lokaal netwerk en verdeelt taken over hun gpu’s of socs, rekening houdend met de beschikbare capaciteit en huidig gebruik. Zo kunnen gpu’s die bijvoorbeeld voor gaming worden gebruikt tijdelijk worden overgeslagen.

PAIR werkt samen met Ollama en LM Studio, die de AI-modellen blijven uitvoeren. Nvidia richt zich vooral op toepassingen waarbij een AI-agent een opdracht verdeelt over meerdere subagents. Die kunnen via PAIR gelijktijdig op verschillende apparaten draaien, wat sneller kan zijn dan opeenvolgende verwerking op één systeem.

Naast Nvidia-hardware vanaf de RTX 20-serie ondersteunt PAIR ook andere chips, waaronder Apple’s M4 en nieuwere socs. Gebruikers bepalen zelf welke apparaten deel uitmaken van het cluster. Nvidia testte de software met achttien gpu’s, al zijn grotere clusters mogelijk. PAIR is te downloaden voor Windows 11, Ubuntu, DGX OS en macOS.