Modders slopen AI-prestatielimiet uit Nvidia's RTX 20-, 30- en 40-gpu's

In dit artikel:

Een onofficiële Linux-mod maakt het mogelijk om een AI-snelheidsbeperking op Nvidia’s RTX 20-, RTX 30- en RTX 40-videokaarten tijdelijk uit te schakelen. Nvidia halveert bij deze consumentenkaarten de prestaties van bepaalde FP16- en BF16-berekeningen, die onder meer worden gebruikt voor taalmodellen en beeldgeneratie.

De ontwikkelaar Zagitta baseerde de methode op een eerdere aanpassing voor Nvidia’s CMP-kaarten voor cryptomining. Via een kernelmodule worden instructies geladen voordat Nvidia’s eigen stuurprogramma start, waardoor de beperking wordt omzeild. De wijziging verdwijnt na het uitschakelen van de gpu. RTX 50-kaarten worden niet ondersteund.

De mods zijn slechts op een beperkt aantal modellen getest en zijn niet zonder risico. Er bestaan ook versies voor Windows, maar die zijn door andere ontwikkelaars gemaakt. Games worden volgens de beschikbare informatie niet sneller.

De theoretische winst loopt uiteen: een RTX 4090 zou bijna tweemaal zoveel FP16-berekeningen kunnen uitvoeren, terwijl een RTX 3090 Ti tot 80 procent meer BF16-capaciteit zou krijgen. In praktijktests met taalmodelprompts was een RTX 3090 14 tot 36 procent sneller. Bij het genereren van tokens blijft de winst beperkt, omdat daarbij vooral de geheugensnelheid telt. Nvidia heeft nog niet op de exploit gereageerd.