De drijvende kracht achter AI: wat is een GPU, hoe werkt CUDA en waarom is je CPU niet meer genoeg?

In het kort: een CPU heeft een paar zeer krachtige cores die complexe taken na elkaar afwerken, terwijl een GPU duizenden eenvoudigere cores heeft die parallel werken. AI, en deep learning in het bijzonder, vraagt miljarden eenvoudige matrixvermenigvuldigingen tegelijk, en daar is een GPU precies goed in. CUDA is het softwareplatform van NVIDIA waarmee ontwikkelaars dat zware rekenwerk van de CPU naar de GPU sturen.

Als je je ooit hebt afgevraagd waarom het aandeel NVIDIA een van de waardevolste ter wereld werd, of waarom elk AI-model enorme grafische rekenkracht nodig heeft, dan is het antwoord drie letters: GPU.

Wat is het verschil tussen een CPU en een GPU?

De twee processors zijn voor verschillende taken gebouwd. Denk aan een briljante professor tegenover een leger studenten.

• De CPU (Central Processing Unit): een geniale wiskundeprofessor, een Einstein. Hij lost complexe vergelijkingen op, draait het besturingssysteem en neemt verfijnde logische beslissingen. Hij heeft relatief weinig cores, maar elk daarvan is zeer krachtig en snel en verwerkt complexe taken na elkaar (seriële verwerking).
• De GPU (Graphics Processing Unit): een leger van duizend uitstekende scholieren. Geen van hen is zo briljant als de professor, maar ze werken allemaal tegelijk. Geef ze een miljoen eenvoudige optel- en aftreksommen en ze zijn klaar in een fractie van de tijd die de professor nodig zou hebben.

Waarom is dit zo belangrijk voor AI?

AI, en deep learning in het bijzonder, heeft voor elke bewerking geen ‘geniaal’ rekenwerk nodig. Het vraagt miljarden eenvoudige matrixvermenigvuldigingen die tegelijk worden uitgevoerd. Bij dat soort werk loopt de CPU vast, terwijl de GPU erin floreert.

Wat is CUDA?

Tot ongeveer 15 jaar geleden waren GPU's goed in één ding: graphics renderen voor videogames. Ontwikkelaars konden alleen met ze praten in de taal van pixels, driehoeken en texturen.

Toen introduceerde NVIDIA CUDA (Compute Unified Device Architecture). CUDA is geen hardware maar een softwareplatform en architectuur. Het werkt als een vertaler waarmee ontwikkelaars de enorme rekenkracht van de GPU kunnen inzetten voor algemene berekeningen (GPGPU), niet alleen voor graphics.

Met CUDA kan een ontwikkelaar die in C, C++ of Python schrijft tegen de computer zeggen: ‘Stuur deze zware berekening niet naar de CPU. Stuur hem naar de 10.000 cores van de GPU.’ Dat vermogen is de basis van de AI-revolutie die we vandaag zien.

Hoe weet de computer wanneer hij de GPU moet gebruiken?

Het besturingssysteem (Windows of Linux) draait op de CPU, dus waar vindt de overdracht plaats? Het proces volgt een ‘host en device’-model in vier hoofdstappen:

1. De start (host): je software, bijvoorbeeld Python-code die een taalmodel traint, begint te draaien op de CPU. De CPU beheert de workflow, leest data van schijf en laadt die in het werkgeheugen (RAM).
2. Detectie en overdracht: je code gebruikt libraries zoals PyTorch of TensorFlow, die een NVIDIA-GPU met CUDA-drivers detecteren. De CPU stuurt dan een opdracht via de PCIe-bus: kopieer dit blok data van het RAM naar het snelle geheugen van de GPU (VRAM).
3. Uitvoering (kernel launch): met de data op de GPU geeft de CPU de opdracht om een functie, een kernel genoemd, parallel op alle data uit te voeren. Duizenden CUDA-cores doen in seconden waar een CPU uren over kan doen.
4. Het resultaat terugsturen: als de GPU klaar is, kopieert de CPU het resultaat terug naar het werkgeheugen om het aan de gebruiker te tonen of op te slaan.

Waarom is dit belangrijk voor je bedrijf?

Tijd is het waardevolste bedrijfsmiddel, en het verschil in prestaties is enorm:

• Modellen trainen: processen die vroeger maanden duurden op traditionele CPU-clusters, duren nu dagen of zelfs uren op krachtige GPU-servers zoals de H100- of A100-serie.
• Inference (realtime antwoorden): als je een AI-chatbot een vraag stelt, is het snelle antwoord alleen mogelijk omdat een GPU het model in realtime draait.

Als je organisatie AI-applicaties ontwikkelt, video in hoge resolutie verwerkt of met big data werkt, is de juiste GPU-infrastructuur geen luxe. Het is wat je concurrerend houdt. Hulp nodig bij het kiezen van een kaart? Zie onze gids over het kiezen van een cloud-GPU.

Veelgestelde vragen

Is een GPU gewoon een snellere CPU?

Nee. Een CPU heeft minder, sterkere cores voor complexe opeenvolgende taken, terwijl een GPU duizenden eenvoudigere cores heeft om veel eenvoudige berekeningen tegelijk uit te voeren.

Is CUDA hardware of software?

Software. CUDA is het platform en de architectuur van NVIDIA waarmee ontwikkelaars de GPU kunnen gebruiken voor algemene berekeningen, vanuit talen zoals C, C++ en Python.

Moet ik zelf CUDA-code schrijven om een GPU te gebruiken?

Meestal niet. Libraries zoals PyTorch en TensorFlow detecteren een NVIDIA-GPU met CUDA-drivers en verplaatsen de data en berekeningen er automatisch naartoe.

Welke GPU moet ik kiezen?

Dat hangt af van de workload: een RTX 6000 past bij zwaar grafisch werk en fine-tuning, terwijl accelerators uit de H200-klasse zijn gebouwd voor het trainen van zeer grote modellen.

Conclusie

De overstap van CPU naar GPU is een conceptuele verandering, van seriële naar parallelle verwerking. Of je nu een RTX 6000 nodig hebt voor zwaar grafisch werk en fine-tuning of kracht uit de H200-klasse om enorme modellen te trainen, je infrastructuur moet vloeiend CUDA spreken. Weet je niet zeker welke GPU je de beste prijs-prestatieverhouding geeft? Ons team staat klaar voor een persoonlijk architectuuradvies.