De vraag die wij het vaakst krijgen over lokale AI gaat niet over modellen maar over hardware. Moet er een zware server komen, of draait het op een goede werkplek? Het eerlijke antwoord: het kan allebei. Het verschil zit in drie dingen. Hoe groot is het model, hoeveel mensen gebruiken het tegelijk en hoe snel moet een antwoord komen? Met die drie gegevens rekenen wij uit wat u nodig heeft, en vaak blijkt dat minder dan gevreesd.

Waarom het geheugen van de videokaart de doorslag geeft

Een taalmodel moet tijdens het werken volledig in het geheugen passen, en het snelst gaat dat in het geheugen van de videokaart. Dat is de maat waar alles om draait. Een model met acht miljard parameters past in gecomprimeerde vorm ruwweg in acht gigabyte. Een model van zeventig miljard parameters vraagt al gauw veertig tot vijftig gigabyte. Comprimeren, in het vakjargon kwantiseren, kost een klein beetje kwaliteit maar maakt grotere modellen bereikbaar op gewone hardware. Past het model niet, dan valt het terug op het werkgeheugen en de processor. Dat werkt wel, maar een antwoord dat eerst in twee seconden kwam, duurt dan een halve minuut.

Hoeveel gebruikers wilt u tegelijk bedienen?

Elk gesprek dat tegelijk loopt kost extra geheugen, en lange documenten kosten nog meer. Tien medewerkers die af en toe een vraag stellen zijn iets heel anders dan honderd mensen die de hele dag rapporten laten samenvatten. In de praktijk stelt zelden iedereen op hetzelfde moment een vraag, dus rekenen wij met het piekgebruik en niet met het totale aantal accounts. Een server die bij de start ruim voldoende is, kan na een geslaagde uitrol krap worden. Wij plannen daarom met wat marge en laten vooraf zien bij welk gebruik uitbreiden nodig wordt.

Drie opstellingen die wij vaak adviseren

Voor een klein team of een eerste proef volstaat vaak één werkstation met een krachtige videokaart. Een Mac Studio met veel gedeeld geheugen is ook een serieuze optie, omdat die verrassend goed overweg kan met middelgrote modellen. Voor een afdeling of een middelgroot bedrijf adviseren wij meestal een rackserver met één of twee datacenterkaarten van NVIDIA, zoals de L40S, die het hele kantoor bedient. Bij grote organisaties of zware modellen komt een server met meerdere H100 of vergelijkbare kaarten in beeld, bijna altijd in een datacenter. Wij verkopen zelf geen hardware. Aan een grotere machine verdienen wij dus niets, en dat merkt u aan het advies.

Kopen, huren of in een datacenter plaatsen?

Kopen loont als u de server jarenlang intensief gebruikt en er een geschikte plek voor heeft. Huren bij een Europese aanbieder van GPU servers is flexibeler. U begint klein, schaalt op als het gebruik groeit en stapt zonder afschrijving over op snellere kaarten zodra die er zijn. Een tussenvorm is uw eigen machine in een Nederlands datacenter plaatsen, zodat u eigenaar blijft zonder zelf voor koeling te zorgen. Wij zetten de opties naast elkaar op basis van uw verwachte gebruik over drie jaar, met stroom en beheer erbij gerekend.

Stroom, koeling en plek

Een server met meerdere videokaarten verbruikt al snel enkele kilowatts en produceert evenveel warmte. Een gewone patchkast of een kleine serverruimte zonder koeling is daar niet op berekend. Ook geluid telt mee, want zo'n machine wilt u niet naast een werkplek hebben. Wij kijken vooraf naar uw ruimte, de stroomvoorziening en de netwerkverbinding. Zo voorkomt u dat de nieuwe hardware na levering in een gang blijkt te moeten staan.

Wat wij doen voordat u hardware bestelt

Wij bestellen nooit op gevoel. Eerst draaien we het beoogde model op gehuurde hardware, met uw eigen documenten en een groep testgebruikers. Zo meten we hoe snel het antwoordt, hoeveel geheugen het echt gebruikt en of de kwaliteit goed genoeg is. Pas met die cijfers in de hand adviseren wij een configuratie. Dat voorkomt de twee dure vergissingen die we het vaakst tegenkomen: een machine die te klein blijkt, of een machine die vooral stilstaat. Hoe de software daarna wordt ingericht, leest u bij lokale LLM laten hosten.

Uw lokale AI server laten inrichten

Onze AI specialisten nemen het hele traject over: meten, adviseren, installeren en beheren. U spreekt direct met de mensen die het werk doen, zonder accountmanager ertussen. Voor grote installaties met meerdere servers en hoge beschikbaarheid volgen we de aanpak die we beschrijven bij open-source LLM on-prem. Wilt u weten wat uw lokale AI server moet kunnen? Stel uw vraag en wij rekenen met u mee.

Verwant: Freelance AI consultant, Whisper lokaal.