Een LLM is het taalmodel achter tools als ChatGPT. Een lokale LLM is hetzelfde soort model, maar dan op een machine die u zelf in de hand heeft. De meeste organisaties die ons hierover benaderen hebben al geprobeerd het zelf te installeren. Op een laptop lukt dat binnen een uur. Een versie waar vijftig medewerkers veilig mee werken, die blijft draaien en die over een jaar nog bijgewerkt is, vraagt meer. Dat deel nemen wij over.
Wat u krijgt als wij een lokale LLM voor u hosten
U krijgt een werkende omgeving, geen adviesrapport. Wij kiezen samen met u een model, installeren de software die het model laat draaien, zetten er een chatomgeving voor uw medewerkers op en koppelen de inlog aan uw bestaande accounts. Waar dat helpt, maken we uw eigen documenten doorzoekbaar. Het model geeft dan antwoord op basis van uw procedures en niet op basis van wat het ooit op internet las. Tot slot leggen we vast hoe het systeem wordt bijgehouden, door ons of door uw eigen IT. Of het model nu in uw serverruimte staat of in een datacenter, de opbouw is dezelfde.
Welk model past bij uw werk?
Er verschijnen elke maand nieuwe open modellen, en de ranglijsten op internet zeggen weinig over uw situatie. Wij testen daarom op uw eigen vragen. Een kantoor dat vooral teksten schrijft en samenvat heeft genoeg aan een middelgroot model dat vlot Nederlands schrijft. Een ontwikkelteam wil een model dat sterk is in code. Wie lange dossiers wil doorzoeken, heeft een model nodig dat veel tekst tegelijk aankan. Bekende families zijn Llama, Mistral, Qwen en Gemma, elk in kleine en grote varianten. Een kleiner model op goede hardware is vaak prettiger in gebruik dan een groot model dat traag antwoordt. Die afweging laten wij zien met echte voorbeelden uit uw eigen werk.
Ollama, vLLM of iets anders?
Het model is één ding, de software die het laat draaien is een tweede. Voor een team van een paar tot enkele tientallen mensen is Ollama vaak genoeg: eenvoudig te beheren en snel opgezet, zie ook Ollama zelf hosten. Gebruiken honderden medewerkers het tegelijk, of wilt u het model aanroepen vanuit andere applicaties, dan kiezen wij voor vLLM of een vergelijkbare server die veel verzoeken tegelijk efficiënt verwerkt. Beide werken met dezelfde soort koppeling als OpenAI, waardoor bestaande tools en scripts er zonder grote aanpassingen mee overweg kunnen. De keuze hangt af van het aantal gebruikers en van wat u ermee wilt verbinden.
Hosten op eigen hardware of in een datacenter
Een eigen server geeft de meeste controle. U koopt de machine één keer en de rekenkracht is altijd beschikbaar. Daar staan stroom, koeling en vervanging tegenover, en niet elke serverruimte is gemaakt voor een machine met een zware videokaart. Een datacenter in Nederland of elders in Europa haalt dat zorgwerk weg: u huurt een server met videokaart, of plaatst uw eigen machine daar. Voor organisaties zonder eigen serverruimte is dat meestal de logische stap. Welke hardware u nodig heeft, hangt af van het model en het aantal gebruikers. Dat rekenen wij voor u uit, lees daarvoor de pagina over een lokale AI server.
Hoe medewerkers met het model werken
Voor de meeste mensen is de chatomgeving het enige wat ze zien. Wij gebruiken daarvoor gangbare open software zoals Open WebUI, ingericht in uw huisstijl en gekoppeld aan uw eigen accounts. Medewerkers kunnen documenten uploaden, eerdere gesprekken terugzoeken en vaste opdrachten opslaan voor terugkerend werk, zoals een samenvatting van een klantgesprek in uw eigen format. Het model kan ook achter de schermen werken. Een interne applicatie die e-mails sorteert of een rapport opstelt, praat met hetzelfde model. Zo bouwt u één voorziening die op meerdere plekken waarde heeft.
Beheer na de oplevering
Een lokaal taalmodel is geen installatie die u daarna kunt vergeten. Er komen betere modellen uit, de software krijgt beveiligingsupdates en het gebruik groeit. Wij spreken vooraf af wie wat doet. Sommige organisaties laten het beheer bij ons, andere willen dat hun eigen IT het overneemt en krijgen daarvoor documentatie en een overdracht. Wij houden bij hoe vaak het model wordt gebruikt en hoe snel het antwoordt. Zo ziet u wanneer de hardware krap wordt, ruim voordat medewerkers erover beginnen te klagen.
Een lokale LLM laten installeren: zo starten we
We beginnen met een gesprek over wat u met het model wilt doen en welke informatie erin komt. Daarna draaien we in twee tot drie weken een proefopstelling met uw eigen documenten en een kleine groep gebruikers. Bevalt dat, dan richten we de definitieve omgeving in. Onze AI specialisten werken in ons eigen team en u praat direct met degene die het bouwt. Stel uw vraag en u hoort binnen een werkdag van ons.
Verwant: Freelance AI consultant, Lokale AI voor bedrijven.