Grote organisaties komen vaak via twee wegen bij een eigen taalmodel uit. De ene is de informatie: in de zorg, bij de overheid, in de financiële sector of bij bedrijven met waardevolle eigen kennis wil men niet dat gegevens naar een externe AI dienst gaan. De andere is schaal: wie duizenden medewerkers en tientallen applicaties AI laat gebruiken, ziet de rekening van een clouddienst snel oplopen. Een open model in eigen beheer kan dan een verstandige keuze zijn. Mits het als platform wordt gebouwd, en niet als losse proef die uit de hand loopt.
Wanneer een LLM on-prem verstandig is
Een eigen installatie loont als de informatie te gevoelig is voor een externe verwerker, als u in een afgesloten netwerk moet werken, of als het gebruik zo groot en voorspelbaar is dat eigen hardware goedkoper wordt dan betalen per gebruik. Het loont minder als u maar af en toe AI nodig heeft, of als u altijd het allernieuwste model wilt. Wij maken die rekensom met u op basis van verwacht gebruik over drie jaar, met hardware, stroom, beheer en personeel erbij. Soms is de uitkomst dat een clouddienst met goede afspraken beter past, en dan zeggen we dat.
Hoe een platform voor eigen modellen eruitziet
Bij deze schaal draait er niet één model, maar een handvol, elk voor een eigen soort werk. Ze draaien op servers met datacenterkaarten van NVIDIA, meestal in een Kubernetes omgeving, met vLLM of een vergelijkbare server die veel verzoeken tegelijk aankan. Daarvoor staat een centrale toegangslaag die bepaalt wie welk model mag gebruiken, hoeveel capaciteit elke afdeling krijgt en wat er wordt vastgelegd. Applicaties en gebruikers praten alleen met die laag. Zo kunt u modellen vervangen zonder dat er iets aan de applicaties hoeft te veranderen.
Beschikbaarheid en beheer
Zodra medewerkers op het platform rekenen, mag het niet zomaar uitvallen. Wij bouwen het met reserve: meerdere servers, automatisch herstarten bij storingen en de mogelijkheid om onderhoud te doen zonder dat gebruikers het merken. Monitoring laat zien hoe druk het is, hoe snel antwoorden komen en waar fouten ontstaan. Updates van modellen gaan eerst naar een testomgeving en pas na controle naar productie. Dat is de discipline die wij beschrijven bij LLMOps platform opzetten.
Beveiliging en controle
Een eigen model haalt de externe verwerker weg, maar brengt eigen verantwoordelijkheden mee. Wie mag bij welke informatie? Wat wordt er gelogd, en hoe lang? Hoe voorkomt u dat een applicatie via het model bij gegevens komt die niet voor die gebruiker bedoeld zijn? Wij koppelen de toegang aan uw bestaande identiteitsbeheer, scheiden omgevingen per vertrouwelijkheidsniveau en leggen handelingen vast zodat ze bij een audit herleidbaar zijn. Uw security officer krijgt een architectuur die hij of zij kan beoordelen.
De hardware kiezen en plaatsen
De hardware bepaalt een groot deel van de kosten en de mogelijkheden. Wij rekenen uit hoeveel geheugen en rekenkracht uw modellen en gebruikers nodig hebben, en wegen kopen af tegen huren bij een Europese aanbieder of plaatsen in een datacenter. Eerst meten we op gehuurde hardware met uw eigen werk, zodat de keuze op cijfers berust. Meer daarover leest u bij een lokale AI server.
Van proef naar productie
Een open-source LLM on-prem implementeren gaat bij ons in drie stappen. Eerst een proef van zes tot acht weken met één of twee toepassingen en een afgebakende groep gebruikers. Dan de bouw van het platform op productieniveau, met beveiliging, monitoring en beheerafspraken. Tot slot de uitrol naar meer afdelingen en applicaties. Na elke stap beslist u of de volgende zin heeft, op basis van wat de vorige heeft opgeleverd.
Uw eigen LLM platform laten bouwen
Onze AI specialisten werken samen met uw infrastructuurteam en uw security officer, en dragen het platform over met documentatie en training, of blijven het beheren. U spreekt direct met de mensen die het bouwen. Stel uw vraag, twee zinnen is genoeg om te beginnen.
Verwant: Freelance AI consultant, Ollama zelf hosten.