Veel organisaties lopen tegen hetzelfde aan. Medewerkers plakken al lang stukken tekst in ChatGPT, het management wil dat eigenlijk tegenhouden, en tegelijk ziet iedereen dat het werk scheelt. Verbieden werkt niet. Een goed alternatief bieden wel. Lokale AI is dat alternatief: taalmodellen die u zelf host, op hardware die u beheert of in een datacenter dat u kiest, zodat vertrouwelijke informatie niet bij een externe partij belandt.
Wat bedoelen we met lokale AI?
Lokale AI betekent dat het taalmodel draait op een plek waar u zelf de controle over heeft. Dat kan een server in uw eigen serverruimte zijn, een machine in een Nederlands datacenter of een afgeschermde omgeving bij een Europese cloudpartij. Het model zelf is open: Llama van Meta, Mistral, Qwen of Gemma bijvoorbeeld. Die modellen mag u binnen hun licentievoorwaarden downloaden en op eigen hardware gebruiken. Er gaat geen vraag naar een server in de Verenigde Staten, er wordt niet getraind op uw gegevens en u bepaalt zelf wie toegang heeft. Voor de gebruiker voelt het als een gewone chatomgeving. Achter de schermen is het uw eigen installatie.
Wanneer is lokale AI de betere keuze?
Niet altijd, en dat zeggen we er meteen bij. Een zakelijk abonnement op ChatGPT of Copilot is voor veel kantoorwerk prima, zeker met goede afspraken over gegevens. Lokaal wint als de informatie zo gevoelig is dat u die nergens anders wilt hebben: medische dossiers, strafrechtelijke stukken, broncode, onderzoeksdata of de financiële gegevens van cliënten. Het wint ook als u voorspelbare kosten wilt bij intensief gebruik, als u in een afgesloten netwerk moet werken, of als u niet afhankelijk wilt zijn van de prijswijzigingen en voorwaarden van één leverancier. Wij maken die afweging per toepassing. Vaak is de uitkomst een mix: lokaal voor het gevoelige werk, een zakelijke clouddienst voor de rest.
De drie routes die wij inrichten
De eerste route is een model op eigen hardware. Wij adviseren over de server, installeren het model en zetten er een chatomgeving voor uw medewerkers op. Hoe dat in zijn werk gaat, leest u bij lokale LLM laten hosten. De tweede route is een private omgeving in een Europees datacenter: dezelfde software, maar u hoeft zelf geen videokaarten te kopen of te koelen. De derde route is een Europese aanbieder zoals Mistral, voor wie liever een dienst afneemt maar wel binnen Europa wil blijven. Bij elke route kijken wij naar dezelfde vragen. Waar staan de gegevens, wie kan erbij, wat wordt er bewaard en wat gebeurt er als u wilt stoppen?
Hoe goed is een lokaal model eigenlijk?
Beter dan de meeste mensen verwachten. De open modellen van dit moment schrijven nette Nederlandse teksten, vatten documenten samen, beantwoorden vragen uit uw eigen kennisbank en helpen bij programmeerwerk. Op de zwaarste redeneertaken lopen de grote commerciële modellen nog een stap voor, en ook dat zeggen wij eerlijk. Voor het dagelijkse werk merkt een medewerker het verschil zelden. Denk aan een e-mail herschrijven, een rapport samenvatten of een beleidsstuk doorzoeken. Wij testen vooraf met uw eigen documenten en vragen, zodat u ziet wat het model kan voordat u ergens in investeert.
Wat komt er kijken bij een eigen model in productie?
Een model downloaden kan iedereen. Het lastige deel zit erna. Medewerkers willen inloggen met hun bestaande account, het liefst via Microsoft Entra ID of Google. Het systeem moet bijhouden wat er gebeurt zonder dat het een volgsysteem wordt. Documenten moeten doorzoekbaar zijn met de rechten die in SharePoint of op de fileserver al gelden. En het geheel moet bijgewerkt worden als er een beter model uitkomt, wat ongeveer elk halfjaar gebeurt. Onze AI specialisten richten dat in als één geheel, met een eigen ChatGPT omgeving als voorkant en de juiste lokale AI server erachter.
Privacy en AVG: wat lost lokaal wel en niet op?
Lokaal draaien haalt een groot risico weg, namelijk dat gegevens bij een externe verwerker terechtkomen. Het maakt u niet vanzelf klaar voor de AVG. Ook een eigen model kan persoonsgegevens verwerken waar dat niet hoort, of antwoorden geven die niemand controleert. Wij nemen daarom de gebruikelijke maatregelen mee: een DPIA waar dat nodig is, heldere afspraken over welke informatie erin mag, logging die beperkt blijft tot wat nodig is en een AI beleid dat medewerkers echt begrijpen. Meer daarover leest u op de pagina over een veilige AI omgeving.
Lokale AI laten inrichten door onze specialisten
Wij beginnen met een gesprek over wat u wilt doen en met welke informatie. Daarna testen we in een paar weken een model op uw eigen materiaal. Pas als dat overtuigt, richten we de definitieve omgeving in. Onze AI specialisten zitten in ons eigen team, dus u spreekt direct met de mensen die het werk doen. Wilt u weten welke route bij u past? Stel uw vraag, twee zinnen is genoeg. Kijkt u liever eerst naar diensten van Europese aanbieders, lees dan over Europese AI alternatieven voor ChatGPT.
Verwant: Freelance AI consultant, Lokale AI agent bouwen.