Ollama is populair om een goede reden. Met één installatie en één opdracht draait er een taalmodel op uw eigen machine, zonder abonnement en zonder dat er iets naar buiten gaat. Veel ontwikkelaars en IT afdelingen hebben het daarom al eens geprobeerd. De stap van een proef op een laptop naar een voorziening voor het hele team is groter dan hij lijkt. Er moet een chatvenster bij, accounts, beveiliging en iemand die het bijhoudt. Dat deel regelen wij, zodat Ollama zelf hosten iets wordt waar uw team elke dag op kan bouwen.

Wat Ollama wel en niet is

Ollama is software die open modellen zoals Llama, Mistral, Qwen en Gemma downloadt en laat draaien, en die een koppeling aanbiedt waarmee andere programma's het model kunnen aanroepen. Het is geen chatomgeving voor gebruikers en geen beheersysteem. Er zit geen inlog op, geen overzicht van wie wat doet en geen verdeling van capaciteit over gebruikers. Dat is geen gebrek, het is een bewuste keuze voor eenvoud. Het betekent wel dat u er de rest omheen moet bouwen als meer mensen ermee gaan werken.

Ollama zelf hosten met Open WebUI erbij

Voor de gebruikers zetten wij Open WebUI voor Ollama. Dat is een chatomgeving die lijkt op ChatGPT, met gesprekken die bewaard blijven, de mogelijkheid om documenten te uploaden en vaste assistenten voor terugkerend werk. Medewerkers loggen in met hun bestaande Microsoft of Google account. Beheerders bepalen welke modellen beschikbaar zijn en wie welke functies krijgt. Zo krijgt uw team een herkenbare werkplek, terwijl alles op uw eigen server blijft. Wilt u het breder trekken, met uw eigen documenten en assistenten per afdeling, lees dan over een eigen ChatGPT omgeving.

De beveiliging die vaak wordt vergeten

Standaard vraagt Ollama geen wachtwoord. Wie de server kan bereiken, kan het model gebruiken. Er zijn wereldwijd duizenden Ollama servers gevonden die zo open aan het internet hingen. Wij zetten Ollama daarom altijd achter een afgeschermde verbinding, zodat alleen de chatomgeving en uw eigen applicaties erbij kunnen. Verkeer gaat versleuteld, de server staat in een apart netwerksegment en updates worden bijgehouden. Dat is geen extra luxe, dat is de basis.

Welke modellen kiezen we?

De bibliotheek van Ollama bevat honderden modellen. Wij kiezen er twee of drie die passen bij uw werk en uw hardware. Meestal is dat een middelgroot algemeen model dat goed Nederlands schrijft, eventueel een sterker model voor ontwikkelaars, en een klein model voor snelle taken zoals sorteren of samenvatten. We testen ze op uw eigen voorbeelden. Komt er een beter model uit, dan testen we dat eerst voordat we het aanbieden, zodat de kwaliteit niet ineens anders wordt voor uw gebruikers.

Wanneer u groter moet denken

Ollama is ideaal voor teams van een paar tot enkele tientallen mensen. Gaan honderden medewerkers het tegelijk gebruiken, of draaien er applicaties op die veel verzoeken achter elkaar sturen, dan kan een server als vLLM die belasting beter aan. De overstap is meestal goed te doen, omdat beide dezelfde soort koppeling bieden. Wij houden het gebruik bij en zeggen het tijdig als u tegen die grens aanloopt. Hoe een grotere installatie eruitziet, leest u bij open-source LLM on-prem.

Welke hardware heeft uw team nodig?

Ollama draait op Linux, Windows en macOS. Voor serieus gebruik door een team adviseren wij een server met een videokaart met voldoende geheugen voor het gekozen model, of een Mac met veel gedeeld geheugen voor een kleine groep. Hoe groter het model en hoe meer gelijktijdige gebruikers, hoe meer geheugen. Wij rekenen het uit voordat u iets aanschaft en testen eerst op gehuurde hardware als dat nodig is.

Ollama laten installeren door ons team

Onze AI specialisten installeren Ollama en Open WebUI, beveiligen de toegang, laden de modellen en koppelen de inlog. Daarna dragen we het over aan uw IT of blijven we het beheren. Wie Ollama zelf hosten wil zonder er zelf weken in te steken, heeft doorgaans binnen twee weken een eerste werkende omgeving. Stel uw vraag. Binnen een werkdag hoort u hoe wij het zouden aanpakken.

Verwant: Freelance AI consultant, Lokale AI server.