Iedereen praat over een AI die “alles van je bedrijf weet”. In de demo’s ziet dat er strak uit: vraag stellen, antwoord met paginanummer, diagram erbij — en als het bewijs ontbreekt, zegt het systeem dat hardop.
Mooi. Alleen: in die demo’s belandt je kennis vaak bij iemand anders. SharePoint → cloud-index → cloud-model. Handig. Niet van jou.
Wij willen het omgekeerde: het tweede brein op jouw netwerk. Lokaal model. Bronnen die je kunt aanwijzen. Weigeren mag — verzinnen niet.
Wat zo’n systeem écht is
Het is geen magische chatbot. Het is een pijplijn:
- Documenten inlezen — handleidingen, PDF’s, notities
- Knippen en labelen — chunks met herkomst (bestand, kop, pagina)
- Zoeken op betekenis — plus vaak ook op exacte woorden (artikelnummers)
- Antwoorden uit die stukken — met citation
- Stoppen zonder bewijs — “staat niet in de goedgekeurde bronnen”
Cloud of lokaal: die stappen blijven hetzelfde. Alleen waar ze draaien, verandert alles aan privacy, kosten en afhankelijkheid.
Waarom lokaal
Zelfde reden als bij lokale speech: je kernproduct (tekst, klantinfo, interne kennis) hoort niet standaard naar een buitenlandse API.
- Privé — gevoelige docs verlaten het pand niet
- Regie — jij bepaalt versies, toegang, hoe lang iets blijft staan
- Voorspelbaar — hardware + vaste stack i.p.v. token-rekeningen die meegroeien met elke vraag
- Always-on — een machine op kantoor kan ’s nachts door-indexeren terwijl jij iets anders doet
Het model is niet de strategie. De match wel: private kennis → hardware die jij beheert.
Niet meteen 18.000 documenten
Grote verhalen beginnen bij een loader voor tienduizenden files, sync elke vijftien minuten, rechtenmatrices, re-rankers. Dat kan — later.
Eerst een wedge die je kunt bewijzen:
- Eén map met tientallen docs (niet tienduizenden)
- Lokaal chatmodel + embeddings op een Mac in je netwerk
- Vector store dichtbij (geen verplichte cloud-index)
- Chat-API die citations teruggeeft en durft te weigeren
Test: vijf vragen waarvan het antwoord in de bronnen staat, vijf waarvan het er níet in staat. Slaagt alleen als de eerste groep citeert en de tweede groep zwijgt of netjes “weet ik niet” zegt.
Wat we níet beloven in v1
- Geen SharePoint-magie out of the box
- Geen “nooit meer een fout antwoord” zonder menselijke bronnen
- Geen DIY-dump (“hier is Ollama, succes”) zonder product eromheen
Wél: een pad van demo naar iets dat een organisatie kan vertrouwen — omdat het bewijs lokaal blijft.
Onder de motorkap (kort)
Op een Apple Silicon-host in het eigen netwerk:
- LLM lokaal (bijv. Qwen via Ollama)
- Embeddings lokaal
- Index op schijf
- Ingest + chat als eigen service
- Zware image-workers of TTS apart houden — RAM is geen oneindige cloud
Dat is saai. En precies daarom werkbaar.
Statistieken in PDF’s
Een bekende valkuil: cijfers en tabellen in PDF’s. De tekstextractor leest vaak “regel voor regel” en vermengt kolommen, afrondingen of voetnoten. Het model citeert dan keurig een pagina — met het verkeerde getal.
Dat is geen “cloud vs lokaal”-probleem. Het is een extractie-probleem. Wie alleen platte tekst uit een PDF sleept, trapt erin — of je index nu bij OpenAI of lokaal staat.
Waar workflows zoals n8n wél helpen: niet omdat n8n magisch beter leest, maar omdat je er een pipeline omheen hangt. Denk aan een dedicated PDF/table-stap (of OCR + tabeldetectie) vóór chunking, plus een check: “klopt dit cijfer nog met de bron?” Zonder die stap blijft een tweede brein blind voor spreadsheets-in-PDF-jasje.
Kortom: beloof geen perfecte jaarrekening-QA zolang je extractie nog “platte tekst” is. Beloven wél: eerst de bron goed binnenhalen, dan pas citeren.
De kern
Een tweede brein voor je bedrijf is geen abonnement ergens “in de cloud”. Het is een afspraak: zoek eerst, citeer, of zwijg — op hardware die bij jou staat.
Klein beginnen. Hard testen. Dan pas opschalen.
Gerelateerd: local-ai presentatie