Iedereen praat over een AI die âalles van je bedrijf weetâ. In de demoâs ziet dat er strak uit: vraag stellen, antwoord met paginanummer, diagram erbij â en als het bewijs ontbreekt, zegt het systeem dat hardop.
Mooi. Alleen: in die demoâs belandt je kennis vaak bij iemand anders. SharePoint â cloud-index â cloud-model. Handig. Niet van jou.
Wij willen het omgekeerde: het tweede brein op jouw netwerk. Lokaal model. Bronnen die je kunt aanwijzen. Weigeren mag â verzinnen niet.
Wat zoân systeem Ă©cht is
Het is geen magische chatbot. Het is een pijplijn:
- Documenten inlezen â handleidingen, PDFâs, notities
- Knippen en labelen â chunks met herkomst (bestand, kop, pagina)
- Zoeken op betekenis â plus vaak ook op exacte woorden (artikelnummers)
- Antwoorden uit die stukken â met citation
- Stoppen zonder bewijs â âstaat niet in de goedgekeurde bronnenâ
Cloud of lokaal: die stappen blijven hetzelfde. Alleen waar ze draaien, verandert alles aan privacy, kosten en afhankelijkheid.
Waarom lokaal
Zelfde reden als bij lokale speech: je kernproduct (tekst, klantinfo, interne kennis) hoort niet standaard naar een buitenlandse API.
- PrivĂ© â gevoelige docs verlaten het pand niet
- Regie â jij bepaalt versies, toegang, hoe lang iets blijft staan
- Voorspelbaar â hardware + vaste stack i.p.v. token-rekeningen die meegroeien met elke vraag
- Always-on â een machine op kantoor kan âs nachts door-indexeren terwijl jij iets anders doet
Het model is niet de strategie. De match wel: private kennis â hardware die jij beheert.
Niet meteen 18.000 documenten
Grote verhalen beginnen bij een loader voor tienduizenden files, sync elke vijftien minuten, rechtenmatrices, re-rankers. Dat kan â later.
Eerst een wedge die je kunt bewijzen:
- Eén map met tientallen docs (niet tienduizenden)
- Lokaal chatmodel + embeddings op een Mac in je netwerk
- Vector store dichtbij (geen verplichte cloud-index)
- Chat-API die citations teruggeeft en durft te weigeren
Test: vijf vragen waarvan het antwoord in de bronnen staat, vijf waarvan het er nĂet in staat. Slaagt alleen als de eerste groep citeert en de tweede groep zwijgt of netjes âweet ik nietâ zegt.
Wat we nĂet beloven in v1
- Geen SharePoint-magie out of the box
- Geen ânooit meer een fout antwoordâ zonder menselijke bronnen
- Geen DIY-dump (âhier is Ollama, succesâ) zonder product eromheen
WĂ©l: een pad van demo naar iets dat een organisatie kan vertrouwen â omdat het bewijs lokaal blijft.
Onder de motorkap (kort)
Op een Apple Silicon-host in het eigen netwerk:
- LLM lokaal (bijv. Qwen via Ollama)
- Embeddings lokaal
- Index op schijf
- Ingest + chat als eigen service
- Zware image-workers of TTS apart houden â RAM is geen oneindige cloud
Dat is saai. En precies daarom werkbaar.
Statistieken in PDFâs
Een bekende valkuil: cijfers en tabellen in PDFâs. De tekstextractor leest vaak âregel voor regelâ en vermengt kolommen, afrondingen of voetnoten. Het model citeert dan keurig een pagina â met het verkeerde getal.
Dat is geen âcloud vs lokaalâ-probleem. Het is een extractie-probleem. Wie alleen platte tekst uit een PDF sleept, trapt erin â of je index nu bij OpenAI of lokaal staat.
Waar workflows zoals n8n wĂ©l helpen: niet omdat n8n magisch beter leest, maar omdat je er een pipeline omheen hangt. Denk aan een dedicated PDF/table-stap (of OCR + tabeldetectie) vóór chunking, plus een check: âklopt dit cijfer nog met de bron?â Zonder die stap blijft een tweede brein blind voor spreadsheets-in-PDF-jasje.
Kortom: beloof geen perfecte jaarrekening-QA zolang je extractie nog âplatte tekstâ is. Beloven wĂ©l: eerst de bron goed binnenhalen, dan pas citeren.
De kern
Een tweede brein voor je bedrijf is geen abonnement ergens âin de cloudâ. Het is een afspraak: zoek eerst, citeer, of zwijg â op hardware die bij jou staat.
Klein beginnen. Hard testen. Dan pas opschalen.
Gerelateerd: local-ai presentatie