· door Django de Vreng
Waarom we Polder bouwen
Er was geen klein, open taalmodel dat écht goed Nederlands spreekt. Dus maken we het zelf, en schrijven we onderweg op hoe. Inclusief wat niet werkt.
De plek die open ligt
Wie vandaag een taalmodel voor Nederlands werk zoekt, heeft drie smaken. GPT-NL is soeverein en zorgvuldig, maar gesloten en gericht op ministeries en grote organisaties. De open Europese modellen (EuroLLM, Teuken, Apertus) zijn sterk, maar beginnen bij negen miljard parameters: te groot om zomaar op eigen hardware te draaien. En de sterke kleine modellen uit de VS en Azië, zoals Qwen en Gemma, spreken matig Nederlands; onze taal is hun blinde vlek.
Klein, open én Nederlands-eerst bestaat dus niet. Dat is precies de combinatie die veel Nederlands taalwerk nodig heeft: meldingen, besluiten en dossiers zijn gevoelig, en een model dat je zelf kunt draaien en zelf kunt controleren past daar beter bij dan een API-sleutel naar een andere jurisdictie.
Eén fundament, veel specialisten
Polder is een familie, geen los model. We trainen een basismodel vanaf nul, met Nederlands als basis en Engels, code en wiskunde ernaast; die combinatie maakt een klein model aantoonbaar beter, ook in het Nederlands. Daarop bouwen we de instruct-variant: een Nederlandse assistent. En daaruit leiden we goedkope specialisten af voor terugkerend werk: gegevens uit documenten halen, samenvatten, ambtelijke taal naar B1 herschrijven, persoonsgegevens lakken.
De ladder is bewust bescheiden: 70 miljoen, 350 miljoen en 1 miljard parameters. De kleine maten zijn er om te leren en te valideren; het 1B-model is het doel. Elke stap op de ladder valideert de keuzes voor de volgende, zodat we leergeld betalen op de goedkope maten in plaats van op de dure.
Open waar het kan, dienst waar het moet
De 70M en 350M staan gratis op Hugging Face onder Apache-2.0, ook voor commercieel gebruik, en zijn licht genoeg voor eigen hardware tot volledig offline. Het 1B-assistentmodel is betaald beschikbaar via onze API, op servers in Nederland. Zo blijft het open deel echt open, en betaalt het dienstdeel de bouw.
Uitlegbaar tot op de databron
Het meeste werk zit niet in het trainen maar in de data. Ons ruwe archief is ruim een biljoen tokens groot en gaat door een gedocumenteerde fabriek: filteren, ontdubbelen, anonimiseren, tellen. Iedere bron heeft een geregistreerde herkomst, een licentie en een kleur (groen, amber of rood) die bepaalt of hij getraind en gereleased mag worden. De EU AI Act vraagt een publieke samenvatting van trainingsdata; ons register maakt dat vrijwel een exportknop.
Wat je hier gaat lezen
Dit blog is het logboek van de bouw. De tokenizer, de eerste trainingsruns, de meetstraat, de mislukkingen: het komt hier voorbij op het moment dat het gebeurt, met cijfers die je kunt narekenen. Werk je zelf dagelijks met Nederlandse tekst en wil je meedenken over de specialisten? Praat met ons.