124 lines
4.4 KiB
Markdown
124 lines
4.4 KiB
Markdown
|
---
|
|||
|
|
language:
|
|||
|
|
- nl
|
|||
|
|
license: apache-2.0
|
|||
|
|
pipeline_tag: text-generation
|
|||
|
|
library_name: transformers
|
|||
|
|
tags:
|
|||
|
|
- dutch
|
|||
|
|
- nederlands
|
|||
|
|
- sovereign-ai
|
|||
|
|
- small-language-model
|
|||
|
|
- pretrained
|
|||
|
|
datasets:
|
|||
|
|
- HuggingFaceFW/fineweb-2
|
|||
|
|
- GPT-NL/GPT-NL_Public_Corpus
|
|||
|
|
- wikimedia/wikipedia
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
# kamoo-one-135m
|
|||
|
|
|
|||
|
|
**Een klein, soeverein Nederlands taalmodel — vanaf nul getraind, open tot op de laatste token.**
|
|||
|
|
|
|||
|
|
kamoo-one-135m is het instapmodel van de kamoo-one-familie: een decoder-only
|
|||
|
|
transformer van 135M parameters, vanaf nul getraind op 7,3 miljard Nederlandse
|
|||
|
|
tokens met een eigen Nederlandse 32k-tokenizer. Geen fine-tune van een
|
|||
|
|
bestaand model, geen vertaald bijproduct: elke parameter is op Nederlands
|
|||
|
|
getraind, op eigen hardware in Nederland.
|
|||
|
|
|
|||
|
|
⚠️ **Dit is een basismodel** (geen instruct/chat-variant). Het zet tekst
|
|||
|
|
voort en is bedoeld als fundament voor fine-tuning op afgebakende
|
|||
|
|
Nederlandse teksttaken. Een instruct-variant volgt.
|
|||
|
|
|
|||
|
|
## Gebruik
|
|||
|
|
|
|||
|
|
```python
|
|||
|
|
from transformers import AutoModelForCausalLM, AutoTokenizer
|
|||
|
|
|
|||
|
|
tok = AutoTokenizer.from_pretrained("kamoo-ai/kamoo-one-135m")
|
|||
|
|
model = AutoModelForCausalLM.from_pretrained("kamoo-ai/kamoo-one-135m")
|
|||
|
|
|
|||
|
|
prompt = "De gemeente heeft besloten dat"
|
|||
|
|
out = model.generate(**tok(prompt, return_tensors="pt"), max_new_tokens=60)
|
|||
|
|
print(tok.decode(out[0]))
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
Of met vLLM:
|
|||
|
|
|
|||
|
|
```bash
|
|||
|
|
vllm serve kamoo-ai/kamoo-one-135m --max-model-len 1024
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
## Architectuur
|
|||
|
|
|
|||
|
|
| | |
|
|||
|
|
|---|---|
|
|||
|
|
| Parameters | 135M (125,9M excl. tied lm_head) |
|
|||
|
|
| Architectuur | decoder-only, Llama-compatibel (RMSNorm, RoPE, GQA, SwiGLU) |
|
|||
|
|
| Dimensie / lagen | 768 / 16 |
|
|||
|
|
| Attention | GQA, 12 heads / 4 kv-heads |
|
|||
|
|
| FFN | 2.048 |
|
|||
|
|
| Context | 1.024 tokens |
|
|||
|
|
| Tokenizer | kamoo-bpe-32k (32.768, puur Nederlands) |
|
|||
|
|
| Precisie | bfloat16 |
|
|||
|
|
|
|||
|
|
## Trainingsdata: het v0.8-corpus
|
|||
|
|
|
|||
|
|
7,3 miljard tokens (geschat op 4,45 tekens per token), 100% Nederlands,
|
|||
|
|
12 bronnen met per bron gedocumenteerde licentie en herkomst. Verdeling
|
|||
|
|
uit het trainingsrapport:
|
|||
|
|
|
|||
|
|
| Categorie | Tokens | Aandeel | Bronnen |
|
|||
|
|
|---|---|---|---|
|
|||
|
|
| Webteksten | 4,9 mld | 67,4% | FineWeb-2 NL (hq + full), ODC-BY |
|
|||
|
|
| Kranten | 0,8 mld | 11,1% | KB open kranten via GPT-NL, CC-BY-4.0 |
|
|||
|
|
| Overheid & recht | 0,65 mld | 9,0% | rechtspraak, officiële bekendmakingen, Woo-documenten, Tweede Kamer, raadsinformatie (GPT-NL, CC-BY-4.0) |
|
|||
|
|
| Wikipedia | 0,57 mld | 7,9% | Nederlandse Wikipedia, CC-BY-SA |
|
|||
|
|
| Literatuur | 0,31 mld | 4,3% | DBNL en Project Gutenberg, publiek domein |
|
|||
|
|
| Onderwijs | 0,02 mld | 0,3% | Wikiwijs via GPT-NL, CC-BY-4.0 |
|
|||
|
|
|
|||
|
|
De filterpipeline (taal, kwaliteit, OCR-ruis, per bron gekalibreerd,
|
|||
|
|
exacte en near-dedup) is gedocumenteerd; elk filterbesluit staat met
|
|||
|
|
motivatie in versiebeheer. Er zit geen synthetische data in de pretrain.
|
|||
|
|
|
|||
|
|
## Metingen
|
|||
|
|
|
|||
|
|
- **Validatie-perplexity**: 22,1 op held-out Nederlandse tekst uit dezelfde
|
|||
|
|
corpusverdeling (eigen tokenizer; perplexity is alleen vergelijkbaar
|
|||
|
|
binnen dezelfde tokenizer).
|
|||
|
|
- **Tokenizer-efficiëntie**: een identieke Nederlandse alinea (388 tekens,
|
|||
|
|
eerste alinea van het Wikipedia-artikel "Nederland") kost 73 kamoo-tokens
|
|||
|
|
tegen 88 bij de tokenizer van ChatGPT (o200k_base) en 115 bij OLMo 2,
|
|||
|
|
met een vocabulaire dat 6× kleiner is. Alinea, script en meetlog:
|
|||
|
|
[kamoo-ai/tokenizer-benchmark](https://huggingface.co/datasets/kamoo-ai/tokenizer-benchmark).
|
|||
|
|
|
|||
|
|
## Grenzen, eerlijk
|
|||
|
|
|
|||
|
|
- Geen brede parametrische feitenkennis: feiten horen uit meegegeven
|
|||
|
|
context of documenten te komen.
|
|||
|
|
- Geen meerstaps-redeneren zoals grote frontier-modellen.
|
|||
|
|
- Alleen Nederlands (bewuste keuze).
|
|||
|
|
- Context is 1.024 tokens; knip langere tekst in delen.
|
|||
|
|
- Als basismodel volgt het geen instructies; het zet tekst voort.
|
|||
|
|
|
|||
|
|
## Herkomst en AI Act
|
|||
|
|
|
|||
|
|
Vanaf nul getraind op eigen hardware in Nederland (~3×10¹⁹ FLOPs
|
|||
|
|
trainingscompute; ruim onder de indicatieve GPAI-drempel van 10²³ FLOPs
|
|||
|
|
uit de EU AI Act-richtsnoeren). Deze model card en het
|
|||
|
|
databronnenoverzicht publiceren we vrijwillig.
|
|||
|
|
|
|||
|
|
## English summary
|
|||
|
|
|
|||
|
|
kamoo-one-135m is a 135M-parameter decoder-only Dutch language model,
|
|||
|
|
trained from scratch on 7.3B exclusively Dutch tokens with a custom Dutch
|
|||
|
|
32k BPE tokenizer, on our own hardware in the Netherlands. It is a
|
|||
|
|
base model (not instruction-tuned), Llama-compatible, Apache-2.0 licensed,
|
|||
|
|
with fully documented training-data provenance per source. Built by
|
|||
|
|
[kamoo](https://kamoo.nl) as the entry-level tier of a sovereign Dutch
|
|||
|
|
model family.
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
*kamoo · [kamoo.nl](https://kamoo.nl) · [platform.kamoo.nl](https://platform.kamoo.nl) · gemaakt en getraind in Nederland*
|