初始化项目，由ModelHub XC社区提供模型

Model: kamoo-ai/kamoo-one-135m
Source: Original Platform

.gitattributes

@@ -0,0 +1,35 @@
+*.7z filter=lfs diff=lfs merge=lfs -text
+*.arrow filter=lfs diff=lfs merge=lfs -text
+*.bin filter=lfs diff=lfs merge=lfs -text
+*.bz2 filter=lfs diff=lfs merge=lfs -text
+*.ckpt filter=lfs diff=lfs merge=lfs -text
+*.ftz filter=lfs diff=lfs merge=lfs -text
+*.gz filter=lfs diff=lfs merge=lfs -text
+*.h5 filter=lfs diff=lfs merge=lfs -text
+*.joblib filter=lfs diff=lfs merge=lfs -text
+*.lfs.* filter=lfs diff=lfs merge=lfs -text
+*.mlmodel filter=lfs diff=lfs merge=lfs -text
+*.model filter=lfs diff=lfs merge=lfs -text
+*.msgpack filter=lfs diff=lfs merge=lfs -text
+*.npy filter=lfs diff=lfs merge=lfs -text
+*.npz filter=lfs diff=lfs merge=lfs -text
+*.onnx filter=lfs diff=lfs merge=lfs -text
+*.ot filter=lfs diff=lfs merge=lfs -text
+*.parquet filter=lfs diff=lfs merge=lfs -text
+*.pb filter=lfs diff=lfs merge=lfs -text
+*.pickle filter=lfs diff=lfs merge=lfs -text
+*.pkl filter=lfs diff=lfs merge=lfs -text
+*.pt filter=lfs diff=lfs merge=lfs -text
+*.pth filter=lfs diff=lfs merge=lfs -text
+*.rar filter=lfs diff=lfs merge=lfs -text
+*.safetensors filter=lfs diff=lfs merge=lfs -text
+saved_model/**/* filter=lfs diff=lfs merge=lfs -text
+*.tar.* filter=lfs diff=lfs merge=lfs -text
+*.tar filter=lfs diff=lfs merge=lfs -text
+*.tflite filter=lfs diff=lfs merge=lfs -text
+*.tgz filter=lfs diff=lfs merge=lfs -text
+*.wasm filter=lfs diff=lfs merge=lfs -text
+*.xz filter=lfs diff=lfs merge=lfs -text
+*.zip filter=lfs diff=lfs merge=lfs -text
+*.zst filter=lfs diff=lfs merge=lfs -text
+*tfevents* filter=lfs diff=lfs merge=lfs -text

README.md

@@ -0,0 +1,123 @@
+---
+language:
+  - nl
+license: apache-2.0
+pipeline_tag: text-generation
+library_name: transformers
+tags:
+  - dutch
+  - nederlands
+  - sovereign-ai
+  - small-language-model
+  - pretrained
+datasets:
+  - HuggingFaceFW/fineweb-2
+  - GPT-NL/GPT-NL_Public_Corpus
+  - wikimedia/wikipedia
+---
+
+# kamoo-one-135m
+
+**Een klein, soeverein Nederlands taalmodel — vanaf nul getraind, open tot op de laatste token.**
+
+kamoo-one-135m is het instapmodel van de kamoo-one-familie: een decoder-only
+transformer van 135M parameters, vanaf nul getraind op 7,3 miljard Nederlandse
+tokens met een eigen Nederlandse 32k-tokenizer. Geen fine-tune van een
+bestaand model, geen vertaald bijproduct: elke parameter is op Nederlands
+getraind, op eigen hardware in Nederland.
+
+⚠️ **Dit is een basismodel** (geen instruct/chat-variant). Het zet tekst
+voort en is bedoeld als fundament voor fine-tuning op afgebakende
+Nederlandse teksttaken. Een instruct-variant volgt.
+
+## Gebruik
+
+```python
+from transformers import AutoModelForCausalLM, AutoTokenizer
+
+tok = AutoTokenizer.from_pretrained("kamoo-ai/kamoo-one-135m")
+model = AutoModelForCausalLM.from_pretrained("kamoo-ai/kamoo-one-135m")
+
+prompt = "De gemeente heeft besloten dat"
+out = model.generate(**tok(prompt, return_tensors="pt"), max_new_tokens=60)
+print(tok.decode(out[0]))
+```
+
+Of met vLLM:
+
+```bash
+vllm serve kamoo-ai/kamoo-one-135m --max-model-len 1024
+```
+
+## Architectuur
+
+| | |
+|---|---|
+| Parameters | 135M (125,9M excl. tied lm_head) |
+| Architectuur | decoder-only, Llama-compatibel (RMSNorm, RoPE, GQA, SwiGLU) |
+| Dimensie / lagen | 768 / 16 |
+| Attention | GQA, 12 heads / 4 kv-heads |
+| FFN | 2.048 |
+| Context | 1.024 tokens |
+| Tokenizer | kamoo-bpe-32k (32.768, puur Nederlands) |
+| Precisie | bfloat16 |
+
+## Trainingsdata: het v0.8-corpus
+
+7,3 miljard tokens (geschat op 4,45 tekens per token), 100% Nederlands,
+12 bronnen met per bron gedocumenteerde licentie en herkomst. Verdeling
+uit het trainingsrapport:
+
+| Categorie | Tokens | Aandeel | Bronnen |
+|---|---|---|---|
+| Webteksten | 4,9 mld | 67,4% | FineWeb-2 NL (hq + full), ODC-BY |
+| Kranten | 0,8 mld | 11,1% | KB open kranten via GPT-NL, CC-BY-4.0 |
+| Overheid & recht | 0,65 mld | 9,0% | rechtspraak, officiële bekendmakingen, Woo-documenten, Tweede Kamer, raadsinformatie (GPT-NL, CC-BY-4.0) |
+| Wikipedia | 0,57 mld | 7,9% | Nederlandse Wikipedia, CC-BY-SA |
+| Literatuur | 0,31 mld | 4,3% | DBNL en Project Gutenberg, publiek domein |
+| Onderwijs | 0,02 mld | 0,3% | Wikiwijs via GPT-NL, CC-BY-4.0 |
+
+De filterpipeline (taal, kwaliteit, OCR-ruis, per bron gekalibreerd,
+exacte en near-dedup) is gedocumenteerd; elk filterbesluit staat met
+motivatie in versiebeheer. Er zit geen synthetische data in de pretrain.
+
+## Metingen
+
+- **Validatie-perplexity**: 22,1 op held-out Nederlandse tekst uit dezelfde
+  corpusverdeling (eigen tokenizer; perplexity is alleen vergelijkbaar
+  binnen dezelfde tokenizer).
+- **Tokenizer-efficiëntie**: een identieke Nederlandse alinea (388 tekens,
+  eerste alinea van het Wikipedia-artikel "Nederland") kost 73 kamoo-tokens
+  tegen 88 bij de tokenizer van ChatGPT (o200k_base) en 115 bij OLMo 2,
+  met een vocabulaire dat 6× kleiner is. Alinea, script en meetlog:
+  [kamoo-ai/tokenizer-benchmark](https://huggingface.co/datasets/kamoo-ai/tokenizer-benchmark).
+
+## Grenzen, eerlijk
+
+- Geen brede parametrische feitenkennis: feiten horen uit meegegeven
+  context of documenten te komen.
+- Geen meerstaps-redeneren zoals grote frontier-modellen.
+- Alleen Nederlands (bewuste keuze).
+- Context is 1.024 tokens; knip langere tekst in delen.
+- Als basismodel volgt het geen instructies; het zet tekst voort.
+
+## Herkomst en AI Act
+
+Vanaf nul getraind op eigen hardware in Nederland (~3×10¹⁹ FLOPs
+trainingscompute; ruim onder de indicatieve GPAI-drempel van 10²³ FLOPs
+uit de EU AI Act-richtsnoeren). Deze model card en het
+databronnenoverzicht publiceren we vrijwillig.
+
+## English summary
+
+kamoo-one-135m is a 135M-parameter decoder-only Dutch language model,
+trained from scratch on 7.3B exclusively Dutch tokens with a custom Dutch
+32k BPE tokenizer, on our own hardware in the Netherlands. It is a
+base model (not instruction-tuned), Llama-compatible, Apache-2.0 licensed,
+with fully documented training-data provenance per source. Built by
+[kamoo](https://kamoo.nl) as the entry-level tier of a sovereign Dutch
+model family.
+
+---
+
+*kamoo · [kamoo.nl](https://kamoo.nl) · [platform.kamoo.nl](https://platform.kamoo.nl) · gemaakt en getraind in Nederland*

config.json

@@ -0,0 +1,23 @@
+{
+  "architectures": [
+    "LlamaForCausalLM"
+  ],
+  "model_type": "llama",
+  "vocab_size": 32768,
+  "hidden_size": 768,
+  "intermediate_size": 2048,
+  "num_hidden_layers": 16,
+  "num_attention_heads": 12,
+  "num_key_value_heads": 4,
+  "head_dim": 64,
+  "max_position_embeddings": 1024,
+  "rms_norm_eps": 1e-05,
+  "rope_theta": 10000.0,
+  "hidden_act": "silu",
+  "tie_word_embeddings": true,
+  "attention_bias": false,
+  "mlp_bias": false,
+  "bos_token_id": 0,
+  "eos_token_id": 0,
+  "torch_dtype": "bfloat16"
+}

generation_config.json

@@ -0,0 +1,9 @@
+{
+  "bos_token_id": 0,
+  "eos_token_id": 0,
+  "do_sample": true,
+  "temperature": 0.8,
+  "top_p": 0.95,
+  "repetition_penalty": 1.3,
+  "max_new_tokens": 256
+}

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:2cd522e9616fcd6f6d0f296b558a86dea0cf12f93e6b73431c8d74038ab1185f
+size 251725264

tokenizer_config.json

@@ -0,0 +1,9 @@
+{
+  "tokenizer_class": "PreTrainedTokenizerFast",
+  "bos_token": "<|endoftext|>",
+  "eos_token": "<|endoftext|>",
+  "unk_token": "<|endoftext|>",
+  "model_max_length": 1024,
+  "clean_up_tokenization_spaces": false,
+  "chat_template": "{%- for message in messages -%}{%- if message.role == 'system' -%}{{ message.content }}\n\n{%- elif message.role == 'user' -%}Vraag: {{ message.content }}\n\n{%- elif message.role == 'assistant' -%}Antwoord: {{ message.content }}\n\n{%- endif -%}{%- endfor -%}{%- if add_generation_prompt -%}Antwoord:{%- endif -%}"
+}