---
license: apache-2.0
language:
- zh
tags:
- pretrained
- olmo3
- chinese
- base-model
- llm001
library_name: transformers
pipeline_tag: text-generation
datasets:
- Nwna/olmo3-190m-zh-v2-base-data
---

# OLMo3-190M-zh-v2-base

**中文 from-scratch pretrain 教学模型**。本模型使用自训 48k 中文 BPE tokenizer 和约 **3.3907B tokens** 中文语料，从零训练 OLMo3-190M 架构 1 epoch。

> 这是《零基础 AI 大模型研发训练营》第 04 讲作业模型。它是 base model，不是 instruction/chat model；适合用于中文续写、继续预训练和后续 SFT。

## 来源与动机

本模型的目标是完整走通小型中文 LLM 的基础预训练链路：

```text
原始中文语料
  -> 自训 48k 中文 BPE tokenizer
  -> 构建 3.3907B tokenized base 数据
  -> 从零训练 OLMo3-190M base model 1 epoch
  -> 生成评估
  -> 推送 HuggingFace
```

这条 v2 链路没有直接复用老师旧版 tokenized 数据，而是重新训练 tokenizer、重新构建 tokenized 数据，并同步模型 config 的 `vocab_size` 与特殊 token id。

## 架构

基于 OLMo3-190M causal LM 架构：

| 字段 | 值 |
|---|---:|
| `architectures` | `["Olmo3ForCausalLM"]` |
| `hidden_size` | 768 |
| `num_hidden_layers` | 12 |
| `num_attention_heads` | 12 |
| `intermediate_size` | 3072 |
| `vocab_size` | 48,000 |
| `max_position_embeddings` | 4096 |
| training seq_len | 2048 |
| total params | ~187M |

## 使用

```python
from transformers import AutoModelForCausalLM, AutoTokenizer

tok = AutoTokenizer.from_pretrained("Nwna/olmo3-190m-zh-v2-base")
model = AutoModelForCausalLM.from_pretrained("Nwna/olmo3-190m-zh-v2-base")

inputs = tok("人工智能是", return_tensors="pt")
outputs = model.generate(
    **inputs,
    max_new_tokens=120,
    do_sample=True,
    temperature=0.8,
    top_p=0.9,
)
print(tok.decode(outputs[0], skip_special_tokens=True))
```

### 用于继续预训练 / SFT

这是 base model，没有对话能力。推荐用途是：

```python
from transformers import AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained("Nwna/olmo3-190m-zh-v2-base")
# 继续做 continue pretrain 或作为 SFT 底座
```

## 训练配方

### Tokenizer 与数据

| 项目 | 值 |
|---|---:|
| tokenizer | `Nwna/olmo3-190m-zh-v2-tokenizer` |
| tokenizer 类型 | 中文 Byte-level BPE |
| vocab size | 48,000 |
| tokenized data | `Nwna/olmo3-190m-zh-v2-base-data` |
| actual tokens | 3,390,687,394 |
| dtype | uint16 |

数据主要来自：

| 数据源 | 作用 |
|---|---|
| Ultra-FineWeb-zh | 提供通用中文网页文本，覆盖面广 |
| Fineweb-Edu-Chinese-V2.2 | 提供教育类文本，提高知识密度 |

### 超参

| 项目 | 值 |
|---|---:|
| GPU | H100 |
| precision | bf16 |
| attention | SDPA |
| epochs | 1.0 |
| global steps | 12,288 |
| per-device batch | 16 |
| grad accumulation | 8 |
| effective batch | 128 sequences |
| tokens / step | 262,144 |
| peak lr | 5e-4 |
| min lr | 5e-5 |
| scheduler | warmup + cosine |
| optimizer | AdamW |
| weight decay | 0.1，embedding / norm / bias excluded |

## Loss 轨迹

| step | eval_loss | eval_ppl |
|---:|---:|---:|
| 4,000 | 4.1429 | 63.0 |
| 8,000 | 3.9029 | 49.5 |
| 12,000 | 3.8042 | 44.9 |

最后 100 条训练日志的 train loss 平均约 **3.797**。训练结束在 step 12,288，最后一次 eval 发生在 step 12,000。


## 7-prompt 抽测表现

使用 `src/eval.py` 的采样生成设置：

```text
max_new_tokens=120
do_sample=True
temperature=0.8
top_p=0.9
repetition_penalty=1.1
```

| Prompt | 表现 | 观察 |
|---|---|---|
| 人工智能是 | 🟡 | 能生成中文科普段落，但重复与套话明显 |
| 山里有座庙 | 🟡 | 可续写，容易转成虚构的文物/寺庙说明 |
| 今天天气不错，我准备 | 🟡 | 能续写日常文本，但上下文关系混乱 |
| 北京大学位于 | 🔴 | 地理事实不稳定，可能答到错误地点 |
| 四大发明是 | 🔴 | 不能稳定列出正确四大发明 |
| 《红楼梦》人物 | 🔴 | 容易生成标题式重复或人物混杂 |
| Python 是一种 | 🟡 | 知道与编程相关，但定义不稳定 |

## 限制

1. **不是 chat / instruction model**：没有经过 SFT 或 RLHF，不具备稳定对话能力。
2. **事实可靠性有限**：190M 小模型在单轮 1 epoch 训练后仍会产生事实混淆。
3. **采样输出会波动**：`do_sample=True` 时，同一 prompt 多次生成可能不同。
4. **上下文控制较弱**：开放式 prompt 可能漂移到网页、列表、故事或百科腔。

## License

- **模型权重**：Apache-2.0
- **训练数据**：混合来源。请根据各原始数据源许可确认下游使用边界。

## 配套资源

- Tokenizer: <https://huggingface.co/Nwna/olmo3-190m-zh-v2-tokenizer>
- Tokenized data: <https://huggingface.co/datasets/Nwna/olmo3-190m-zh-v2-base-data>
- Space demo: <https://huggingface.co/spaces/Nwna/olmo3-190m-zh-v2-base>
- Continue model: <https://huggingface.co/Nwna/olmo3-190m-zh-v2-continue>

## Citation

```bibtex
@misc{nwna-olmo3-190m-zh-v2-base,
  title={OLMo3-190M-zh-v2-base: Chinese From-Scratch Pretrained Teaching Model},
  author={Nwna},
  year={2026},
  howpublished={\url{https://huggingface.co/Nwna/olmo3-190m-zh-v2-base}},
  note={LLM001 Course, Lecture 04 homework}
}
```