153 lines
4.4 KiB
Markdown
153 lines
4.4 KiB
Markdown
---
|
||
language:
|
||
- ja
|
||
library_name: transformers
|
||
pipeline_tag: text-generation
|
||
base_model: google/gemma-3-270m-it
|
||
tags:
|
||
- gemma3
|
||
- japanese
|
||
- ime
|
||
- predictive-text
|
||
- gguf
|
||
- llama.cpp
|
||
- mobile
|
||
---
|
||
|
||
# gemma3-270m-pred-dpo
|
||
|
||
日本語IME（キーボードの予測変換）用途に最適化した **Gemma 3 270M** の軽量モデルです。
|
||
入力テキスト中の境界 **`[---]`** の“後ろ”に続く言葉を予測変換として生成します。
|
||
|
||
- ベースモデル: `google/gemma-3-270m-it`
|
||
- 学習: SFT → DPO（選好最適化）
|
||
- 配布: Transformers形式（HF） + GGUF（f16 / Q4_K_M）
|
||
|
||
---
|
||
|
||
## iOS 実測（参考）
|
||
|
||
> 実行環境・スレッド数・量子化設定で変動します。
|
||
|
||
- 12 ms/token
|
||
- 82.94 tokens/sec
|
||
- 34 ms TTFT
|
||
|
||
---
|
||
|
||
## 配布ファイル
|
||
|
||
### Transformers (Hugging Face)
|
||
- リポジトリ直下に `model.safetensors` など（Transformers形式）
|
||
|
||
### GGUF（`gguf/` 配下）
|
||
- `gguf/gemma3-270m-pred-dpo-f16.gguf`
|
||
- `gguf/gemma3-270m-pred-dpo-q4_k_m.gguf`
|
||
|
||
---
|
||
|
||
## 入力フォーマット（重要）
|
||
|
||
固定プロンプトは以下です。
|
||
|
||
```text
|
||
キーボードの予測変換として[---]に続く言葉を予測変換してください。[---]より前はこれまでのユーザー入力です。
|
||
ユーザー入力と予測変換の間には境界 [---]を入れてください。
|
||
|
||
ーーーー以下が予測変換対象ーーーー
|
||
```
|
||
|
||
- `ーーーー以下が予測変換対象ーーーー` の後ろに、**ユーザー入力 + 境界 `[---]` + 未確定の先頭**（途中まで入力した語）を続けてください。
|
||
- 出力は **`[---]` を含む1行**を想定（運用では **1行目だけ採用**が簡単で安定します）。
|
||
|
||
### 例
|
||
|
||
入力（ユーザー）:
|
||
|
||
```text
|
||
キーボードの予測変換として[---]に続く言葉を予測変換してください。[---]より前はこれまでのユーザー入力です。
|
||
ユーザー入力と予測変換の間には境界 [---]を入れてください。
|
||
|
||
ーーーー以下が予測変換対象ーーーー
|
||
これに関してはどんな[---]もて
|
||
```
|
||
|
||
出力（モデル）:
|
||
|
||
```text
|
||
これに関してはどんな[---]問題/でしょ/う/か/？
|
||
```
|
||
|
||
- `"[---]"` より後ろを `/` で split すると、候補列として扱えます。
|
||
- IME組み込みでは、`[---]` 以降だけ取り出してUIに反映するのが簡単です。
|
||
|
||
---
|
||
|
||
## 使い方（Transformers）
|
||
|
||
```python
|
||
import torch
|
||
from transformers import AutoTokenizer, AutoModelForCausalLM
|
||
|
||
model_id = "katsukiono/gemma3-270m-pred-dpo"
|
||
|
||
tok = AutoTokenizer.from_pretrained(model_id, use_fast=True)
|
||
if tok.pad_token is None:
|
||
tok.pad_token = tok.eos_token
|
||
|
||
model = AutoModelForCausalLM.from_pretrained(
|
||
model_id,
|
||
torch_dtype="auto",
|
||
device_map="auto",
|
||
).eval()
|
||
|
||
prompt = """キーボードの予測変換として[---]に続く言葉を予測変換してください。[---]より前はこれまでのユーザー入力です。
|
||
ユーザー入力と予測変換の間には境界 [---]を入れてください。
|
||
|
||
ーーーー以下が予測変換対象ーーーー
|
||
これに関してはどんな[---]もて
|
||
"""
|
||
|
||
chat = [{"role": "user", "content": prompt}]
|
||
text = tok.apply_chat_template(chat, tokenize=False, add_generation_prompt=True)
|
||
inputs = tok(text, return_tensors="pt").to(model.device)
|
||
|
||
with torch.inference_mode():
|
||
out = model.generate(
|
||
**inputs,
|
||
do_sample=False,
|
||
max_new_tokens=96,
|
||
)
|
||
|
||
gen = tok.decode(out[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True)
|
||
print(gen.splitlines()[0].strip())
|
||
```
|
||
|
||
---
|
||
|
||
## 使い方（GGUF / llama.cpp）
|
||
|
||
```bash
|
||
./llama-cli \
|
||
-m gguf/gemma3-270m-pred-dpo-q4_k_m.gguf \
|
||
-p "（上の固定プロンプト + 入力）" \
|
||
-n 96 \
|
||
--temp 0
|
||
```
|
||
|
||
---
|
||
|
||
## 推奨後処理（運用メモ）
|
||
|
||
- 生成が複数行になる場合があるため、まずは **1行目のみ採用**が簡単です。
|
||
- `"[---]"` が欠落する出力が稀にあり得るため、プロダクションでは **`[---]` の有無チェック**を推奨します。
|
||
- 候補列の取得例:
|
||
- 出力を `split("[---]", 1)` → 後半を `split("/")`（空要素は除外）で候補化
|
||
|
||
---
|
||
|
||
## ライセンス / 利用条件
|
||
|
||
本モデルは `google/gemma-3-270m-it` をベースにしています。
|
||
利用にあたっては、ベースモデル側の利用条件（Gemmaの利用規約/ライセンス）を確認のうえ利用してください。
|