311 lines
8.5 KiB
Markdown
311 lines
8.5 KiB
Markdown
---
|
||
language:
|
||
- ja
|
||
- en
|
||
base_model:
|
||
- summerMC/Sakura
|
||
base_model_relation: finetune
|
||
pipeline_tag: text-generation
|
||
library_name: transformers
|
||
tags:
|
||
- japanese
|
||
- chat
|
||
- sft
|
||
- causal-lm
|
||
- conversational
|
||
- reasoning
|
||
- fable
|
||
datasets:
|
||
- summerMC/v-Fable
|
||
---
|
||
|
||
# matutake
|
||
|
||
`matutake` は、[summerMC/Sakura](https://huggingface.co/summerMC/Sakura) をベースに、[summerMC/v-Fable](https://huggingface.co/datasets/summerMC/v-Fable) を用いて **Supervised Fine-Tuning (SFT)** した、日本語寄りの **Fable系対話・推論モデル** です。
|
||
|
||
このモデルは、coding専用モデルではなく、**会話・説明・推論・ロールプレイ・長めの応答生成** などを含む、Fable系のスタイルと応答傾向をSakura上で再現・適応することを目的に調整しています。
|
||
|
||
---
|
||
|
||
# 1. Model Overview
|
||
|
||
## 概要
|
||
|
||
* **Model name**: `summerMC/matutake`
|
||
* **Base model**: `summerMC/Sakura`
|
||
* **Training type**: Full fine-tuning / SFT
|
||
* **Primary dataset**: `summerMC/v-Fable`
|
||
|
||
## 主な目的
|
||
|
||
* 日本語での自然な会話応答
|
||
* Fable系の応答スタイルへの適応
|
||
* 長めの説明・推論応答の強化
|
||
* instruction following の改善
|
||
* 対話形式での安定した文章生成
|
||
|
||
`matutake` は、Fable系トレースデータをもとに、**対話の流れを保ちながら自然に返答する能力**、**ある程度まとまった推論や説明を返す能力**、**ロールや文脈に沿った返答を行う能力** を強めることを目的としています。
|
||
|
||
---
|
||
|
||
# 2. Intended Use
|
||
|
||
## 想定ユースケース
|
||
|
||
このモデルは、以下のような **一般的な対話・生成タスク** を想定しています。
|
||
|
||
### Chat / Conversation
|
||
|
||
* 日本語での雑談・対話
|
||
* 指示に従った応答生成
|
||
* 長めの会話文・返答文の生成
|
||
* キャラクターや口調を意識した会話
|
||
|
||
### Reasoning / Explanation
|
||
|
||
* 質問に対する段階的な説明
|
||
* 要点整理
|
||
* 比較・整理・要約
|
||
* ある程度長い推論を伴う返答
|
||
|
||
### Creative / Roleplay style generation
|
||
|
||
* Fable系の会話スタイル再現
|
||
* ロールプレイ風の返答
|
||
* 雰囲気重視の会話生成
|
||
* ストーリー寄りの応答や表現
|
||
|
||
### General instruction following
|
||
|
||
* 日本語プロンプトに対する自然な応答
|
||
* 情報整理
|
||
* 文章生成
|
||
* 口調や形式を指定した出力
|
||
|
||
---
|
||
|
||
# 3. Training Data
|
||
|
||
本モデルは主に以下のデータセットで学習されています。
|
||
|
||
## Dataset
|
||
|
||
* **`summerMC/v-Fable`**
|
||
|
||
`v-Fable` は Fable系トレースをもとにした対話・推論・スタイル応答を含むデータセットであり、会話の流れ、応答形式、説明調の返答、Fable系の雰囲気を持つ出力を学習するために使用しています。
|
||
|
||
学習時には主に `context -> completion` 形式を用い、与えられた文脈に対する応答全体をSFTしています。
|
||
|
||
### 主な特徴
|
||
|
||
* 対話形式の応答
|
||
* reasoning / explanation を含む返答
|
||
* Fable系のスタイルや雰囲気を持つ出力
|
||
* instruction-following と会話継続の両方を含む構成
|
||
|
||
---
|
||
|
||
# 4. Training Method
|
||
|
||
## Fine-tuning
|
||
|
||
* **方式**: Supervised Fine-Tuning (SFT)
|
||
* **学習対象**: base model の全パラメータ（full fine-tune）
|
||
* **目的**:
|
||
|
||
* Fable系の応答傾向への適応
|
||
* 会話の自然さの改善
|
||
* 長めの返答や説明の安定化
|
||
* 日本語での instruction following の向上
|
||
|
||
## 学習方針
|
||
|
||
本モデルでは、単純な短文応答よりも、以下のような性質を重視しています。
|
||
|
||
* 文脈を踏まえて返答する
|
||
* 長めの説明や会話を破綻しにくくする
|
||
* Fable系の話し方・返答傾向を反映する
|
||
* 日本語での自然な対話を強化する
|
||
|
||
---
|
||
|
||
# 5. Prompting / Chat Format
|
||
|
||
このモデルは **chat形式** の入力を想定しています。
|
||
ベースモデル `Sakura` のテンプレートに依存するため、基本的には `tokenizer.apply_chat_template(...)` を使うことを推奨します。
|
||
|
||
## Transformers example
|
||
|
||
```python
|
||
import torch
|
||
from transformers import AutoTokenizer, AutoModelForCausalLM
|
||
|
||
model_id = "summerMC/matutake"
|
||
|
||
tokenizer = AutoTokenizer.from_pretrained(
|
||
model_id,
|
||
trust_remote_code=True,
|
||
)
|
||
|
||
model = AutoModelForCausalLM.from_pretrained(
|
||
model_id,
|
||
trust_remote_code=True,
|
||
torch_dtype=torch.bfloat16,
|
||
device_map="auto",
|
||
)
|
||
|
||
messages = [
|
||
{
|
||
"role": "system",
|
||
"content": "You are matutake, a helpful Japanese conversational assistant."
|
||
},
|
||
{
|
||
"role": "user",
|
||
"content": "最近ちょっと疲れてるんだけど、少し気分が軽くなるように話して。"
|
||
}
|
||
]
|
||
|
||
text = tokenizer.apply_chat_template(
|
||
messages,
|
||
tokenize=False,
|
||
add_generation_prompt=True,
|
||
)
|
||
|
||
inputs = tokenizer(text, return_tensors="pt").to(model.device)
|
||
|
||
with torch.no_grad():
|
||
outputs = model.generate(
|
||
**inputs,
|
||
max_new_tokens=512,
|
||
do_sample=True,
|
||
temperature=0.7,
|
||
top_p=0.9,
|
||
repetition_penalty=1.05,
|
||
)
|
||
|
||
print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:], skip_special_tokens=True))
|
||
```
|
||
|
||
---
|
||
|
||
# 6. Recommended Generation Settings
|
||
|
||
用途が会話・説明・Fable系の返答寄りなので、まずは以下を推奨します。
|
||
|
||
## 会話向け
|
||
|
||
```python
|
||
max_new_tokens = 512
|
||
do_sample = True
|
||
temperature = 0.7
|
||
top_p = 0.9
|
||
repetition_penalty = 1.05
|
||
```
|
||
|
||
## 少し安定寄りにする場合
|
||
|
||
```python
|
||
max_new_tokens = 512
|
||
do_sample = True
|
||
temperature = 0.5
|
||
top_p = 0.9
|
||
repetition_penalty = 1.05
|
||
```
|
||
|
||
## 長めの応答を書かせる場合
|
||
|
||
```python
|
||
max_new_tokens = 1024
|
||
temperature = 0.7
|
||
top_p = 0.95
|
||
```
|
||
|
||
---
|
||
|
||
# 7. Example Prompts
|
||
|
||
## 日常会話
|
||
|
||
* `最近ちょっと気分が落ちてるから、少し優しく話してほしい。`
|
||
* `今日あったことを聞いてほしい。`
|
||
|
||
## 説明・整理
|
||
|
||
* `量子コンピュータって何か、中学生にもわかるように説明して。`
|
||
* `この文章を3行で要約して。`
|
||
|
||
## ロールプレイ / 雰囲気重視
|
||
|
||
* `落ち着いた口調で、夜に話しかけるような感じで返して。`
|
||
* `少し物語っぽい雰囲気で励まして。`
|
||
|
||
## 推論・長文応答
|
||
|
||
* `A案とB案のメリット・デメリットを比較して整理して。`
|
||
* `この悩みに対して、考え方を段階的に整理してほしい。`
|
||
|
||
---
|
||
|
||
# 8. Limitations
|
||
|
||
このモデルは**研究・実験用途**です。以下の制約があります。
|
||
|
||
* 事実性は保証されません
|
||
* 説明がもっともらしくても誤っている場合があります
|
||
* 長い応答では一貫性が崩れることがあります
|
||
* Fable系のスタイルに寄ることで、必要以上に感情的・演出的な返答になる場合があります
|
||
* chain-of-thought風の出力や冗長な説明が出ることがあります
|
||
|
||
**重要な判断に使う場合は、必ず人間が内容を確認してください。**
|
||
|
||
---
|
||
|
||
# 9. Safety / Responsible Use
|
||
|
||
以下の用途には適しません。
|
||
|
||
* 医療・法務・金融など高リスク分野の最終判断
|
||
* 人の状態に関する重大な判断の自動化
|
||
* 真偽確認なしでの事実情報の利用
|
||
* セーフティ確認なしの本番自動応答
|
||
|
||
モデルの出力は参考情報として扱い、必要に応じて別ソースで確認してください。
|
||
|
||
---
|
||
|
||
# 10. License
|
||
|
||
## Important
|
||
|
||
このモデルの利用条件は、**ベースモデル `summerMC/Sakura` のライセンス** および **学習データ `summerMC/v-Fable` のライセンス** に依存します。
|
||
利用前に必ずそれぞれの配布ページを確認してください。
|
||
|
||
* Base model: `summerMC/Sakura`
|
||
* Dataset: `summerMC/v-Fable`
|
||
|
||
特に、学習データに由来するライセンス・利用条件・再配布条件には注意してください。
|
||
|
||
---
|
||
|
||
# 11. Citation
|
||
|
||
もしこのモデルや派生物を研究・検証に利用した場合は、ベースモデルと学習データのクレジットも併記してください。
|
||
|
||
```bibtex
|
||
@misc{matutake2026,
|
||
title = {matutake},
|
||
author = {summerMC},
|
||
year = {2026},
|
||
howpublished = {\url{https://huggingface.co/summerMC/matutake}}
|
||
}
|
||
```
|
||
|
||
必要に応じて、ベースモデル・データセットの引用も追加してください。
|
||
|
||
---
|
||
|
||
# 12. Notes
|
||
|
||
`matutake` は、Sakura系列をベースに **Fable系の会話・推論・スタイル応答** を強化するための実験モデルです。
|
||
ベンチマークスコアの最適化よりも、**会話としての自然さ、返答の雰囲気、長めの応答生成** を重視しています。
|