初始化项目,由ModelHub XC社区提供模型
Model: summerMC/matutake Source: Original Platform
This commit is contained in:
310
README.md
Normal file
310
README.md
Normal file
@@ -0,0 +1,310 @@
|
||||
---
|
||||
language:
|
||||
- ja
|
||||
- en
|
||||
base_model:
|
||||
- summerMC/Sakura
|
||||
base_model_relation: finetune
|
||||
pipeline_tag: text-generation
|
||||
library_name: transformers
|
||||
tags:
|
||||
- japanese
|
||||
- chat
|
||||
- sft
|
||||
- causal-lm
|
||||
- conversational
|
||||
- reasoning
|
||||
- fable
|
||||
datasets:
|
||||
- summerMC/v-Fable
|
||||
---
|
||||
|
||||
# matutake
|
||||
|
||||
`matutake` は、[summerMC/Sakura](https://huggingface.co/summerMC/Sakura) をベースに、[summerMC/v-Fable](https://huggingface.co/datasets/summerMC/v-Fable) を用いて **Supervised Fine-Tuning (SFT)** した、日本語寄りの **Fable系対話・推論モデル** です。
|
||||
|
||||
このモデルは、coding専用モデルではなく、**会話・説明・推論・ロールプレイ・長めの応答生成** などを含む、Fable系のスタイルと応答傾向をSakura上で再現・適応することを目的に調整しています。
|
||||
|
||||
---
|
||||
|
||||
# 1. Model Overview
|
||||
|
||||
## 概要
|
||||
|
||||
* **Model name**: `summerMC/matutake`
|
||||
* **Base model**: `summerMC/Sakura`
|
||||
* **Training type**: Full fine-tuning / SFT
|
||||
* **Primary dataset**: `summerMC/v-Fable`
|
||||
|
||||
## 主な目的
|
||||
|
||||
* 日本語での自然な会話応答
|
||||
* Fable系の応答スタイルへの適応
|
||||
* 長めの説明・推論応答の強化
|
||||
* instruction following の改善
|
||||
* 対話形式での安定した文章生成
|
||||
|
||||
`matutake` は、Fable系トレースデータをもとに、**対話の流れを保ちながら自然に返答する能力**、**ある程度まとまった推論や説明を返す能力**、**ロールや文脈に沿った返答を行う能力** を強めることを目的としています。
|
||||
|
||||
---
|
||||
|
||||
# 2. Intended Use
|
||||
|
||||
## 想定ユースケース
|
||||
|
||||
このモデルは、以下のような **一般的な対話・生成タスク** を想定しています。
|
||||
|
||||
### Chat / Conversation
|
||||
|
||||
* 日本語での雑談・対話
|
||||
* 指示に従った応答生成
|
||||
* 長めの会話文・返答文の生成
|
||||
* キャラクターや口調を意識した会話
|
||||
|
||||
### Reasoning / Explanation
|
||||
|
||||
* 質問に対する段階的な説明
|
||||
* 要点整理
|
||||
* 比較・整理・要約
|
||||
* ある程度長い推論を伴う返答
|
||||
|
||||
### Creative / Roleplay style generation
|
||||
|
||||
* Fable系の会話スタイル再現
|
||||
* ロールプレイ風の返答
|
||||
* 雰囲気重視の会話生成
|
||||
* ストーリー寄りの応答や表現
|
||||
|
||||
### General instruction following
|
||||
|
||||
* 日本語プロンプトに対する自然な応答
|
||||
* 情報整理
|
||||
* 文章生成
|
||||
* 口調や形式を指定した出力
|
||||
|
||||
---
|
||||
|
||||
# 3. Training Data
|
||||
|
||||
本モデルは主に以下のデータセットで学習されています。
|
||||
|
||||
## Dataset
|
||||
|
||||
* **`summerMC/v-Fable`**
|
||||
|
||||
`v-Fable` は Fable系トレースをもとにした対話・推論・スタイル応答を含むデータセットであり、会話の流れ、応答形式、説明調の返答、Fable系の雰囲気を持つ出力を学習するために使用しています。
|
||||
|
||||
学習時には主に `context -> completion` 形式を用い、与えられた文脈に対する応答全体をSFTしています。
|
||||
|
||||
### 主な特徴
|
||||
|
||||
* 対話形式の応答
|
||||
* reasoning / explanation を含む返答
|
||||
* Fable系のスタイルや雰囲気を持つ出力
|
||||
* instruction-following と会話継続の両方を含む構成
|
||||
|
||||
---
|
||||
|
||||
# 4. Training Method
|
||||
|
||||
## Fine-tuning
|
||||
|
||||
* **方式**: Supervised Fine-Tuning (SFT)
|
||||
* **学習対象**: base model の全パラメータ(full fine-tune)
|
||||
* **目的**:
|
||||
|
||||
* Fable系の応答傾向への適応
|
||||
* 会話の自然さの改善
|
||||
* 長めの返答や説明の安定化
|
||||
* 日本語での instruction following の向上
|
||||
|
||||
## 学習方針
|
||||
|
||||
本モデルでは、単純な短文応答よりも、以下のような性質を重視しています。
|
||||
|
||||
* 文脈を踏まえて返答する
|
||||
* 長めの説明や会話を破綻しにくくする
|
||||
* Fable系の話し方・返答傾向を反映する
|
||||
* 日本語での自然な対話を強化する
|
||||
|
||||
---
|
||||
|
||||
# 5. Prompting / Chat Format
|
||||
|
||||
このモデルは **chat形式** の入力を想定しています。
|
||||
ベースモデル `Sakura` のテンプレートに依存するため、基本的には `tokenizer.apply_chat_template(...)` を使うことを推奨します。
|
||||
|
||||
## Transformers example
|
||||
|
||||
```python
|
||||
import torch
|
||||
from transformers import AutoTokenizer, AutoModelForCausalLM
|
||||
|
||||
model_id = "summerMC/matutake"
|
||||
|
||||
tokenizer = AutoTokenizer.from_pretrained(
|
||||
model_id,
|
||||
trust_remote_code=True,
|
||||
)
|
||||
|
||||
model = AutoModelForCausalLM.from_pretrained(
|
||||
model_id,
|
||||
trust_remote_code=True,
|
||||
torch_dtype=torch.bfloat16,
|
||||
device_map="auto",
|
||||
)
|
||||
|
||||
messages = [
|
||||
{
|
||||
"role": "system",
|
||||
"content": "You are matutake, a helpful Japanese conversational assistant."
|
||||
},
|
||||
{
|
||||
"role": "user",
|
||||
"content": "最近ちょっと疲れてるんだけど、少し気分が軽くなるように話して。"
|
||||
}
|
||||
]
|
||||
|
||||
text = tokenizer.apply_chat_template(
|
||||
messages,
|
||||
tokenize=False,
|
||||
add_generation_prompt=True,
|
||||
)
|
||||
|
||||
inputs = tokenizer(text, return_tensors="pt").to(model.device)
|
||||
|
||||
with torch.no_grad():
|
||||
outputs = model.generate(
|
||||
**inputs,
|
||||
max_new_tokens=512,
|
||||
do_sample=True,
|
||||
temperature=0.7,
|
||||
top_p=0.9,
|
||||
repetition_penalty=1.05,
|
||||
)
|
||||
|
||||
print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:], skip_special_tokens=True))
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
# 6. Recommended Generation Settings
|
||||
|
||||
用途が会話・説明・Fable系の返答寄りなので、まずは以下を推奨します。
|
||||
|
||||
## 会話向け
|
||||
|
||||
```python
|
||||
max_new_tokens = 512
|
||||
do_sample = True
|
||||
temperature = 0.7
|
||||
top_p = 0.9
|
||||
repetition_penalty = 1.05
|
||||
```
|
||||
|
||||
## 少し安定寄りにする場合
|
||||
|
||||
```python
|
||||
max_new_tokens = 512
|
||||
do_sample = True
|
||||
temperature = 0.5
|
||||
top_p = 0.9
|
||||
repetition_penalty = 1.05
|
||||
```
|
||||
|
||||
## 長めの応答を書かせる場合
|
||||
|
||||
```python
|
||||
max_new_tokens = 1024
|
||||
temperature = 0.7
|
||||
top_p = 0.95
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
# 7. Example Prompts
|
||||
|
||||
## 日常会話
|
||||
|
||||
* `最近ちょっと気分が落ちてるから、少し優しく話してほしい。`
|
||||
* `今日あったことを聞いてほしい。`
|
||||
|
||||
## 説明・整理
|
||||
|
||||
* `量子コンピュータって何か、中学生にもわかるように説明して。`
|
||||
* `この文章を3行で要約して。`
|
||||
|
||||
## ロールプレイ / 雰囲気重視
|
||||
|
||||
* `落ち着いた口調で、夜に話しかけるような感じで返して。`
|
||||
* `少し物語っぽい雰囲気で励まして。`
|
||||
|
||||
## 推論・長文応答
|
||||
|
||||
* `A案とB案のメリット・デメリットを比較して整理して。`
|
||||
* `この悩みに対して、考え方を段階的に整理してほしい。`
|
||||
|
||||
---
|
||||
|
||||
# 8. Limitations
|
||||
|
||||
このモデルは**研究・実験用途**です。以下の制約があります。
|
||||
|
||||
* 事実性は保証されません
|
||||
* 説明がもっともらしくても誤っている場合があります
|
||||
* 長い応答では一貫性が崩れることがあります
|
||||
* Fable系のスタイルに寄ることで、必要以上に感情的・演出的な返答になる場合があります
|
||||
* chain-of-thought風の出力や冗長な説明が出ることがあります
|
||||
|
||||
**重要な判断に使う場合は、必ず人間が内容を確認してください。**
|
||||
|
||||
---
|
||||
|
||||
# 9. Safety / Responsible Use
|
||||
|
||||
以下の用途には適しません。
|
||||
|
||||
* 医療・法務・金融など高リスク分野の最終判断
|
||||
* 人の状態に関する重大な判断の自動化
|
||||
* 真偽確認なしでの事実情報の利用
|
||||
* セーフティ確認なしの本番自動応答
|
||||
|
||||
モデルの出力は参考情報として扱い、必要に応じて別ソースで確認してください。
|
||||
|
||||
---
|
||||
|
||||
# 10. License
|
||||
|
||||
## Important
|
||||
|
||||
このモデルの利用条件は、**ベースモデル `summerMC/Sakura` のライセンス** および **学習データ `summerMC/v-Fable` のライセンス** に依存します。
|
||||
利用前に必ずそれぞれの配布ページを確認してください。
|
||||
|
||||
* Base model: `summerMC/Sakura`
|
||||
* Dataset: `summerMC/v-Fable`
|
||||
|
||||
特に、学習データに由来するライセンス・利用条件・再配布条件には注意してください。
|
||||
|
||||
---
|
||||
|
||||
# 11. Citation
|
||||
|
||||
もしこのモデルや派生物を研究・検証に利用した場合は、ベースモデルと学習データのクレジットも併記してください。
|
||||
|
||||
```bibtex
|
||||
@misc{matutake2026,
|
||||
title = {matutake},
|
||||
author = {summerMC},
|
||||
year = {2026},
|
||||
howpublished = {\url{https://huggingface.co/summerMC/matutake}}
|
||||
}
|
||||
```
|
||||
|
||||
必要に応じて、ベースモデル・データセットの引用も追加してください。
|
||||
|
||||
---
|
||||
|
||||
# 12. Notes
|
||||
|
||||
`matutake` は、Sakura系列をベースに **Fable系の会話・推論・スタイル応答** を強化するための実験モデルです。
|
||||
ベンチマークスコアの最適化よりも、**会話としての自然さ、返答の雰囲気、長めの応答生成** を重視しています。
|
||||
Reference in New Issue
Block a user