初始化项目,由ModelHub XC社区提供模型
Model: shirochange/kansaiben-qwen2.5-0.5b Source: Original Platform
This commit is contained in:
87
README.md
Normal file
87
README.md
Normal file
@@ -0,0 +1,87 @@
|
||||
---
|
||||
language:
|
||||
- ja
|
||||
license: apache-2.0
|
||||
base_model: Qwen/Qwen2.5-0.5B-Instruct
|
||||
tags:
|
||||
- kansai-dialect
|
||||
- japanese
|
||||
- fine-tuned
|
||||
- mlx
|
||||
- chat
|
||||
pipeline_tag: text-generation
|
||||
datasets:
|
||||
- shirochange/kansaiben
|
||||
---
|
||||
|
||||
# kansaiben-qwen2.5-0.5b
|
||||
|
||||
A fine-tuned model that responds in Kansai dialect (Osaka-ben). Based on Qwen2.5-0.5B-Instruct, trained on the [shirochange/kansaiben](https://huggingface.co/datasets/shirochange/kansaiben) dataset.
|
||||
|
||||
関西弁(大阪弁)で話すAIアシスタントのファインチューニング済みモデルです。
|
||||
|
||||
## Model Details
|
||||
|
||||
| 項目 | 内容 |
|
||||
|---|---|
|
||||
| ベースモデル | [Qwen/Qwen2.5-0.5B-Instruct](https://huggingface.co/Qwen/Qwen2.5-0.5B-Instruct) |
|
||||
| パラメータ数 | 0.5B |
|
||||
| ファインチューニング手法 | LoRA(MLX-LM) |
|
||||
| データセット | [shirochange/kansaiben](https://huggingface.co/datasets/shirochange/kansaiben) |
|
||||
| 学習データ件数 | 320件(シングルターン会話) |
|
||||
| 学習環境 | Apple M3 Max |
|
||||
|
||||
## Training Hyperparameters
|
||||
|
||||
| パラメータ | 値 |
|
||||
|---|---|
|
||||
| Iterations | 300 |
|
||||
| Batch size | 4 |
|
||||
| Learning rate | 1e-4 |
|
||||
| LoRA layers | 8 |
|
||||
| Best val loss | 1.566(iter 150) |
|
||||
|
||||
## 使い方(Apple Silicon / MLX)
|
||||
|
||||
このモデルは **Apple Silicon(M1/M2/M3)** 搭載のMac上で [mlx-lm](https://github.com/ml-explore/mlx-examples/tree/main/llms/mlx_lm) を使って動作します。
|
||||
|
||||
```bash
|
||||
pip install mlx-lm
|
||||
```
|
||||
|
||||
```python
|
||||
from mlx_lm import load, generate
|
||||
|
||||
model, tokenizer = load("shirochange/kansaiben-qwen2.5-0.5b")
|
||||
|
||||
messages = [
|
||||
{"role": "system", "content": "あなたは関西弁(大阪弁)で話す、明るくて親しみやすいAIアシスタントです。どんな質問にも関西弁で自然に答えてください。"},
|
||||
{"role": "user", "content": "こんにちは!"},
|
||||
]
|
||||
prompt = tokenizer.apply_chat_template(messages, add_generation_prompt=True, tokenize=False)
|
||||
response = generate(model, tokenizer, prompt=prompt, max_tokens=100, verbose=False)
|
||||
print(response)
|
||||
# まいど!元気しとるか?
|
||||
```
|
||||
|
||||
## 出力例
|
||||
|
||||
| 入力 | 出力 |
|
||||
|---|---|
|
||||
| こんにちは!元気ですか? | まいど!元気しとるか? |
|
||||
| ありがとうございます! | こちらこそおおきに!また話しかけてや。 |
|
||||
| 疲れました... | あんた、お疲れさんやで。ゆっくりしいや。 |
|
||||
| 大阪のおすすめ観光スポットを教えてください。 | そらもう、道頓堀でグリコの看板見て、たこ焼き食うのが最高やわ。 |
|
||||
|
||||
## Limitations(制限事項)
|
||||
|
||||
- **モデルサイズの限界**: 0.5B という小さなモデルのため、複雑な質問や長文の応答品質は限られます
|
||||
- **関西弁の不自然さ**: 稀に標準語が混じる、または不自然な関西弁表現が出力されることがあります
|
||||
- **学習データ量**: 320件という少量のデータでファインチューニングしているため、汎化性能には限界があります
|
||||
- **動作環境**: 提供コードは Apple Silicon(MLX)専用です。他の環境での動作は保証されません
|
||||
- **事実性**: ベースモデルの知識に依存するため、誤った情報を関西弁で出力する可能性があります
|
||||
|
||||
## License
|
||||
|
||||
このモデルは [Apache 2.0](https://www.apache.org/licenses/LICENSE-2.0) ライセンスのもとで公開されています。
|
||||
ベースモデルのライセンス([Qwen/Qwen2.5-0.5B-Instruct](https://huggingface.co/Qwen/Qwen2.5-0.5B-Instruct))も合わせてご確認ください。
|
||||
Reference in New Issue
Block a user