137 lines
3.1 KiB
Markdown
137 lines
3.1 KiB
Markdown
---
|
||
license: other
|
||
license_name: qwen
|
||
license_link: https://huggingface.co/Qwen/Qwen3-1.7B/blob/main/LICENSE
|
||
language:
|
||
- ja
|
||
- en
|
||
base_model: Qwen/Qwen3-1.7B
|
||
tags:
|
||
- gguf
|
||
- japanese
|
||
- thinking
|
||
- llama.cpp
|
||
- ios
|
||
- iphone
|
||
- local-llm
|
||
library_name: transformers
|
||
pipeline_tag: text-generation
|
||
---
|
||
|
||
# ElioChat-1.7B-Instruct-v3
|
||
|
||
iPhoneで動く日本語思考AI。Qwen3-1.7Bベースに日本語思考データでファインチューニング。
|
||
|
||
## 特徴
|
||
|
||
- **思考過程が見える**: `<think>...</think>` タグで推論プロセスを表示
|
||
- **日本語最適化**: 日本語・日本文化に特化した1,166件の学習データ
|
||
- **軽量**: Q5_K_M量子化で約1.2GB、iPhone 13以降で快適動作
|
||
- **学習コスト**: わずか$0.70（約100円）
|
||
|
||
## ダウンロード
|
||
|
||
| ファイル | サイズ | 用途 |
|
||
|----------|--------|------|
|
||
| `ElioChat-1.7B-Instruct-v3-Q5_K_M.gguf` | 1.2 GB | 推奨（バランス型）|
|
||
| `ElioChat-1.7B-Instruct-v3-F16.gguf` | 3.2 GB | 高品質版 |
|
||
|
||
## 使用例
|
||
|
||
### llama.cpp
|
||
|
||
```bash
|
||
llama-cli -m ElioChat-1.7B-Instruct-v3-Q5_K_M.gguf \
|
||
-p "<|im_start|>user\n2の10乗は？<|im_end|>\n<|im_start|>assistant\n" \
|
||
-n 200 --temp 0.7
|
||
```
|
||
|
||
### iPhoneアプリ
|
||
|
||
- [ElioChat](https://eliochat.com) - iOS向けローカルLLMアプリ
|
||
- [PocketPal AI](https://pocketpal.ai) - iOS向けLLMアプリ
|
||
|
||
## 応答例
|
||
|
||
### 数学問題
|
||
|
||
```
|
||
Q: 2の10乗はいくつ？
|
||
|
||
A: <think>
|
||
2を10回かけます。
|
||
2^1 = 2
|
||
2^2 = 4
|
||
2^3 = 8
|
||
...
|
||
2^10 = 1024
|
||
</think>
|
||
|
||
答えは1024です。
|
||
```
|
||
|
||
### 論理推論
|
||
|
||
```
|
||
Q: AはBより背が高い。BはCより背が高い。一番背が高いのは誰？
|
||
|
||
A: <think>
|
||
AはBより高い、BはCより高い。
|
||
A > B > C の関係。
|
||
</think>
|
||
|
||
一番背が高いのはAです。
|
||
```
|
||
|
||
## ベンチマーク（2025年1月）
|
||
|
||
| モデル | 正答率 | 思考タグ | 平均応答時間 |
|
||
|--------|--------|----------|--------------|
|
||
| **ElioChat-1.7B-v3** | 70% | **45%** | 20.7s |
|
||
| Qwen3-1.7B | 65% | 20% | 16.3s |
|
||
| TinySwallow-1.5B | 90% | 0% | 14.9s |
|
||
| Sarashina2.2-3B | 90% | 0% | 8.8s |
|
||
|
||
> ElioChat-v3は思考過程を可視化する唯一のモデル。「なぜその答えなのか」が分かる。
|
||
|
||
## 学習データ構成
|
||
|
||
| カテゴリ | 件数 |
|
||
|---------|------|
|
||
| コア推論（論理・数学） | 515 |
|
||
| 日本語・文化 | 193 |
|
||
| 会話・ユーモア | 116 |
|
||
| 実用・教養 | 153 |
|
||
| その他 | 189 |
|
||
| **合計** | **1,166** |
|
||
|
||
## 学習詳細
|
||
|
||
| 項目 | 値 |
|
||
|------|-----|
|
||
| ベースモデル | Qwen/Qwen3-1.7B |
|
||
| 学習方式 | LoRA (PEFT) |
|
||
| LoRA Rank | 64 |
|
||
| GPU | NVIDIA A100-SXM4-40GB |
|
||
| 学習時間 | 32.7分 |
|
||
| **コスト** | **$0.70** |
|
||
| 最終Loss | 1.25 |
|
||
|
||
## オフライン利用
|
||
|
||
モデルをダウンロードすれば、ネット接続なしで使えます：
|
||
- 飛行機の中
|
||
- 山の中
|
||
- 地下鉄
|
||
- プライバシーが必要な場面
|
||
|
||
## 関連リンク
|
||
|
||
- **GitHub**: [yukihamada/qwen-jp](https://github.com/yukihamada/qwen-jp)
|
||
- **ElioChat App**: [eliochat.com](https://eliochat.com)
|
||
|
||
## ライセンス
|
||
|
||
- ベースモデル: Qwen License
|
||
- 学習データ・コード: MIT License
|