187 lines
7.4 KiB
Markdown
187 lines
7.4 KiB
Markdown
---
|
||
license: apache-2.0
|
||
library_name: transformers
|
||
pipeline_tag: text-generation
|
||
language:
|
||
- ja
|
||
- en
|
||
base_model:
|
||
- nri-ai/Qwen3-14B-Ja-Fin-CPT
|
||
base_model_relation: finetune
|
||
tags:
|
||
- finance
|
||
- japanese
|
||
- reasoning
|
||
- thinking
|
||
- sft
|
||
datasets:
|
||
- nri-ai/nri-fin-reasoning
|
||
---
|
||
|
||
# Qwen3-14B-Ja-Fin-Thinking
|
||
|
||
<div align="center" style="line-height: 1;">
|
||
<a href="https://huggingface.co/nri-ai" target="_blank" style="margin: 2px;">
|
||
<img alt="Hugging Face" src="https://img.shields.io/badge/%F0%9F%A4%97%20Hugging%20Face-NRI--AI-005bac?color=005bac&logoColor=white" style="display: inline-block; vertical-align: middle;"/>
|
||
</a>
|
||
<a href="https://huggingface.co/nri-ai/Qwen3-14B-Ja-Fin-Thinking" target="_blank" style="margin: 2px;">
|
||
<img alt="English" src="https://img.shields.io/badge/%F0%9F%87%AC%F0%9F%87%A7%20English-README-005bac?color=005bac&logoColor=white" style="display: inline-block; vertical-align: middle;"/>
|
||
</a>
|
||
</div>
|
||
<div align="center" style="line-height: 1;">
|
||
<a href="https://www.anlp.jp/proceedings/annual_meeting/2026/pdf_dir/C7-2.pdf" target="_blank" style="margin: 2px;">
|
||
<img alt="NLP2026" src="https://img.shields.io/badge/%F0%9F%93%9D%20NLP2026-Paper-005bac?color=005bac&logoColor=white" style="display: inline-block; vertical-align: middle;"/>
|
||
</a>
|
||
<a href="https://arxiv.org/abs/2603.01353" target="_blank" style="margin: 2px;">
|
||
<img alt="arXiv" src="https://img.shields.io/badge/%F0%9F%93%9D%20arXiv-Paper-b31b1b?color=b31b1b&logoColor=white" style="display: inline-block; vertical-align: middle;"/>
|
||
</a>
|
||
<a href="https://huggingface.co/datasets/nri-ai/nri-fin-reasoning" target="_blank" style="margin: 2px;">
|
||
<img alt="Dataset" src="https://img.shields.io/badge/%F0%9F%97%82%EF%B8%8F%20Dataset-nri--fin--reasoning-005bac?color=005bac&logoColor=white" style="display: inline-block; vertical-align: middle;"/>
|
||
</a>
|
||
</div>
|
||
<div align="center" style="line-height: 1;">
|
||
<a href="https://www.apache.org/licenses/LICENSE-2.0" style="margin: 2px;">
|
||
<img alt="License" src="https://img.shields.io/badge/License-Apache_2.0-f5de53?color=f5de53" style="display: inline-block; vertical-align: middle;"/>
|
||
</a>
|
||
</div>
|
||
|
||
[Qwen3-14B-Ja-Fin-CPT](https://huggingface.co/nri-ai/Qwen3-14B-Ja-Fin-CPT) を教師ありファインチューニングした、日本語金融ドメイン推論モデル。
|
||
|
||
## モデル概要
|
||
|
||
日本語金融ドメインのタスクに対して、明示的な推論トレース付きの高品質な応答を生成するよう学習されています。
|
||
|
||
- **ベースモデル**: [Qwen3-14B-Ja-Fin-CPT](https://huggingface.co/nri-ai/Qwen3-14B-Ja-Fin-CPT)
|
||
- **学習段階**: 教師ありファインチューニング（SFT）
|
||
- **ドメイン**: 日本語金融
|
||
- **言語**: 日本語、英語
|
||
|
||
## ベンチマーク結果
|
||
|
||
### japanese-lm-fin-harness
|
||
|
||
| モデル | 平均 | chabsa | cma | cpa | fp2 | ss1 |
|
||
|--------|:----:|:------:|:---:|:---:|:---:|:---:|
|
||
| Qwen3-14B (official) | 71.04 | **91.96** | **93.26** | **49.37** | 53.37 | 67.22 |
|
||
| **Qwen3-14B-Ja-Fin-Thinking (Ours)** | **71.78** | 91.62 | 91.45 | 48.59 | **60.00** | 67.27 |
|
||
|
||
### pfmt-bench-fin-ja
|
||
|
||
| モデル | 平均 | turn1 | turn2 |
|
||
|--------|:----:|:-----:|:-----:|
|
||
| Qwen3-14B (official) | 8.104 | 8.211 | 7.997 |
|
||
| **Qwen3-14B-Ja-Fin-Thinking (Ours)** | **8.455** | **8.514** | **8.395** |
|
||
|
||
## 学習
|
||
|
||
### 教師ありファインチューニング
|
||
|
||
推論トレース付きの合成指示データセットでファインチューニングを行いました：
|
||
|
||
- **データセット**: [nri-fin-reasoning](https://huggingface.co/datasets/nri-ai/nri-fin-reasoning) + 補助データ
|
||
- **総サンプル数**: 約144万
|
||
- **総トークン数**: 約95億
|
||
- **エポック数**: 2
|
||
|
||
**学習インフラ:**
|
||
- ハードウェア: AWS p5en.48xlarge（NVIDIA H200 Tensor Core GPU × 8）
|
||
- 学習時間: 約240時間
|
||
|
||
## 使い方
|
||
|
||
```python
|
||
from transformers import AutoModelForCausalLM, AutoTokenizer
|
||
|
||
model_name = "nri-ai/Qwen3-14B-Ja-Fin-Thinking"
|
||
|
||
tokenizer = AutoTokenizer.from_pretrained(model_name)
|
||
model = AutoModelForCausalLM.from_pretrained(
|
||
model_name,
|
||
torch_dtype="auto",
|
||
device_map="auto"
|
||
)
|
||
|
||
messages = [
|
||
{"role": "user", "content": "分散投資のメリットとデメリットを説明してください。"}
|
||
]
|
||
|
||
text = tokenizer.apply_chat_template(
|
||
messages,
|
||
tokenize=False,
|
||
add_generation_prompt=True
|
||
)
|
||
|
||
inputs = tokenizer([text], return_tensors="pt").to(model.device)
|
||
outputs = model.generate(**inputs, max_new_tokens=8192)
|
||
|
||
response = tokenizer.decode(outputs[0][inputs.input_ids.shape[-1]:], skip_special_tokens=True)
|
||
print(response)
|
||
```
|
||
|
||
## 想定される用途
|
||
|
||
### 主な用途
|
||
|
||
- 日本語での金融質問応答
|
||
- 金融文書の分析・要約
|
||
- 金融推論・計算タスク
|
||
- マルチターンの金融アドバイザリー会話
|
||
|
||
### 想定外の用途
|
||
|
||
- 追加の安全性評価なしでの本番環境へのデプロイ
|
||
- 専門的な金融アドバイス（本モデルは研究用です）
|
||
- 金融以外のドメインへの適用
|
||
|
||
## 制限事項
|
||
|
||
- **ドメインの限定性**: 日本語金融ドメインに最適化されており、他のドメインでの性能は異なる場合があります
|
||
- **合成学習データ**: 品質フィルタリングにもかかわらずハルシネーションを含む可能性があります
|
||
- **言語対応**: 主に日本語と英語です
|
||
|
||
## 倫理的配慮
|
||
|
||
- 本モデルが生成する金融情報は、専門家による確認なしに専門的な金融アドバイスとしてそのまま利用することは推奨されません
|
||
- 重要な金融判断を行う際は、信頼できる情報源や専門家の助言と併せてご活用ください
|
||
- 学習データに含まれるバイアスがモデルの出力に反映されている可能性があります
|
||
|
||
## ライセンス
|
||
|
||
本モデルはApache 2.0ライセンスの下で公開されています。
|
||
|
||
## プライバシーポリシー
|
||
|
||
個人情報の取り扱いについては、[プライバシーポリシー](https://huggingface.co/nri-ai/Qwen3-14B-Ja-Fin-Thinking/blob/main/docs/PRIVACY_NOTICE.ja.md)（[English](https://huggingface.co/nri-ai/Qwen3-14B-Ja-Fin-Thinking/blob/main/docs/PRIVACY_NOTICE.md)）をご参照ください。
|
||
|
||
## 引用
|
||
|
||
```bibtex
|
||
@inproceedings{okochiDomainSpecificLLM2026,
|
||
author = {大河内 悠磨 and Sim, Fabio Milentiansen and 岡田 智靖},
|
||
title = {ドメイン特化LLMの推論能力向上を目的とした合成指示データセットの構築と金融ドメインにおける評価},
|
||
booktitle = {言語処理学会第32回年次大会 (NLP2026) },
|
||
year = {2026},
|
||
month = mar,
|
||
address = {Utsunomiya, Tochigi, Japan},
|
||
publisher = {言語処理学会},
|
||
note = {Paper ID: C7-2},
|
||
url = {https://www.anlp.jp/proceedings/annual_meeting/2026/pdf_dir/C7-2.pdf}
|
||
}
|
||
```
|
||
|
||
```bibtex
|
||
@misc{okochi2026constructingsyntheticinstructiondatasets,
|
||
title = {Constructing Synthetic Instruction Datasets for Improving Reasoning in Domain-Specific LLMs: A Case Study in the Japanese Financial Domain},
|
||
author = {Yuma Okochi and Fabio Milentiansen Sim and Tomoyasu Okada},
|
||
year = {2026},
|
||
eprint = {2603.01353},
|
||
archivePrefix = {arXiv},
|
||
primaryClass = {cs.LG},
|
||
url = {https://arxiv.org/abs/2603.01353}
|
||
}
|
||
```
|
||
|
||
## 謝辞
|
||
|
||
本モデルの開発（本研究）は、経済産業省とＮＥＤＯが実施する、国内の生成 AI の開発力強化を目的としたプロジェクト「GENIAC（Generative AI Accelerator Challenge）」の支援を受けて実施したものです。
|