117 lines
5.2 KiB
Markdown
117 lines
5.2 KiB
Markdown
|
---
|
|||
|
|
license: apache-2.0
|
|||
|
|
library_name: transformers
|
|||
|
|
pipeline_tag: text-generation
|
|||
|
|
language:
|
|||
|
|
- ja
|
|||
|
|
- en
|
|||
|
|
base_model:
|
|||
|
|
- Qwen/Qwen3-14B-Base
|
|||
|
|
base_model_relation: finetune
|
|||
|
|
tags:
|
|||
|
|
- finance
|
|||
|
|
- japanese
|
|||
|
|
- cpt
|
|||
|
|
- continued-pretraining
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
# Qwen3-14B-Ja-Fin-CPT
|
|||
|
|
|
|||
|
|
<div align="center" style="line-height: 1;">
|
|||
|
|
<a href="https://huggingface.co/nri-ai" target="_blank" style="margin: 2px;">
|
|||
|
|
<img alt="Hugging Face" src="https://img.shields.io/badge/%F0%9F%A4%97%20Hugging%20Face-NRI--AI-005bac?color=005bac&logoColor=white" style="display: inline-block; vertical-align: middle;"/>
|
|||
|
|
</a>
|
|||
|
|
<a href="https://huggingface.co/nri-ai/Qwen3-14B-Ja-Fin-CPT" target="_blank" style="margin: 2px;">
|
|||
|
|
<img alt="English" src="https://img.shields.io/badge/%F0%9F%87%AC%F0%9F%87%A7%20English-README-005bac?color=005bac&logoColor=white" style="display: inline-block; vertical-align: middle;"/>
|
|||
|
|
</a>
|
|||
|
|
</div>
|
|||
|
|
<div align="center" style="line-height: 1;">
|
|||
|
|
<a href="https://www.anlp.jp/proceedings/annual_meeting/2026/pdf_dir/C7-2.pdf" target="_blank" style="margin: 2px;">
|
|||
|
|
<img alt="NLP2026" src="https://img.shields.io/badge/%F0%9F%93%9D%20NLP2026-Paper-005bac?color=005bac&logoColor=white" style="display: inline-block; vertical-align: middle;"/>
|
|||
|
|
</a>
|
|||
|
|
<a href="https://arxiv.org/abs/2603.01353" target="_blank" style="margin: 2px;">
|
|||
|
|
<img alt="arXiv" src="https://img.shields.io/badge/%F0%9F%93%9D%20arXiv-Paper-b31b1b?color=b31b1b&logoColor=white" style="display: inline-block; vertical-align: middle;"/>
|
|||
|
|
</a>
|
|||
|
|
</div>
|
|||
|
|
<div align="center" style="line-height: 1;">
|
|||
|
|
<a href="https://www.apache.org/licenses/LICENSE-2.0" style="margin: 2px;">
|
|||
|
|
<img alt="License" src="https://img.shields.io/badge/License-Apache_2.0-f5de53?color=f5de53" style="display: inline-block; vertical-align: middle;"/>
|
|||
|
|
</a>
|
|||
|
|
</div>
|
|||
|
|
|
|||
|
|
[Qwen3-14B-Base](https://huggingface.co/Qwen/Qwen3-14B-Base) を日本語金融コーパスで継続事前学習した、日本語金融ドメインモデル。
|
|||
|
|
|
|||
|
|
## モデル概要
|
|||
|
|
|
|||
|
|
日本語金融ドメインに適応したベースモデルで、金融タスクへのファインチューニングを前提としています。
|
|||
|
|
|
|||
|
|
- **ベースモデル**: [Qwen3-14B-Base](https://huggingface.co/Qwen/Qwen3-14B-Base)
|
|||
|
|
- **学習段階**: 継続事前学習（CPT）
|
|||
|
|
- **ドメイン**: 日本語金融
|
|||
|
|
- **言語**: 日本語、英語
|
|||
|
|
|
|||
|
|
## 学習
|
|||
|
|
|
|||
|
|
### 継続事前学習
|
|||
|
|
|
|||
|
|
Common Crawlおよびその他の公開ソースから構築した日本語金融コーパスを使用し、ドメイン分類と品質フィルタリングを適用して学習を行いました。
|
|||
|
|
|
|||
|
|
**学習インフラ:**
|
|||
|
|
- ハードウェア: AWS p5en.48xlarge（NVIDIA H200 Tensor Core GPU × 8）
|
|||
|
|
|
|||
|
|
## 想定される用途
|
|||
|
|
|
|||
|
|
ファインチューニングの基盤モデルとしての利用を想定しています。指示追従・推論能力を備えたモデルは [Qwen3-14B-Ja-Fin-Thinking](https://huggingface.co/nri-ai/Qwen3-14B-Ja-Fin-Thinking) をご参照ください。
|
|||
|
|
|
|||
|
|
### 主な用途
|
|||
|
|
|
|||
|
|
- 金融ドメインSFTのベースモデル
|
|||
|
|
- 金融テキストの特徴量抽出
|
|||
|
|
- 独自の金融データによる追加事前学習
|
|||
|
|
|
|||
|
|
## 制限事項
|
|||
|
|
|
|||
|
|
- **指示チューニング未実施**: 教師ありファインチューニングが行われていないため、指示への追従性が低い場合があります
|
|||
|
|
- **ドメインの限定性**: 日本語金融ドメインに最適化されており、他のドメインでの性能は異なる場合があります
|
|||
|
|
- **言語対応**: 主に日本語と英語です
|
|||
|
|
|
|||
|
|
## ライセンス
|
|||
|
|
|
|||
|
|
本モデルはApache 2.0ライセンスの下で公開されています。
|
|||
|
|
|
|||
|
|
## プライバシーポリシー
|
|||
|
|
|
|||
|
|
個人情報の取り扱いについては、[プライバシーポリシー](https://huggingface.co/nri-ai/Qwen3-14B-Ja-Fin-CPT/blob/main/docs/PRIVACY_NOTICE.ja.md)（[English](https://huggingface.co/nri-ai/Qwen3-14B-Ja-Fin-CPT/blob/main/docs/PRIVACY_NOTICE.md)）をご参照ください。
|
|||
|
|
|
|||
|
|
## 引用
|
|||
|
|
|
|||
|
|
```bibtex
|
|||
|
|
@inproceedings{okochiDomainSpecificLLM2026,
|
|||
|
|
author = {大河内 悠磨 and Sim, Fabio Milentiansen and 岡田 智靖},
|
|||
|
|
title = {ドメイン特化LLMの推論能力向上を目的とした合成指示データセットの構築と金融ドメインにおける評価},
|
|||
|
|
booktitle = {言語処理学会第32回年次大会 (NLP2026) },
|
|||
|
|
year = {2026},
|
|||
|
|
month = mar,
|
|||
|
|
address = {Utsunomiya, Tochigi, Japan},
|
|||
|
|
publisher = {言語処理学会},
|
|||
|
|
note = {Paper ID: C7-2},
|
|||
|
|
url = {https://www.anlp.jp/proceedings/annual_meeting/2026/pdf_dir/C7-2.pdf}
|
|||
|
|
}
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
```bibtex
|
|||
|
|
@misc{okochi2026constructingsyntheticinstructiondatasets,
|
|||
|
|
title = {Constructing Synthetic Instruction Datasets for Improving Reasoning in Domain-Specific LLMs: A Case Study in the Japanese Financial Domain},
|
|||
|
|
author = {Yuma Okochi and Fabio Milentiansen Sim and Tomoyasu Okada},
|
|||
|
|
year = {2026},
|
|||
|
|
eprint = {2603.01353},
|
|||
|
|
archivePrefix = {arXiv},
|
|||
|
|
primaryClass = {cs.LG},
|
|||
|
|
url = {https://arxiv.org/abs/2603.01353}
|
|||
|
|
}
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
## 謝辞
|
|||
|
|
|
|||
|
|
本モデルの開発（本研究）は、経済産業省とＮＥＤＯが実施する、国内の生成 AI の開発力強化を目的としたプロジェクト「GENIAC（Generative AI Accelerator Challenge）」の支援を受けて実施したものです。
|