117 lines
5.2 KiB
Markdown
117 lines
5.2 KiB
Markdown
---
|
||
license: apache-2.0
|
||
library_name: transformers
|
||
pipeline_tag: text-generation
|
||
language:
|
||
- ja
|
||
- en
|
||
base_model:
|
||
- Qwen/Qwen3-14B-Base
|
||
base_model_relation: finetune
|
||
tags:
|
||
- finance
|
||
- japanese
|
||
- cpt
|
||
- continued-pretraining
|
||
---
|
||
|
||
# Qwen3-14B-Ja-Fin-CPT
|
||
|
||
<div align="center" style="line-height: 1;">
|
||
<a href="https://huggingface.co/nri-ai" target="_blank" style="margin: 2px;">
|
||
<img alt="Hugging Face" src="https://img.shields.io/badge/%F0%9F%A4%97%20Hugging%20Face-NRI--AI-005bac?color=005bac&logoColor=white" style="display: inline-block; vertical-align: middle;"/>
|
||
</a>
|
||
<a href="https://huggingface.co/nri-ai/Qwen3-14B-Ja-Fin-CPT" target="_blank" style="margin: 2px;">
|
||
<img alt="English" src="https://img.shields.io/badge/%F0%9F%87%AC%F0%9F%87%A7%20English-README-005bac?color=005bac&logoColor=white" style="display: inline-block; vertical-align: middle;"/>
|
||
</a>
|
||
</div>
|
||
<div align="center" style="line-height: 1;">
|
||
<a href="https://www.anlp.jp/proceedings/annual_meeting/2026/pdf_dir/C7-2.pdf" target="_blank" style="margin: 2px;">
|
||
<img alt="NLP2026" src="https://img.shields.io/badge/%F0%9F%93%9D%20NLP2026-Paper-005bac?color=005bac&logoColor=white" style="display: inline-block; vertical-align: middle;"/>
|
||
</a>
|
||
<a href="https://arxiv.org/abs/2603.01353" target="_blank" style="margin: 2px;">
|
||
<img alt="arXiv" src="https://img.shields.io/badge/%F0%9F%93%9D%20arXiv-Paper-b31b1b?color=b31b1b&logoColor=white" style="display: inline-block; vertical-align: middle;"/>
|
||
</a>
|
||
</div>
|
||
<div align="center" style="line-height: 1;">
|
||
<a href="https://www.apache.org/licenses/LICENSE-2.0" style="margin: 2px;">
|
||
<img alt="License" src="https://img.shields.io/badge/License-Apache_2.0-f5de53?color=f5de53" style="display: inline-block; vertical-align: middle;"/>
|
||
</a>
|
||
</div>
|
||
|
||
[Qwen3-14B-Base](https://huggingface.co/Qwen/Qwen3-14B-Base) を日本語金融コーパスで継続事前学習した、日本語金融ドメインモデル。
|
||
|
||
## モデル概要
|
||
|
||
日本語金融ドメインに適応したベースモデルで、金融タスクへのファインチューニングを前提としています。
|
||
|
||
- **ベースモデル**: [Qwen3-14B-Base](https://huggingface.co/Qwen/Qwen3-14B-Base)
|
||
- **学習段階**: 継続事前学習（CPT）
|
||
- **ドメイン**: 日本語金融
|
||
- **言語**: 日本語、英語
|
||
|
||
## 学習
|
||
|
||
### 継続事前学習
|
||
|
||
Common Crawlおよびその他の公開ソースから構築した日本語金融コーパスを使用し、ドメイン分類と品質フィルタリングを適用して学習を行いました。
|
||
|
||
**学習インフラ:**
|
||
- ハードウェア: AWS p5en.48xlarge（NVIDIA H200 Tensor Core GPU × 8）
|
||
|
||
## 想定される用途
|
||
|
||
ファインチューニングの基盤モデルとしての利用を想定しています。指示追従・推論能力を備えたモデルは [Qwen3-14B-Ja-Fin-Thinking](https://huggingface.co/nri-ai/Qwen3-14B-Ja-Fin-Thinking) をご参照ください。
|
||
|
||
### 主な用途
|
||
|
||
- 金融ドメインSFTのベースモデル
|
||
- 金融テキストの特徴量抽出
|
||
- 独自の金融データによる追加事前学習
|
||
|
||
## 制限事項
|
||
|
||
- **指示チューニング未実施**: 教師ありファインチューニングが行われていないため、指示への追従性が低い場合があります
|
||
- **ドメインの限定性**: 日本語金融ドメインに最適化されており、他のドメインでの性能は異なる場合があります
|
||
- **言語対応**: 主に日本語と英語です
|
||
|
||
## ライセンス
|
||
|
||
本モデルはApache 2.0ライセンスの下で公開されています。
|
||
|
||
## プライバシーポリシー
|
||
|
||
個人情報の取り扱いについては、[プライバシーポリシー](https://huggingface.co/nri-ai/Qwen3-14B-Ja-Fin-CPT/blob/main/docs/PRIVACY_NOTICE.ja.md)（[English](https://huggingface.co/nri-ai/Qwen3-14B-Ja-Fin-CPT/blob/main/docs/PRIVACY_NOTICE.md)）をご参照ください。
|
||
|
||
## 引用
|
||
|
||
```bibtex
|
||
@inproceedings{okochiDomainSpecificLLM2026,
|
||
author = {大河内 悠磨 and Sim, Fabio Milentiansen and 岡田 智靖},
|
||
title = {ドメイン特化LLMの推論能力向上を目的とした合成指示データセットの構築と金融ドメインにおける評価},
|
||
booktitle = {言語処理学会第32回年次大会 (NLP2026) },
|
||
year = {2026},
|
||
month = mar,
|
||
address = {Utsunomiya, Tochigi, Japan},
|
||
publisher = {言語処理学会},
|
||
note = {Paper ID: C7-2},
|
||
url = {https://www.anlp.jp/proceedings/annual_meeting/2026/pdf_dir/C7-2.pdf}
|
||
}
|
||
```
|
||
|
||
```bibtex
|
||
@misc{okochi2026constructingsyntheticinstructiondatasets,
|
||
title = {Constructing Synthetic Instruction Datasets for Improving Reasoning in Domain-Specific LLMs: A Case Study in the Japanese Financial Domain},
|
||
author = {Yuma Okochi and Fabio Milentiansen Sim and Tomoyasu Okada},
|
||
year = {2026},
|
||
eprint = {2603.01353},
|
||
archivePrefix = {arXiv},
|
||
primaryClass = {cs.LG},
|
||
url = {https://arxiv.org/abs/2603.01353}
|
||
}
|
||
```
|
||
|
||
## 謝辞
|
||
|
||
本モデルの開発（本研究）は、経済産業省とＮＥＤＯが実施する、国内の生成 AI の開発力強化を目的としたプロジェクト「GENIAC（Generative AI Accelerator Challenge）」の支援を受けて実施したものです。
|