---
license: apache-2.0
library_name: transformers
pipeline_tag: text-generation
language:
- ja
- en
base_model:
- Qwen/Qwen3-14B-Base
base_model_relation: finetune
tags:
- finance
- japanese
- cpt
- continued-pretraining
---

# Qwen3-14B-Ja-Fin-CPT

<div align="center" style="line-height: 1;">
  <a href="https://huggingface.co/nri-ai" target="_blank" style="margin: 2px;">
    <img alt="Hugging Face" src="https://img.shields.io/badge/%F0%9F%A4%97%20Hugging%20Face-NRI--AI-005bac?color=005bac&logoColor=white" style="display: inline-block; vertical-align: middle;"/>
  </a>
  <a href="https://huggingface.co/nri-ai/Qwen3-14B-Ja-Fin-CPT" target="_blank" style="margin: 2px;">
    <img alt="English" src="https://img.shields.io/badge/%F0%9F%87%AC%F0%9F%87%A7%20English-README-005bac?color=005bac&logoColor=white" style="display: inline-block; vertical-align: middle;"/>
  </a>
</div>
<div align="center" style="line-height: 1;">
  <a href="https://www.anlp.jp/proceedings/annual_meeting/2026/pdf_dir/C7-2.pdf" target="_blank" style="margin: 2px;">
    <img alt="NLP2026" src="https://img.shields.io/badge/%F0%9F%93%9D%20NLP2026-Paper-005bac?color=005bac&logoColor=white" style="display: inline-block; vertical-align: middle;"/>
  </a>
  <a href="https://arxiv.org/abs/2603.01353" target="_blank" style="margin: 2px;">
    <img alt="arXiv" src="https://img.shields.io/badge/%F0%9F%93%9D%20arXiv-Paper-b31b1b?color=b31b1b&logoColor=white" style="display: inline-block; vertical-align: middle;"/>
  </a>
</div>
<div align="center" style="line-height: 1;">
  <a href="https://www.apache.org/licenses/LICENSE-2.0" style="margin: 2px;">
    <img alt="License" src="https://img.shields.io/badge/License-Apache_2.0-f5de53?color=f5de53" style="display: inline-block; vertical-align: middle;"/>
  </a>
</div>

[Qwen3-14B-Base](https://huggingface.co/Qwen/Qwen3-14B-Base) を日本語金融コーパスで継続事前学習した、日本語金融ドメインモデル。

## モデル概要

日本語金融ドメインに適応したベースモデルで、金融タスクへのファインチューニングを前提としています。

- **ベースモデル**: [Qwen3-14B-Base](https://huggingface.co/Qwen/Qwen3-14B-Base)
- **学習段階**: 継続事前学習（CPT）
- **ドメイン**: 日本語金融
- **言語**: 日本語、英語

## 学習

### 継続事前学習

Common Crawlおよびその他の公開ソースから構築した日本語金融コーパスを使用し、ドメイン分類と品質フィルタリングを適用して学習を行いました。

**学習インフラ:**
- ハードウェア: AWS p5en.48xlarge（NVIDIA H200 Tensor Core GPU × 8）

## 想定される用途

ファインチューニングの基盤モデルとしての利用を想定しています。指示追従・推論能力を備えたモデルは [Qwen3-14B-Ja-Fin-Thinking](https://huggingface.co/nri-ai/Qwen3-14B-Ja-Fin-Thinking) をご参照ください。

### 主な用途

- 金融ドメインSFTのベースモデル
- 金融テキストの特徴量抽出
- 独自の金融データによる追加事前学習

## 制限事項

- **指示チューニング未実施**: 教師ありファインチューニングが行われていないため、指示への追従性が低い場合があります
- **ドメインの限定性**: 日本語金融ドメインに最適化されており、他のドメインでの性能は異なる場合があります
- **言語対応**: 主に日本語と英語です

## ライセンス

本モデルはApache 2.0ライセンスの下で公開されています。

## プライバシーポリシー

個人情報の取り扱いについては、[プライバシーポリシー](https://huggingface.co/nri-ai/Qwen3-14B-Ja-Fin-CPT/blob/main/docs/PRIVACY_NOTICE.ja.md)（[English](https://huggingface.co/nri-ai/Qwen3-14B-Ja-Fin-CPT/blob/main/docs/PRIVACY_NOTICE.md)）をご参照ください。

## 引用

```bibtex
@inproceedings{okochiDomainSpecificLLM2026,
  author    = {大河内 悠磨 and Sim, Fabio Milentiansen and 岡田 智靖},
  title     = {ドメイン特化LLMの推論能力向上を目的とした合成指示データセットの構築と金融ドメインにおける評価},
  booktitle = {言語処理学会第32回年次大会 (NLP2026) },
  year      = {2026},
  month     = mar,
  address   = {Utsunomiya, Tochigi, Japan},
  publisher = {言語処理学会},
  note      = {Paper ID: C7-2},
  url       = {https://www.anlp.jp/proceedings/annual_meeting/2026/pdf_dir/C7-2.pdf}
}
```

```bibtex
@misc{okochi2026constructingsyntheticinstructiondatasets,
  title     = {Constructing Synthetic Instruction Datasets for Improving Reasoning in Domain-Specific LLMs: A Case Study in the Japanese Financial Domain},
  author    = {Yuma Okochi and Fabio Milentiansen Sim and Tomoyasu Okada},
  year      = {2026},
  eprint    = {2603.01353},
  archivePrefix = {arXiv},
  primaryClass  = {cs.LG},
  url       = {https://arxiv.org/abs/2603.01353}
}
```

## 謝辞

本モデルの開発（本研究）は、経済産業省とＮＥＤＯが実施する、国内の生成 AI の開発力強化を目的としたプロジェクト「GENIAC（Generative AI Accelerator Challenge）」の支援を受けて実施したものです。