初始化项目,由ModelHub XC社区提供模型
Model: nri-ai/Qwen3-14B-Ja-Fin-Thinking Source: Original Platform
This commit is contained in:
56
docs/PRIVACY_NOTICE.ja.md
Normal file
56
docs/PRIVACY_NOTICE.ja.md
Normal file
@@ -0,0 +1,56 @@
|
||||
## プライバシーポリシー / 個人情報の取り扱いについて(AIモデル公開用)
|
||||
## Privacy Notice for AI Model Publication
|
||||
|
||||
本AIモデルの構築・公開に関し、株式会社野村総合研究所(以下、「当社」)は、個人情報の保護に関する法律および当社の個人情報保護方針に基づき、以下の通り個人情報の利用目的および第三者提供に関する事項を公表いたします。
|
||||
|
||||
### 1. 個人情報の取得および利用目的について
|
||||
|
||||
当社は、本AIモデルの学習データを構築するため、インターネット上のクロール済みデータセット等、公開されているテキストデータを収集しております。本モデルの学習データに含まれる可能性のある個人情報の利用目的は以下の通りです。
|
||||
|
||||
* 業界・タスク特化型の大規模言語モデル(LLM)等、AIモデルの研究・開発、および学習用データセットの作成のため
|
||||
* 開発したAIモデルのオープンウェイトモデルとしての一般公開を含む、研究開発成果の社会還元・学術研究への貢献のため
|
||||
|
||||
### 2. 個人データの第三者提供(オプトアウト手続き)について
|
||||
|
||||
当社は、開発したAIモデルを社外に一般公開します。公開されるモデルの出力結果に個人情報が含まれる可能性があるため、個人情報の保護に関する法律第27条第2項の定めに従い、以下の通りオプトアウト手続きを実施いたします。
|
||||
|
||||
**1) 第三者への提供を行う事業者の名称、住所、代表者の氏名**
|
||||
|
||||
* 名称:株式会社野村総合研究所
|
||||
* 住所:東京都千代田区大手町一丁目9番2号 大手町フィナンシャルシティ グランキューブ
|
||||
* 代表者の氏名:代表取締役社長 柳澤 花芽
|
||||
|
||||
**2) 第三者への提供を利用目的とすること**
|
||||
|
||||
業界・タスク特化型の大規模言語モデル(LLM)等、AIモデルの研究・開発の成果として、開発したAIモデルをオープンウェイトモデルとしてインターネット上のプラットフォーム(Hugging Face等)を通じて一般公開(第三者への提供)することを目的とします。
|
||||
|
||||
**3) 第三者に提供される個人データの項目**
|
||||
|
||||
インターネット上の公開テキストデータに含まれる氏名、所属企業・団体名、役職、経歴等の個人に関する情報
|
||||
|
||||
**4) 第三者に提供される個人データの取得の方法**
|
||||
|
||||
インターネット上のクロール済みデータセット等、公開されているテキストデータからの収集
|
||||
|
||||
**5) 第三者への提供の方法**
|
||||
|
||||
インターネット上のプラットフォーム(Hugging Face)を通じた、AIモデル(モデルウェイト)ファイルの公開・ダウンロード提供
|
||||
|
||||
**6) 本人の求めに応じて当該本人が識別される個人データの第三者への提供を停止すること**
|
||||
|
||||
当社は、ご本人からの求めがあった場合、遅滞なく当該ご本人が識別される個人データの第三者への提供を停止いたします。具体的には、AIモデルの次期バージョンの学習データから当該個人データを除外した上で再学習を行い、新しいモデルバージョンとして公開することにより対応します。
|
||||
|
||||
**7) 本人の求めを受け付ける方法**
|
||||
|
||||
本件に関するオプトアウト(提供停止)のお求め、または個人情報の取り扱いに関するお問い合わせについては、以下の窓口までご連絡ください。
|
||||
|
||||
* 連絡先窓口:株式会社野村総合研究所 GENIACプロジェクト対応窓口
|
||||
* メールアドレス:geniac3@nri.co.jp
|
||||
|
||||
**8) 第三者に提供される個人データの更新の方法**
|
||||
|
||||
モデルの再学習(バージョンアップ)時に、最新のデータセットを用いて再学習を行い、新しいモデルバージョンとして公開することにより更新を行います。
|
||||
|
||||
**9) 当該届出に係る個人データの第三者への提供を開始する予定日**
|
||||
|
||||
2026年3月9日
|
||||
56
docs/PRIVACY_NOTICE.md
Normal file
56
docs/PRIVACY_NOTICE.md
Normal file
@@ -0,0 +1,56 @@
|
||||
## Privacy Notice / Handling of Personal Information (AI Model Publication)
|
||||
## プライバシーポリシー / 個人情報の取り扱いについて(AIモデル公開用)
|
||||
|
||||
Regarding the development and publication of this AI model, Nomura Research Institute, Ltd. (hereinafter "NRI" or "we") hereby announces the following matters concerning the purpose of use of personal information and third-party provision, in accordance with the Act on the Protection of Personal Information ("APPI") of Japan and our Privacy Policy.
|
||||
|
||||
### 1. Acquisition and Purpose of Use of Personal Information
|
||||
|
||||
To construct the training data for this AI model, we have collected publicly available text data, including pre-crawled datasets available on the Internet. The purposes of use for any personal information that may be included in the training data for this model are as follows:
|
||||
|
||||
* Research and development of AI models, including industry- and task-specific Large Language Models (LLMs), and the creation of training datasets
|
||||
* Contribution to academic research and giving back to society, including the public release of the developed AI model as an open-weight model
|
||||
|
||||
### 2. Third-Party Provision of Personal Data (Opt-Out Procedure)
|
||||
|
||||
We will publicly release the developed AI model. Because the model's outputs may contain personal information, we implement the following opt-out procedure in accordance with Article 27, Paragraph 2 of the APPI.
|
||||
|
||||
**1) Name, Address, and Representative of the Business Operator Providing Data to Third Parties**
|
||||
|
||||
* Name: Nomura Research Institute, Ltd.
|
||||
* Address: Otemachi Financial City Grand Cube, 1-9-2 Otemachi, Chiyoda-ku, Tokyo, Japan
|
||||
* Representative: Kaga Yanagisawa, President and CEO
|
||||
|
||||
**2) That the Purpose of Use Includes Provision to Third Parties**
|
||||
|
||||
The purpose is to publicly release (provide to third parties) the developed AI model as an open-weight model through Internet platforms (such as Hugging Face), as an outcome of research and development of AI models, including industry- and task-specific Large Language Models (LLMs).
|
||||
|
||||
**3) Items of Personal Data to be Provided to Third Parties**
|
||||
|
||||
Information relating to individuals contained in publicly available text data on the Internet, such as names, affiliated companies/organizations, job titles, and career histories.
|
||||
|
||||
**4) Method of Acquiring Personal Data to be Provided to Third Parties**
|
||||
|
||||
Collection from publicly available text data, including pre-crawled datasets available on the Internet.
|
||||
|
||||
**5) Method of Provision to Third Parties**
|
||||
|
||||
Publication and provision for download of AI model (model weight) files through Internet platforms (Hugging Face).
|
||||
|
||||
**6) Cessation of Third-Party Provision upon the Request of the Data Subject**
|
||||
|
||||
Upon request from the data subject, we will cease the third-party provision of personal data identifying said individual without delay. Specifically, we will exclude such personal data from the training data for the next version of the AI model, retrain the model, and release it as a new model version.
|
||||
|
||||
**7) Method for Receiving Requests from the Data Subject**
|
||||
|
||||
For requests regarding opt-out (cessation of provision) or inquiries regarding the handling of personal information, please contact the following:
|
||||
|
||||
* Contact: Nomura Research Institute, Ltd., GENIAC Project Inquiry Desk
|
||||
* Email: geniac3@nri.co.jp
|
||||
|
||||
**8) Method for Updating Personal Data Provided to Third Parties**
|
||||
|
||||
Updates are made by retraining the model with the latest datasets during model retraining (version upgrades) and releasing it as a new model version.
|
||||
|
||||
**9) Scheduled Start Date of Third-Party Provision of Personal Data Pertaining to This Notification**
|
||||
|
||||
March 9, 2026
|
||||
186
docs/README.ja.md
Normal file
186
docs/README.ja.md
Normal file
@@ -0,0 +1,186 @@
|
||||
---
|
||||
license: apache-2.0
|
||||
library_name: transformers
|
||||
pipeline_tag: text-generation
|
||||
language:
|
||||
- ja
|
||||
- en
|
||||
base_model:
|
||||
- nri-ai/Qwen3-14B-Ja-Fin-CPT
|
||||
base_model_relation: finetune
|
||||
tags:
|
||||
- finance
|
||||
- japanese
|
||||
- reasoning
|
||||
- thinking
|
||||
- sft
|
||||
datasets:
|
||||
- nri-ai/nri-fin-reasoning
|
||||
---
|
||||
|
||||
# Qwen3-14B-Ja-Fin-Thinking
|
||||
|
||||
<div align="center" style="line-height: 1;">
|
||||
<a href="https://huggingface.co/nri-ai" target="_blank" style="margin: 2px;">
|
||||
<img alt="Hugging Face" src="https://img.shields.io/badge/%F0%9F%A4%97%20Hugging%20Face-NRI--AI-005bac?color=005bac&logoColor=white" style="display: inline-block; vertical-align: middle;"/>
|
||||
</a>
|
||||
<a href="https://huggingface.co/nri-ai/Qwen3-14B-Ja-Fin-Thinking" target="_blank" style="margin: 2px;">
|
||||
<img alt="English" src="https://img.shields.io/badge/%F0%9F%87%AC%F0%9F%87%A7%20English-README-005bac?color=005bac&logoColor=white" style="display: inline-block; vertical-align: middle;"/>
|
||||
</a>
|
||||
</div>
|
||||
<div align="center" style="line-height: 1;">
|
||||
<a href="https://www.anlp.jp/proceedings/annual_meeting/2026/pdf_dir/C7-2.pdf" target="_blank" style="margin: 2px;">
|
||||
<img alt="NLP2026" src="https://img.shields.io/badge/%F0%9F%93%9D%20NLP2026-Paper-005bac?color=005bac&logoColor=white" style="display: inline-block; vertical-align: middle;"/>
|
||||
</a>
|
||||
<a href="https://arxiv.org/abs/2603.01353" target="_blank" style="margin: 2px;">
|
||||
<img alt="arXiv" src="https://img.shields.io/badge/%F0%9F%93%9D%20arXiv-Paper-b31b1b?color=b31b1b&logoColor=white" style="display: inline-block; vertical-align: middle;"/>
|
||||
</a>
|
||||
<a href="https://huggingface.co/datasets/nri-ai/nri-fin-reasoning" target="_blank" style="margin: 2px;">
|
||||
<img alt="Dataset" src="https://img.shields.io/badge/%F0%9F%97%82%EF%B8%8F%20Dataset-nri--fin--reasoning-005bac?color=005bac&logoColor=white" style="display: inline-block; vertical-align: middle;"/>
|
||||
</a>
|
||||
</div>
|
||||
<div align="center" style="line-height: 1;">
|
||||
<a href="https://www.apache.org/licenses/LICENSE-2.0" style="margin: 2px;">
|
||||
<img alt="License" src="https://img.shields.io/badge/License-Apache_2.0-f5de53?color=f5de53" style="display: inline-block; vertical-align: middle;"/>
|
||||
</a>
|
||||
</div>
|
||||
|
||||
[Qwen3-14B-Ja-Fin-CPT](https://huggingface.co/nri-ai/Qwen3-14B-Ja-Fin-CPT) を教師ありファインチューニングした、日本語金融ドメイン推論モデル。
|
||||
|
||||
## モデル概要
|
||||
|
||||
日本語金融ドメインのタスクに対して、明示的な推論トレース付きの高品質な応答を生成するよう学習されています。
|
||||
|
||||
- **ベースモデル**: [Qwen3-14B-Ja-Fin-CPT](https://huggingface.co/nri-ai/Qwen3-14B-Ja-Fin-CPT)
|
||||
- **学習段階**: 教師ありファインチューニング(SFT)
|
||||
- **ドメイン**: 日本語金融
|
||||
- **言語**: 日本語、英語
|
||||
|
||||
## ベンチマーク結果
|
||||
|
||||
### japanese-lm-fin-harness
|
||||
|
||||
| モデル | 平均 | chabsa | cma | cpa | fp2 | ss1 |
|
||||
|--------|:----:|:------:|:---:|:---:|:---:|:---:|
|
||||
| Qwen3-14B (official) | 71.04 | **91.96** | **93.26** | **49.37** | 53.37 | 67.22 |
|
||||
| **Qwen3-14B-Ja-Fin-Thinking (Ours)** | **71.78** | 91.62 | 91.45 | 48.59 | **60.00** | 67.27 |
|
||||
|
||||
### pfmt-bench-fin-ja
|
||||
|
||||
| モデル | 平均 | turn1 | turn2 |
|
||||
|--------|:----:|:-----:|:-----:|
|
||||
| Qwen3-14B (official) | 8.104 | 8.211 | 7.997 |
|
||||
| **Qwen3-14B-Ja-Fin-Thinking (Ours)** | **8.455** | **8.514** | **8.395** |
|
||||
|
||||
## 学習
|
||||
|
||||
### 教師ありファインチューニング
|
||||
|
||||
推論トレース付きの合成指示データセットでファインチューニングを行いました:
|
||||
|
||||
- **データセット**: [nri-fin-reasoning](https://huggingface.co/datasets/nri-ai/nri-fin-reasoning) + 補助データ
|
||||
- **総サンプル数**: 約144万
|
||||
- **総トークン数**: 約95億
|
||||
- **エポック数**: 2
|
||||
|
||||
**学習インフラ:**
|
||||
- ハードウェア: AWS p5en.48xlarge(NVIDIA H200 Tensor Core GPU × 8)
|
||||
- 学習時間: 約240時間
|
||||
|
||||
## 使い方
|
||||
|
||||
```python
|
||||
from transformers import AutoModelForCausalLM, AutoTokenizer
|
||||
|
||||
model_name = "nri-ai/Qwen3-14B-Ja-Fin-Thinking"
|
||||
|
||||
tokenizer = AutoTokenizer.from_pretrained(model_name)
|
||||
model = AutoModelForCausalLM.from_pretrained(
|
||||
model_name,
|
||||
torch_dtype="auto",
|
||||
device_map="auto"
|
||||
)
|
||||
|
||||
messages = [
|
||||
{"role": "user", "content": "分散投資のメリットとデメリットを説明してください。"}
|
||||
]
|
||||
|
||||
text = tokenizer.apply_chat_template(
|
||||
messages,
|
||||
tokenize=False,
|
||||
add_generation_prompt=True
|
||||
)
|
||||
|
||||
inputs = tokenizer([text], return_tensors="pt").to(model.device)
|
||||
outputs = model.generate(**inputs, max_new_tokens=8192)
|
||||
|
||||
response = tokenizer.decode(outputs[0][inputs.input_ids.shape[-1]:], skip_special_tokens=True)
|
||||
print(response)
|
||||
```
|
||||
|
||||
## 想定される用途
|
||||
|
||||
### 主な用途
|
||||
|
||||
- 日本語での金融質問応答
|
||||
- 金融文書の分析・要約
|
||||
- 金融推論・計算タスク
|
||||
- マルチターンの金融アドバイザリー会話
|
||||
|
||||
### 想定外の用途
|
||||
|
||||
- 追加の安全性評価なしでの本番環境へのデプロイ
|
||||
- 専門的な金融アドバイス(本モデルは研究用です)
|
||||
- 金融以外のドメインへの適用
|
||||
|
||||
## 制限事項
|
||||
|
||||
- **ドメインの限定性**: 日本語金融ドメインに最適化されており、他のドメインでの性能は異なる場合があります
|
||||
- **合成学習データ**: 品質フィルタリングにもかかわらずハルシネーションを含む可能性があります
|
||||
- **言語対応**: 主に日本語と英語です
|
||||
|
||||
## 倫理的配慮
|
||||
|
||||
- 本モデルが生成する金融情報は、専門家による確認なしに専門的な金融アドバイスとしてそのまま利用することは推奨されません
|
||||
- 重要な金融判断を行う際は、信頼できる情報源や専門家の助言と併せてご活用ください
|
||||
- 学習データに含まれるバイアスがモデルの出力に反映されている可能性があります
|
||||
|
||||
## ライセンス
|
||||
|
||||
本モデルはApache 2.0ライセンスの下で公開されています。
|
||||
|
||||
## プライバシーポリシー
|
||||
|
||||
個人情報の取り扱いについては、[プライバシーポリシー](https://huggingface.co/nri-ai/Qwen3-14B-Ja-Fin-Thinking/blob/main/docs/PRIVACY_NOTICE.ja.md)([English](https://huggingface.co/nri-ai/Qwen3-14B-Ja-Fin-Thinking/blob/main/docs/PRIVACY_NOTICE.md))をご参照ください。
|
||||
|
||||
## 引用
|
||||
|
||||
```bibtex
|
||||
@inproceedings{okochiDomainSpecificLLM2026,
|
||||
author = {大河内 悠磨 and Sim, Fabio Milentiansen and 岡田 智靖},
|
||||
title = {ドメイン特化LLMの推論能力向上を目的とした合成指示データセットの構築と金融ドメインにおける評価},
|
||||
booktitle = {言語処理学会第32回年次大会 (NLP2026) },
|
||||
year = {2026},
|
||||
month = mar,
|
||||
address = {Utsunomiya, Tochigi, Japan},
|
||||
publisher = {言語処理学会},
|
||||
note = {Paper ID: C7-2},
|
||||
url = {https://www.anlp.jp/proceedings/annual_meeting/2026/pdf_dir/C7-2.pdf}
|
||||
}
|
||||
```
|
||||
|
||||
```bibtex
|
||||
@misc{okochi2026constructingsyntheticinstructiondatasets,
|
||||
title = {Constructing Synthetic Instruction Datasets for Improving Reasoning in Domain-Specific LLMs: A Case Study in the Japanese Financial Domain},
|
||||
author = {Yuma Okochi and Fabio Milentiansen Sim and Tomoyasu Okada},
|
||||
year = {2026},
|
||||
eprint = {2603.01353},
|
||||
archivePrefix = {arXiv},
|
||||
primaryClass = {cs.LG},
|
||||
url = {https://arxiv.org/abs/2603.01353}
|
||||
}
|
||||
```
|
||||
|
||||
## 謝辞
|
||||
|
||||
本モデルの開発(本研究)は、経済産業省とNEDOが実施する、国内の生成 AI の開発力強化を目的としたプロジェクト「GENIAC(Generative AI Accelerator Challenge)」の支援を受けて実施したものです。
|
||||
Reference in New Issue
Block a user