初始化项目，由ModelHub XC社区提供模型
Model: nri-ai/Qwen3-14B-Ja-Fin-CPT Source: Original Platform
This commit is contained in:
ModelHub XC
56
docs/PRIVACY_NOTICE.ja.md
Normal file
56
docs/PRIVACY_NOTICE.ja.md
Normal file
@@ -0,0 +1,56 @@
|
||||
## プライバシーポリシー / 個人情報の取り扱いについて（AIモデル公開用）
|
||||
## Privacy Notice for AI Model Publication
|
||||
|
||||
本AIモデルの構築・公開に関し、株式会社野村総合研究所（以下、「当社」）は、個人情報の保護に関する法律および当社の個人情報保護方針に基づき、以下の通り個人情報の利用目的および第三者提供に関する事項を公表いたします。
|
||||
|
||||
### 1. 個人情報の取得および利用目的について
|
||||
|
||||
当社は、本AIモデルの学習データを構築するため、インターネット上のクロール済みデータセット等、公開されているテキストデータを収集しております。本モデルの学習データに含まれる可能性のある個人情報の利用目的は以下の通りです。
|
||||
|
||||
* 業界・タスク特化型の大規模言語モデル（LLM）等、AIモデルの研究・開発、および学習用データセットの作成のため
|
||||
* 開発したAIモデルのオープンウェイトモデルとしての一般公開を含む、研究開発成果の社会還元・学術研究への貢献のため
|
||||
|
||||
### 2. 個人データの第三者提供（オプトアウト手続き）について
|
||||
|
||||
当社は、開発したAIモデルを社外に一般公開します。公開されるモデルの出力結果に個人情報が含まれる可能性があるため、個人情報の保護に関する法律第27条第2項の定めに従い、以下の通りオプトアウト手続きを実施いたします。
|
||||
|
||||
**1) 第三者への提供を行う事業者の名称、住所、代表者の氏名**
|
||||
|
||||
* 名称：株式会社野村総合研究所
|
||||
* 住所：東京都千代田区大手町一丁目9番2号 大手町フィナンシャルシティ グランキューブ
|
||||
* 代表者の氏名：代表取締役社長 柳澤 花芽
|
||||
|
||||
**2) 第三者への提供を利用目的とすること**
|
||||
|
||||
業界・タスク特化型の大規模言語モデル（LLM）等、AIモデルの研究・開発の成果として、開発したAIモデルをオープンウェイトモデルとしてインターネット上のプラットフォーム（Hugging Face等）を通じて一般公開（第三者への提供）することを目的とします。
|
||||
|
||||
**3) 第三者に提供される個人データの項目**
|
||||
|
||||
インターネット上の公開テキストデータに含まれる氏名、所属企業・団体名、役職、経歴等の個人に関する情報
|
||||
|
||||
**4) 第三者に提供される個人データの取得の方法**
|
||||
|
||||
インターネット上のクロール済みデータセット等、公開されているテキストデータからの収集
|
||||
|
||||
**5) 第三者への提供の方法**
|
||||
|
||||
インターネット上のプラットフォーム（Hugging Face）を通じた、AIモデル（モデルウェイト）ファイルの公開・ダウンロード提供
|
||||
|
||||
**6) 本人の求めに応じて当該本人が識別される個人データの第三者への提供を停止すること**
|
||||
|
||||
当社は、ご本人からの求めがあった場合、遅滞なく当該ご本人が識別される個人データの第三者への提供を停止いたします。具体的には、AIモデルの次期バージョンの学習データから当該個人データを除外した上で再学習を行い、新しいモデルバージョンとして公開することにより対応します。
|
||||
|
||||
**7) 本人の求めを受け付ける方法**
|
||||
|
||||
本件に関するオプトアウト（提供停止）のお求め、または個人情報の取り扱いに関するお問い合わせについては、以下の窓口までご連絡ください。
|
||||
|
||||
* 連絡先窓口：株式会社野村総合研究所 GENIACプロジェクト対応窓口
|
||||
* メールアドレス：geniac3@nri.co.jp
|
||||
|
||||
**8) 第三者に提供される個人データの更新の方法**
|
||||
|
||||
モデルの再学習（バージョンアップ）時に、最新のデータセットを用いて再学習を行い、新しいモデルバージョンとして公開することにより更新を行います。
|
||||
|
||||
**9) 当該届出に係る個人データの第三者への提供を開始する予定日**
|
||||
|
||||
2026年3月9日
|
||||
56
docs/PRIVACY_NOTICE.md
Normal file
56
docs/PRIVACY_NOTICE.md
Normal file
@@ -0,0 +1,56 @@
|
||||
## Privacy Notice / Handling of Personal Information (AI Model Publication)
|
||||
## プライバシーポリシー / 個人情報の取り扱いについて（AIモデル公開用）
|
||||
|
||||
Regarding the development and publication of this AI model, Nomura Research Institute, Ltd. (hereinafter "NRI" or "we") hereby announces the following matters concerning the purpose of use of personal information and third-party provision, in accordance with the Act on the Protection of Personal Information ("APPI") of Japan and our Privacy Policy.
|
||||
|
||||
### 1. Acquisition and Purpose of Use of Personal Information
|
||||
|
||||
To construct the training data for this AI model, we have collected publicly available text data, including pre-crawled datasets available on the Internet. The purposes of use for any personal information that may be included in the training data for this model are as follows:
|
||||
|
||||
* Research and development of AI models, including industry- and task-specific Large Language Models (LLMs), and the creation of training datasets
|
||||
* Contribution to academic research and giving back to society, including the public release of the developed AI model as an open-weight model
|
||||
|
||||
### 2. Third-Party Provision of Personal Data (Opt-Out Procedure)
|
||||
|
||||
We will publicly release the developed AI model. Because the model's outputs may contain personal information, we implement the following opt-out procedure in accordance with Article 27, Paragraph 2 of the APPI.
|
||||
|
||||
**1) Name, Address, and Representative of the Business Operator Providing Data to Third Parties**
|
||||
|
||||
* Name: Nomura Research Institute, Ltd.
|
||||
* Address: Otemachi Financial City Grand Cube, 1-9-2 Otemachi, Chiyoda-ku, Tokyo, Japan
|
||||
* Representative: Kaga Yanagisawa, President and CEO
|
||||
|
||||
**2) That the Purpose of Use Includes Provision to Third Parties**
|
||||
|
||||
The purpose is to publicly release (provide to third parties) the developed AI model as an open-weight model through Internet platforms (such as Hugging Face), as an outcome of research and development of AI models, including industry- and task-specific Large Language Models (LLMs).
|
||||
|
||||
**3) Items of Personal Data to be Provided to Third Parties**
|
||||
|
||||
Information relating to individuals contained in publicly available text data on the Internet, such as names, affiliated companies/organizations, job titles, and career histories.
|
||||
|
||||
**4) Method of Acquiring Personal Data to be Provided to Third Parties**
|
||||
|
||||
Collection from publicly available text data, including pre-crawled datasets available on the Internet.
|
||||
|
||||
**5) Method of Provision to Third Parties**
|
||||
|
||||
Publication and provision for download of AI model (model weight) files through Internet platforms (Hugging Face).
|
||||
|
||||
**6) Cessation of Third-Party Provision upon the Request of the Data Subject**
|
||||
|
||||
Upon request from the data subject, we will cease the third-party provision of personal data identifying said individual without delay. Specifically, we will exclude such personal data from the training data for the next version of the AI model, retrain the model, and release it as a new model version.
|
||||
|
||||
**7) Method for Receiving Requests from the Data Subject**
|
||||
|
||||
For requests regarding opt-out (cessation of provision) or inquiries regarding the handling of personal information, please contact the following:
|
||||
|
||||
* Contact: Nomura Research Institute, Ltd., GENIAC Project Inquiry Desk
|
||||
* Email: geniac3@nri.co.jp
|
||||
|
||||
**8) Method for Updating Personal Data Provided to Third Parties**
|
||||
|
||||
Updates are made by retraining the model with the latest datasets during model retraining (version upgrades) and releasing it as a new model version.
|
||||
|
||||
**9) Scheduled Start Date of Third-Party Provision of Personal Data Pertaining to This Notification**
|
||||
|
||||
March 9, 2026
|
||||
116
docs/README.ja.md
Normal file
116
docs/README.ja.md
Normal file
@@ -0,0 +1,116 @@
|
||||
---
|
||||
license: apache-2.0
|
||||
library_name: transformers
|
||||
pipeline_tag: text-generation
|
||||
language:
|
||||
- ja
|
||||
- en
|
||||
base_model:
|
||||
- Qwen/Qwen3-14B-Base
|
||||
base_model_relation: finetune
|
||||
tags:
|
||||
- finance
|
||||
- japanese
|
||||
- cpt
|
||||
- continued-pretraining
|
||||
---
|
||||
|
||||
# Qwen3-14B-Ja-Fin-CPT
|
||||
|
||||
<div align="center" style="line-height: 1;">
|
||||
<a href="https://huggingface.co/nri-ai" target="_blank" style="margin: 2px;">
|
||||
<img alt="Hugging Face" src="https://img.shields.io/badge/%F0%9F%A4%97%20Hugging%20Face-NRI--AI-005bac?color=005bac&logoColor=white" style="display: inline-block; vertical-align: middle;"/>
|
||||
</a>
|
||||
<a href="https://huggingface.co/nri-ai/Qwen3-14B-Ja-Fin-CPT" target="_blank" style="margin: 2px;">
|
||||
<img alt="English" src="https://img.shields.io/badge/%F0%9F%87%AC%F0%9F%87%A7%20English-README-005bac?color=005bac&logoColor=white" style="display: inline-block; vertical-align: middle;"/>
|
||||
</a>
|
||||
</div>
|
||||
<div align="center" style="line-height: 1;">
|
||||
<a href="https://www.anlp.jp/proceedings/annual_meeting/2026/pdf_dir/C7-2.pdf" target="_blank" style="margin: 2px;">
|
||||
<img alt="NLP2026" src="https://img.shields.io/badge/%F0%9F%93%9D%20NLP2026-Paper-005bac?color=005bac&logoColor=white" style="display: inline-block; vertical-align: middle;"/>
|
||||
</a>
|
||||
<a href="https://arxiv.org/abs/2603.01353" target="_blank" style="margin: 2px;">
|
||||
<img alt="arXiv" src="https://img.shields.io/badge/%F0%9F%93%9D%20arXiv-Paper-b31b1b?color=b31b1b&logoColor=white" style="display: inline-block; vertical-align: middle;"/>
|
||||
</a>
|
||||
</div>
|
||||
<div align="center" style="line-height: 1;">
|
||||
<a href="https://www.apache.org/licenses/LICENSE-2.0" style="margin: 2px;">
|
||||
<img alt="License" src="https://img.shields.io/badge/License-Apache_2.0-f5de53?color=f5de53" style="display: inline-block; vertical-align: middle;"/>
|
||||
</a>
|
||||
</div>
|
||||
|
||||
[Qwen3-14B-Base](https://huggingface.co/Qwen/Qwen3-14B-Base) を日本語金融コーパスで継続事前学習した、日本語金融ドメインモデル。
|
||||
|
||||
## モデル概要
|
||||
|
||||
日本語金融ドメインに適応したベースモデルで、金融タスクへのファインチューニングを前提としています。
|
||||
|
||||
- **ベースモデル**: [Qwen3-14B-Base](https://huggingface.co/Qwen/Qwen3-14B-Base)
|
||||
- **学習段階**: 継続事前学習（CPT）
|
||||
- **ドメイン**: 日本語金融
|
||||
- **言語**: 日本語、英語
|
||||
|
||||
## 学習
|
||||
|
||||
### 継続事前学習
|
||||
|
||||
Common Crawlおよびその他の公開ソースから構築した日本語金融コーパスを使用し、ドメイン分類と品質フィルタリングを適用して学習を行いました。
|
||||
|
||||
**学習インフラ:**
|
||||
- ハードウェア: AWS p5en.48xlarge（NVIDIA H200 Tensor Core GPU × 8）
|
||||
|
||||
## 想定される用途
|
||||
|
||||
ファインチューニングの基盤モデルとしての利用を想定しています。指示追従・推論能力を備えたモデルは [Qwen3-14B-Ja-Fin-Thinking](https://huggingface.co/nri-ai/Qwen3-14B-Ja-Fin-Thinking) をご参照ください。
|
||||
|
||||
### 主な用途
|
||||
|
||||
- 金融ドメインSFTのベースモデル
|
||||
- 金融テキストの特徴量抽出
|
||||
- 独自の金融データによる追加事前学習
|
||||
|
||||
## 制限事項
|
||||
|
||||
- **指示チューニング未実施**: 教師ありファインチューニングが行われていないため、指示への追従性が低い場合があります
|
||||
- **ドメインの限定性**: 日本語金融ドメインに最適化されており、他のドメインでの性能は異なる場合があります
|
||||
- **言語対応**: 主に日本語と英語です
|
||||
|
||||
## ライセンス
|
||||
|
||||
本モデルはApache 2.0ライセンスの下で公開されています。
|
||||
|
||||
## プライバシーポリシー
|
||||
|
||||
個人情報の取り扱いについては、[プライバシーポリシー](https://huggingface.co/nri-ai/Qwen3-14B-Ja-Fin-CPT/blob/main/docs/PRIVACY_NOTICE.ja.md)（[English](https://huggingface.co/nri-ai/Qwen3-14B-Ja-Fin-CPT/blob/main/docs/PRIVACY_NOTICE.md)）をご参照ください。
|
||||
|
||||
## 引用
|
||||
|
||||
```bibtex
|
||||
@inproceedings{okochiDomainSpecificLLM2026,
|
||||
author = {大河内 悠磨 and Sim, Fabio Milentiansen and 岡田 智靖},
|
||||
title = {ドメイン特化LLMの推論能力向上を目的とした合成指示データセットの構築と金融ドメインにおける評価},
|
||||
booktitle = {言語処理学会第32回年次大会 (NLP2026) },
|
||||
year = {2026},
|
||||
month = mar,
|
||||
address = {Utsunomiya, Tochigi, Japan},
|
||||
publisher = {言語処理学会},
|
||||
note = {Paper ID: C7-2},
|
||||
url = {https://www.anlp.jp/proceedings/annual_meeting/2026/pdf_dir/C7-2.pdf}
|
||||
}
|
||||
```
|
||||
|
||||
```bibtex
|
||||
@misc{okochi2026constructingsyntheticinstructiondatasets,
|
||||
title = {Constructing Synthetic Instruction Datasets for Improving Reasoning in Domain-Specific LLMs: A Case Study in the Japanese Financial Domain},
|
||||
author = {Yuma Okochi and Fabio Milentiansen Sim and Tomoyasu Okada},
|
||||
year = {2026},
|
||||
eprint = {2603.01353},
|
||||
archivePrefix = {arXiv},
|
||||
primaryClass = {cs.LG},
|
||||
url = {https://arxiv.org/abs/2603.01353}
|
||||
}
|
||||
```
|
||||
|
||||
## 謝辞
|
||||
|
||||
本モデルの開発（本研究）は、経済産業省とＮＥＤＯが実施する、国内の生成 AI の開発力強化を目的としたプロジェクト「GENIAC（Generative AI Accelerator Challenge）」の支援を受けて実施したものです。
|
||||
Reference in New Issue
Block a user