64 lines
2.0 KiB
Markdown
64 lines
2.0 KiB
Markdown
---
|
|
library_name: transformers
|
|
license: apache-2.0
|
|
language:
|
|
- ja
|
|
base_model:
|
|
- Qwen/Qwen3-14B-Base
|
|
pipeline_tag: text-generation
|
|
---
|
|
## ABEJA-Qwen3-14B-Agentic-256k-v0.1
|
|
|
|
|
|
ABEJA-Qwen3-14B-Agentic-256k-v0.1は、Alibaba社の開発したQwen3-14Bに対して追加学習を行ったものです。
|
|
|
|
エージェントとして活用できるようにロングコンテキスト性能とPlanning / Tool Use などの Agentic な能力の向上を狙ったもので、コンテキスト長として256kまで対応しつつ、思考とツール利用のループが出来ることが主な特徴のモデルです。
|
|
|
|
※本モデルは、幅広い汎用用途向けというより、エージェント利用を主な想定としております。
|
|
|
|
|
|
|
|
|
|
|
|
|
|
### モデル詳細・使い方
|
|
|
|
|
|
モデルの特徴やサンプルコードは下記ブログを参照してください。
|
|
|
|
|
|
https://tech-blog.abeja.asia/entry/geniac3-qwen3-agentic-model
|
|
|
|
|
|
ベースモデルであるQwen3-14Bと同様に、パラメータとしては、Temperature=0.6, TopP=0.95, TopK=20, MinP=0 及び greedy decodingを使わないことを推奨しています。
|
|
|
|
> For thinking mode, use Temperature=0.6, TopP=0.95, TopK=20, and MinP=0 (the default setting in generation_config.json). DO NOT use greedy decoding, as it can lead to performance degradation and endless repetitions. For more detailed guidance, please refer to the Best Practices section.
|
|
|
|
### 開発プロセス・ノウハウ
|
|
|
|
強化学習を中心とした開発プロセスの詳細及びそこで得られたノウハウについてもこちらで公開しています。
|
|
|
|
https://tech-blog.abeja.asia/entry/geniac3-agentic-rl-process
|
|
|
|
|
|
|
|
|
|
## 開発者
|
|
|
|
- Fumitaka Iwaki
|
|
- Keisuke Fujimoto
|
|
- Kyo Hattori
|
|
- Shinya Otani
|
|
- Tomoki Fujihara
|
|
- Yudai Kato
|
|
|
|
|
|
(*)アルファベット順
|
|
|
|
## License
|
|
|
|
This model is licensed under the Apache License 2.0.
|
|
|
|
See:
|
|
- [LICENSE](LICENSE)
|
|
- [NOTICE](NOTICE) |