38 lines
1.4 KiB
Markdown
38 lines
1.4 KiB
Markdown
---
|
|
license: other
|
|
license_name: nvidia-nemotron-open-model-license
|
|
license_link: >-
|
|
https://www.nvidia.com/en-us/agreements/enterprise-software/nvidia-nemotron-open-model-license/
|
|
base_model: nvidia/NVIDIA-Nemotron-Nano-9B-v2-Japanese
|
|
datasets:
|
|
- TFMC/imatrix-dataset-for-japanese-llm
|
|
track_downloads: true
|
|
language:
|
|
- ja
|
|
- en
|
|
pipeline_tag: text-generation
|
|
---
|
|
|
|
# NVIDIA-Nemotron-Nano-9B-v2-Japanese-GGUF
|
|
|
|
## GGUF変換と量子化
|
|
|
|
[nvidia/NVIDIA-Nemotron-Nano-9B-v2-Japanese](https://huggingface.co/nvidia/NVIDIA-Nemotron-Nano-9B-v2-Japanese)を
|
|
[llama.cpp](https://github.com/ggml-org/llama.cpp.git)の`convert_hf_to_gguf.py`でGGUF形式変換し、`llama-quantize`で量子化しました。
|
|
|
|
元モデルが軽量ですので、実行環境が許せばBF16かQ8_0での利用をお勧めします。
|
|
|
|
## iMatrix生成
|
|
|
|
iMatrixは
|
|
[TFMC/imatrix-dataset-for-japanese-llm](https://huggingface.co/datasets/TFMC/imatrix-dataset-for-japanese-llm/tree/main)
|
|
の`c4_en_ja_imatrix.txt`を教師データに使用し`llama-imatrix`で生成しました。
|
|
|
|
## IQ4_XS量子化
|
|
|
|
**IQ4_XS量子化**では`llama-quantize`で
|
|
```
|
|
llama_model_quantize_impl : tensor cols 4480 x 131072 are not divisible by 256, required for iq4_xs - using fallback quantization iq4_nl
|
|
```
|
|
などとログ出力され、**4ビット量子化されたLayerの多くはIQ4_NL**になってます。表面上はIQ4_XSと表記していますが、中身はほぼIQ4_NLです。
|