初始化项目，由ModelHub XC社区提供模型

Model: Aratako/ELYZA-japanese-Llama-2-MoE-2x7B-v0.1 Source: Original Platform
2026-07-15 14:20:06 +08:00
commit e8e1e4f039
14 changed files with 278 additions and 0 deletions
--- a/README.md
+++ b/README.md
@@ -0,0 +1,96 @@
+---
+base_model:
+- elyza/ELYZA-japanese-Llama-2-7b
+- elyza/ELYZA-japanese-Llama-2-7b-instruct
+license: llama2
+language:
+- ja
+tags:
+- mergekit
+- merge
+- MoE
+---
+# ELYZA-japanese-Llama-2-MoE-2x7B-v0.1
+[**English description here**](#description)
+
+
+## 概要
+Llama-2ベースの学習済み日本語モデルである[elyza/ELYZA-japanese-Llama-2-7b](https://huggingface.co/elyza/ELYZA-japanese-Llama-2-7b)と、そのinstruction tuningモデルである[elyza/ELYZA-japanese-Llama-2-7b-instruct](https://huggingface.co/elyza/ELYZA-japanese-Llama-2-7b-instruct)
+を、[mergekit](https://github.com/cg123/mergekit)を使ってMoEを行い作成したモデルです。
+
+[GGUF版はこちら](https://huggingface.co/Aratako/ELYZA-japanese-Llama-2-MoE-2x7B-v0.1-GGUF)
+
+以下2モデルを利用しています。
+- [elyza/ELYZA-japanese-Llama-2-7b](https://huggingface.co/elyza/ELYZA-japanese-Llama-2-7b)
+- [elyza/ELYZA-japanese-Llama-2-7b-instruct](https://huggingface.co/elyza/ELYZA-japanese-Llama-2-7b-instruct)
+
+## ライセンス
+元モデルの通り、Llama2ライセンスを継承します。
+
+Llama 2 is licensed under the LLAMA 2 Community License, Copyright (c) Meta Platforms, Inc. All Rights Reserved.
+
+## ベンチマーク
+ベースとしたELYZA-japanese-Llama-2-7b-instructと本モデルの[japanese-mt-bench](https://github.com/Stability-AI/FastChat/tree/jp-stable/fastchat/llm_judge)の結果は以下の通りです。
+（シングルターン）
+|Model|Size|Coding|Extraction|Humanities|Math|Reasoning|Roleplay|STEM|Writing|avg_score|
+|---|---|---|---|---|---|---|---|---|---|---|
+| ELYZA-japanese-Llama-2-7b-instruct | 7B | **2.4** | 3.3 | **5.7** | 1.8 | **4.7** | 4.7 | 4.8 | **6.2** | 4.2125 |
+| This model  | 2x7B | 2.2 | **6.4** | 5.5 | **2.1** | 3.9 | **5.5** | **5.3** | 5.9 | **4.6000** |
+
+![レーダーチャート](./japanese_mt_bench.png)
+
+**ベンチマークに使用したプロンプト**
+```
+"""<s>[INST] <<SYS>>
+あなたは誠実で優秀な日本人のアシスタントです。
+<</SYS>>
+
+{instruction} [/INST]"""
+```
+
+## Description
+This model is created using MoE (Mixture of Experts) through mergekit based on [elyza/ELYZA-japanese-Llama-2-7b](https://huggingface.co/elyza/ELYZA-japanese-Llama-2-7b) and [elyza/ELYZA-japanese-Llama-2-7b-instruct](https://huggingface.co/elyza/ELYZA-japanese-Llama-2-7b-instruct).
+
+[Click here for the GGUF version](https://huggingface.co/Aratako/ELYZA-japanese-Llama-2-MoE-2x7B-v0.1-GGUF)
+
+It utilizes the following two models:
+- [elyza/ELYZA-japanese-Llama-2-7b](https://huggingface.co/elyza/ELYZA-japanese-Llama-2-7b)
+- [elyza/ELYZA-japanese-Llama-2-7b-instruct](https://huggingface.co/elyza/ELYZA-japanese-Llama-2-7b-instruct)
+
+## License
+This model inherit the Llama2 license.
+
+Llama 2 is licensed under the LLAMA 2 Community License, Copyright (c) Meta Platforms, Inc. All Rights Reserved.
+
+## Benchmark
+The results of this model and the base ELYZA-japanese-Llama-2-7b-instruct on japanese-mt-bench are as follows. 
+(Single turn)
+|Model|Size|Coding|Extraction|Humanities|Math|Reasoning|Roleplay|STEM|Writing|avg_score|
+|---|---|---|---|---|---|---|---|---|---|---|
+| ELYZA-japanese-Llama-2-7b-instruct | 7B | **2.4** | 3.3 | **5.7** | 1.8 | **4.7** | 4.7 | 4.8 | **6.2** | 4.2125 |
+| This model  | 2x7B | 2.2 | **6.4** | 5.5 | **2.1** | 3.9 | **5.5** | **5.3** | 5.9 | **4.6000** |
+
+![レーダーチャート](./japanese_mt_bench.png)
+
+**Prompt used for benchmark**
+```
+"""<s>[INST] <<SYS>>
+あなたは誠実で優秀な日本人のアシスタントです。
+<</SYS>>
+
+{instruction} [/INST]"""
+```
+
+## Merge config
+[mergekit_config.yml](./mergekit_moe_config.yml)
+```yaml
+base_model: ./ELYZA-japanese-Llama-2-7b-instruct
+gate_mode: random
+dtype: bfloat16
+experts:
+  - source_model: ./ELYZA-japanese-Llama-2-7b-instruct
+    positive_prompts: []
+  - source_model: ./ELYZA-japanese-Llama-2-7b
+    positive_prompts: []
+tokenizer_source: model:./ELYZA-japanese-Llama-2-7b-instruct
+```