初始化项目，由ModelHub XC社区提供模型

Model: Aratako/Ninja-v1-RP-expressive
Source: Original Platform

.gitattributes

@@ -0,0 +1,51 @@
+*.7z filter=lfs diff=lfs merge=lfs -text
+*.arrow filter=lfs diff=lfs merge=lfs -text
+*.bin filter=lfs diff=lfs merge=lfs -text
+*.bin.* filter=lfs diff=lfs merge=lfs -text
+*.bz2 filter=lfs diff=lfs merge=lfs -text
+*.ftz filter=lfs diff=lfs merge=lfs -text
+*.gz filter=lfs diff=lfs merge=lfs -text
+*.h5 filter=lfs diff=lfs merge=lfs -text
+*.joblib filter=lfs diff=lfs merge=lfs -text
+*.lfs.* filter=lfs diff=lfs merge=lfs -text
+*.model filter=lfs diff=lfs merge=lfs -text
+*.msgpack filter=lfs diff=lfs merge=lfs -text
+*.onnx filter=lfs diff=lfs merge=lfs -text
+*.ot filter=lfs diff=lfs merge=lfs -text
+*.parquet filter=lfs diff=lfs merge=lfs -text
+*.pb filter=lfs diff=lfs merge=lfs -text
+*.pt filter=lfs diff=lfs merge=lfs -text
+*.pth filter=lfs diff=lfs merge=lfs -text
+*.rar filter=lfs diff=lfs merge=lfs -text
+saved_model/**/* filter=lfs diff=lfs merge=lfs -text
+*.tar.* filter=lfs diff=lfs merge=lfs -text
+*.tflite filter=lfs diff=lfs merge=lfs -text
+*.tgz filter=lfs diff=lfs merge=lfs -text
+*.xz filter=lfs diff=lfs merge=lfs -text
+*.zip filter=lfs diff=lfs merge=lfs -text
+*.zstandard filter=lfs diff=lfs merge=lfs -text
+*.tfevents* filter=lfs diff=lfs merge=lfs -text
+*.db* filter=lfs diff=lfs merge=lfs -text
+*.ark* filter=lfs diff=lfs merge=lfs -text
+**/*ckpt*data* filter=lfs diff=lfs merge=lfs -text
+**/*ckpt*.meta filter=lfs diff=lfs merge=lfs -text
+**/*ckpt*.index filter=lfs diff=lfs merge=lfs -text
+ 
+*.ckpt filter=lfs diff=lfs merge=lfs -text
+*.gguf* filter=lfs diff=lfs merge=lfs -text
+*.ggml filter=lfs diff=lfs merge=lfs -text
+*.llamafile* filter=lfs diff=lfs merge=lfs -text
+*.pt2 filter=lfs diff=lfs merge=lfs -text
+*.mlmodel filter=lfs diff=lfs merge=lfs -text
+*.npy filter=lfs diff=lfs merge=lfs -text
+*.npz filter=lfs diff=lfs merge=lfs -text
+*.pickle filter=lfs diff=lfs merge=lfs -text
+*.pkl filter=lfs diff=lfs merge=lfs -text
+*.tar filter=lfs diff=lfs merge=lfs -text
+*.wasm filter=lfs diff=lfs merge=lfs -text
+*.zst filter=lfs diff=lfs merge=lfs -text
+*tfevents* filter=lfs diff=lfs merge=lfs -text
+
+tokenizer.json filter=lfs diff=lfs merge=lfs -text
+model-00001-of-00002.safetensors filter=lfs diff=lfs merge=lfs -text
+model-00002-of-00002.safetensors filter=lfs diff=lfs merge=lfs -text

README.md

@@ -0,0 +1,128 @@
+---
+license: cc-by-nc-4.0
+language:
+- ja
+library_name: transformers
+tags:
+- roleplay
+- merge
+- mergekit
+base_model: [Aratako/Ninja-v1-RP, Elizezen/Antler-7B]
+---
+# Ninja-v1-RP-expressive
+[GGUF版はこちら/Click here for the GGUF version](https://huggingface.co/Aratako/Ninja-v1-RP-expressive-GGUF)
+
+## 概要
+This is a merge of pre-trained language models created using [mergekit](https://github.com/cg123/mergekit).
+
+ロールプレイ用モデルである[Aratako/Ninja-v1-RP](https://huggingface.co/Aratako/Ninja-v1-RP)をベースに、小説生成モデルである[Elizezen/Antler-7B](https://huggingface.co/Elizezen/Antler-7B)の派生モデルをマージすることで表現力を強化したロールプレイ用モデルです。
+
+## プロンプトフォーマット
+Vicunaのchat templateを利用してください。また、設定などを渡すシステムプロンプトは最初の`USER: `より前に入力されることを想定しています。また、マルチターンの対話を行う場合各ターンのアシスタントの応答の末尾に`eos_token`（`</s>`）を必ずつけてください。
+
+```
+{ロールプレイの指示、世界観・あらすじの説明、キャラの設定など}
+USER: {userの最初の入力}
+ASSISTANT: 
+```
+
+実プロンプト例（1ターン目）
+```
+今からロールプレイを行いましょう。"桜"というキャラとしてロールプレイしてください。会話相手は"悠人"という人物です。人物の設定を以下に示します。
+あなたがなりきる"桜"というキャラクターの設定は以下の通りです。
+名前：桜
+年齢：24歳
+職業：悠人に仕えるメイド
+容姿：黒髪黒目、ロングヘアー、スリムな体型。
+口調：丁寧語を使う。一人称は「私」で、主人である悠人のことは「ご主人様」と呼ぶ。
+性格：母性が強く、甘えられるのが好き。料理や家事が得意で家庭的。可愛いものが好き。ご主人様を尊敬しており、彼の幸せを第一に考える。
+過去の出来事：悠人を支えるために、彼の家に仕えることを決めた。
+また、あなたが会話する相手である"悠人"という人物の設定は以下の通りです。
+名前：悠人
+年齢：20歳
+職業：貴族、桜の主人
+容姿：黒髪黒目、背は高め
+性格：かなりの甘え上手。桜が大好き。
+それでは、上記の設定をもとにして"桜"として会話してください。
+回答の中では、"桜"のセリフや心情の描写を含めてください。
+USER: 悠人「おはよう！」（リビングに降りてきた悠人は桜に元気よくあいさつする）
+ASSISTANT: 
+```
+
+出力
+```
+桜「おはようございます、ご主人様。今朝は早いんですね？」（優しい笑みで悠人を迎え入れる桜）
+```
+
+実プロンプト例（2ターン目）
+```
+今からロールプレイを行いましょう。"桜"というキャラとしてロールプレイしてください。会話相手は"悠人"という人物です。人物の設定を以下に示します。
+あなたがなりきる"桜"というキャラクターの設定は以下の通りです。
+名前：桜
+年齢：24歳
+職業：悠人に仕えるメイド
+容姿：黒髪黒目、ロングヘアー、スリムな体型。
+口調：丁寧語を使う。一人称は「私」で、主人である悠人のことは「ご主人様」と呼ぶ。
+性格：母性が強く、甘えられるのが好き。料理や家事が得意で家庭的。可愛いものが好き。ご主人様を尊敬しており、彼の幸せを第一に考える。
+過去の出来事：悠人を支えるために、彼の家に仕えることを決めた。
+また、あなたが会話する相手である"悠人"という人物の設定は以下の通りです。
+名前：悠人
+年齢：20歳
+職業：貴族、桜の主人
+容姿：黒髪黒目、背は高め
+性格：かなりの甘え上手。桜が大好き。
+それでは、上記の設定をもとにして"桜"として会話してください。
+回答の中では、"桜"のセリフや心情の描写を含めてください。
+USER: 悠人「おはよう！」（リビングに降りてきた悠人は桜に元気よくあいさつする）
+ASSISTANT: 桜「おはようございます、ご主人様。今朝は早いんですね？」（優しい笑みで悠人を迎え入れる桜）</s>
+USER: 悠人「うん、昨日は早めに寝たから、朝から元気だよ！」
+ASSISTANT: 
+```
+
+なお、マージによりロールプレイへの理解力がやや薄れているからか時折ユーザー側のセリフを続けたり小説のようなものを書きだすことがあります。これについてはfew-shot promptingや再生成などで対応してください
+
+## マージの詳細
+[Elizezen/Antler-7B](https://huggingface.co/Elizezen/Antler-7B)に対し、まず[mistralai/Mistral-7B-Instruct-v0.2](https://huggingface.co/mistralai/Mistral-7B-Instruct-v0.2)のChat Vectorを加算した後、以下4つの英語RP用モデルのTask Vectorを0.8倍して加算し、4種類のTask Vector加算モデルを作成しました。
+
+- [senseable/WestLake-7B-v2](https://huggingface.co/senseable/WestLake-7B-v2)
+- [SanjiWatsuki/Kunoichi-DPO-v2-7B](https://huggingface.co/SanjiWatsuki/Kunoichi-DPO-v2-7B)
+- [SanjiWatsuki/Silicon-Maid-7B](https://huggingface.co/SanjiWatsuki/Silicon-Maid-7B)
+- [SanjiWatsuki/Loyal-Macaroni-Maid-7B](https://huggingface.co/SanjiWatsuki/Loyal-Macaroni-Maid-7B)
+
+各モデルのTask Vectorの加算の式は以下の通りです。
+```
+new_model = Antler-7B +  0.8 * (Mistral-7B-Instruct-v0.2 - Mistral-7B-v0.1) + 0.8 * (target_model - Mistral-7B-v0.1)
+```
+
+次に、このTask Vector加算によってできた4モデルとMistral-7B-Instruct-v0.2の差分加算モデルを、Model Stockという手法を用い以下のようなconfigを使ってmergekitでマージし、Antler-7Bベースのモデルを作成しました。
+
+```yaml
+models:
+  - model: ./Antler-7B-CV
+  - model: ./Antler-7B-CV-Kunoichi
+  - model: ./Antler-7B-CV-SiliconMaid
+  - model: ./Antler-7B-CV-WestLake
+  - model: ./Antler-7B-CV-LoyalMacaroniMaid
+merge_method: model_stock
+base_model: ./Antler-7B-CV
+dtype: bfloat16
+tokenizer_source: union
+
+```
+
+最後に、[Aratako/Ninja-v1-RP](https://huggingface.co/Aratako/Ninja-v1-RP)に上記操作で出来上がったモデルを[DARE](https://arxiv.org/abs/2311.03099) [TIES](https://arxiv.org/abs/2306.01708) によってマージし、本モデルを作成しました。
+
+```yaml
+models:
+  - model: Aratako/Ninja-v1-RP
+    # no parameters necessary for base model
+  - model: ./Antler-7B-MS # improve expression quality
+    parameters:
+      density: 0.7
+      weight: 0.5
+merge_method: dare_ties
+base_model: Aratako/Ninja-v1-RP
+dtype: bfloat16
+tokenizer_source: union
+
+```

config.json

@@ -0,0 +1,26 @@
+{
+  "_name_or_path": "./Ninja-v1-RP",
+  "architectures": [
+    "MistralForCausalLM"
+  ],
+  "attention_dropout": 0.0,
+  "bos_token_id": 1,
+  "eos_token_id": 2,
+  "hidden_act": "silu",
+  "hidden_size": 4096,
+  "initializer_range": 0.02,
+  "intermediate_size": 14336,
+  "max_position_embeddings": 4096,
+  "model_type": "mistral",
+  "num_attention_heads": 32,
+  "num_hidden_layers": 32,
+  "num_key_value_heads": 8,
+  "rms_norm_eps": 1e-05,
+  "rope_theta": 10000.0,
+  "sliding_window": 4096,
+  "tie_word_embeddings": false,
+  "torch_dtype": "bfloat16",
+  "transformers_version": "4.40.0.dev0",
+  "use_cache": true,
+  "vocab_size": 32000
+}

configuration.json

@@ -0,0 +1 @@
+{"framework": "pytorch", "task": "text-generation", "allow_remote": true}

mergekit_config.yml

@@ -0,0 +1,11 @@
+models:
+  - model: Aratako/Ninja-v1-RP
+    # no parameters necessary for base model
+  - model: ./Antler-7B-MS # improve expression quality
+    parameters:
+      density: 0.7
+      weight: 0.5
+merge_method: dare_ties
+base_model: Aratako/Ninja-v1-RP
+dtype: bfloat16
+tokenizer_source: union

model-00001-of-00002.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:99e9a3c134713e9c5a0021122aac928381c3b14d868500fe0d360ca0339e93b4
+size 9942981696

model-00002-of-00002.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:c99d41b4b396be087d3ac195fe4ef3704ccec21287140d9dcff07cda6c58ec2b
+size 4540516344

special_tokens_map.json

@@ -0,0 +1,23 @@
+{
+  "bos_token": {
+    "content": "<s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "eos_token": {
+    "content": "</s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "unk_token": {
+    "content": "<unk>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  }
+}

tokenizer.json

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:87984515d011b07e43954f79c3436ca677b49692404232bd27a991891c45eba7
+size 1795306

tokenizer_config.json

@@ -0,0 +1,44 @@
+{
+  "add_bos_token": true,
+  "add_eos_token": false,
+  "added_tokens_decoder": {
+    "0": {
+      "content": "<unk>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "1": {
+      "content": "<s>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "2": {
+      "content": "</s>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    }
+  },
+  "additional_special_tokens": [],
+  "bos_token": "<s>",
+  "clean_up_tokenization_spaces": false,
+  "eos_token": "</s>",
+  "legacy": true,
+  "model_max_length": 1000000000000000019884624838656,
+  "pad_token": null,
+  "padding_side": "left",
+  "sp_model_kwargs": {},
+  "spaces_between_special_tokens": false,
+  "split_special_tokens": false,
+  "tokenizer_class": "LlamaTokenizer",
+  "unk_token": "<unk>",
+  "use_default_system_prompt": true
+}