初始化项目，由ModelHub XC社区提供模型

Model: zlsl/l_wh40k_all
Source: Original Platform

.gitattributes

@@ -0,0 +1,35 @@
+*.7z filter=lfs diff=lfs merge=lfs -text
+*.arrow filter=lfs diff=lfs merge=lfs -text
+*.bin filter=lfs diff=lfs merge=lfs -text
+*.bz2 filter=lfs diff=lfs merge=lfs -text
+*.ckpt filter=lfs diff=lfs merge=lfs -text
+*.ftz filter=lfs diff=lfs merge=lfs -text
+*.gz filter=lfs diff=lfs merge=lfs -text
+*.h5 filter=lfs diff=lfs merge=lfs -text
+*.joblib filter=lfs diff=lfs merge=lfs -text
+*.lfs.* filter=lfs diff=lfs merge=lfs -text
+*.mlmodel filter=lfs diff=lfs merge=lfs -text
+*.model filter=lfs diff=lfs merge=lfs -text
+*.msgpack filter=lfs diff=lfs merge=lfs -text
+*.npy filter=lfs diff=lfs merge=lfs -text
+*.npz filter=lfs diff=lfs merge=lfs -text
+*.onnx filter=lfs diff=lfs merge=lfs -text
+*.ot filter=lfs diff=lfs merge=lfs -text
+*.parquet filter=lfs diff=lfs merge=lfs -text
+*.pb filter=lfs diff=lfs merge=lfs -text
+*.pickle filter=lfs diff=lfs merge=lfs -text
+*.pkl filter=lfs diff=lfs merge=lfs -text
+*.pt filter=lfs diff=lfs merge=lfs -text
+*.pth filter=lfs diff=lfs merge=lfs -text
+*.rar filter=lfs diff=lfs merge=lfs -text
+*.safetensors filter=lfs diff=lfs merge=lfs -text
+saved_model/**/* filter=lfs diff=lfs merge=lfs -text
+*.tar.* filter=lfs diff=lfs merge=lfs -text
+*.tar filter=lfs diff=lfs merge=lfs -text
+*.tflite filter=lfs diff=lfs merge=lfs -text
+*.tgz filter=lfs diff=lfs merge=lfs -text
+*.wasm filter=lfs diff=lfs merge=lfs -text
+*.xz filter=lfs diff=lfs merge=lfs -text
+*.zip filter=lfs diff=lfs merge=lfs -text
+*.zst filter=lfs diff=lfs merge=lfs -text
+*tfevents* filter=lfs diff=lfs merge=lfs -text

README.md

@@ -0,0 +1,81 @@
+---
+license: cc-by-nc-sa-4.0
+language:
+- ru
+library_name: transformers
+pipeline_tag: text-generation
+tags:
+- warhammer
+- wh40k
+- warhammer 40k
+---
+Модель обучена на большом датасете (~1 Тб) официальных рассказов по лору Warhammer 40k и фанфиков по Вахе (без кроссоверов) на русском языке.
+
+За счёт того, что использовались и фанфики по вселенной Вахи, модель может немножко в кроссовер.
+
+
+
+## Для пользователей text-generation-webui
+В инструменте поломана работа с GPT-2, GPTJ, GPT-NEO и аналогичными модлями, неверно загружается токенизер.
+Ошибка такая:<br>
+>eos_token_id = eos_token_id[0]
+>IndexError: list index out of range
+
+Исправляется легко, в файл modules/models.py в функцию load_tokenizer() надо добавить строчку<br>
+<code>tokenizer.eos_token_id = 2</code><br>
+перед<br>
+<code>return tokenizer</code>
+
+
+
+Пример:
+====
+
+
+>Примарх Лоргар подошел к огромным вратам, украшенным изображением двухголового змея, и остановился перед ними.
+>
+>— Двери открыты для тебя, сын мой, но не для меня, — произнес он, хотя его голос был едва слышен из-за шума, производимого при каждом шаге. — Я никогда не стану служить тебе в качестве слуги. И я не буду служить тебе как твой брат. Ты должен понять это сам.
+>
+>— Но я не могу! — закричал Лютер, врываясь в храм. — Это неправильно!
+>
+>Лоргар поднял руку, останавливая его:
+>
+>— Ты должен. Иначе ты позволишь себе стать чудовищем. Ты — наследник Императора, а не его раб.
+>
+>— Я… я понимаю, что вы не можете дать мне то, чего я хочу! — воскликнул Лютер. — Я не могу принять вашу волю. Я не стану служить вам, если только не смогу доказать свою верность.
+>
+>— Какими бы ни были твои мотивы, — сказал Лоргар, — они приведут тебя на путь, который приведет тебя к погибели.
+>
+>— Давайте же войдем внутрь! — Лютер решительно шагнул вперед и толкнул створки дверей. Они с грохотом захлопнулись за ним.
+>
+>— Нет, нет, нет! — закричал Лютер, когда двери с лязгом закрылись за спиной примарха. — Нет! Вы не понимаете. Если я не пойду по этому пути, то все остальные последуют за мной!
+>
+>— Что ж, хорошо, — ответил Лоргар. — Хорошо. Тогда следуй за мной. Но помни: твоя судьба в руках богов.
+>
+>Они вошли в огромные врата и оказались внутри огромного храма. В стенах были вырезаны имена всех тех, кто умер в этом храме в течение десяти тысяч лет назад, и имена всех тех, кто родился здесь в последующие эпохи. Здесь было множество статуй и алтарей, которые стояли рядами вдоль стен, словно памятники тем, чьи жизни ушли преждевременно из-за ужасных эпидемий и эпидемий неизлечимых болезней.
+И тут Лютер понял, почему он так стремился попасть сюда. Он почувствовал запах крови. Он ощутил ее в воздухе, и ему стало не по себе от мысли о том, что эта кровь может принадлежать кому-то другому.
+Он повернулся к своему брату и увидел его стоящим у подножия статуи. На лице Лютера отражалось такое отчаяние, что Лютеру стало жаль его. Он знал, что его брат чувствовал то же самое.
+>
+>— Не отчаивайся, — произнес Лютер, обнимая брата за плечи. — Мы должны идти дальше. У нас есть наша цель, и мы должны исполнить ее.
+>
+>— Аминь, — прошептал Лютер и посмотрел вверх, туда, где под самым потолком горели свечи. Там, наверху, над головой Лютера сияла большая круглая звезда, которая казалась ярче всего остального неба. Она была похожа на солнце, но ее свет не был ярким и обжигающим.
+>
+>— Это символ веры? — спросил Лютер своего брата.
+>
+>— Конечно же нет, — ответил Лоргар. — Это просто звезда.
+>
+>Лютер кивнул и снова обернулся к храму. Его взгляд упал на статую, вырезанную из белого мрамора. Это была гигантская статуя человека, который некогда был одним из самых могущественных королей Терры, правителем тысячи королевств, завоевателем сотен миров. Теперь он стоял со склоненной головой, а его тело представляло собой груду искореженного металла.
+>
+>— Кто это? — спросил Лютер своего брата.
+>
+>— Владыка человечества, которого мы победили, — сказал Лоргар. — Император.
+>
+>Лютер кивнул, пытаясь осмыслить слова своего брата. Он вспомнил день, когда их отец впервые ступил на поверхность этой планеты. Воспоминания о нем до сих пор наполняли сердце Лютера гордостью и радостью.
+>
+>— Так значит, это правда? — спросил Лютер своего брата. — Что мы будем сражаться бок о бок с нашим отцом?
+>
+>— Да, — подтвердил Лоргар. — Будем сражаться вместе с ним.
+>
+>— Мы сможем победить? — спросил Лютер.
+>
+>— Возможно, — ответил Лоргар. — Возможно.

added_tokens.json

@@ -0,0 +1,3 @@
+{
+  "<|endoftext|>": 50257
+}

config.json

@@ -0,0 +1,34 @@
+{
+  "_name_or_path": "/zstorage/models/llm/l_wh40k_all",
+  "activation_function": "gelu_new",
+  "architectures": [
+    "GPT2LMHeadModel"
+  ],
+  "attn_pdrop": 0.1,
+  "bos_token_id": 50256,
+  "embd_pdrop": 0.1,
+  "eos_token_id": 50256,
+  "gradient_checkpointing": false,
+  "initializer_range": 0.02,
+  "layer_norm_epsilon": 1e-05,
+  "model_type": "gpt2",
+  "n_ctx": 2048,
+  "n_embd": 1536,
+  "n_head": 16,
+  "n_inner": null,
+  "n_layer": 24,
+  "n_positions": 2048,
+  "reorder_and_upcast_attn": false,
+  "resid_pdrop": 0.1,
+  "scale_attn_by_inverse_layer_idx": false,
+  "scale_attn_weights": true,
+  "summary_activation": null,
+  "summary_first_dropout": 0.1,
+  "summary_proj_to_labels": true,
+  "summary_type": "cls_index",
+  "summary_use_proj": true,
+  "torch_dtype": "float32",
+  "transformers_version": "4.30.2",
+  "use_cache": true,
+  "vocab_size": 50258
+}

generation_config.json

@@ -0,0 +1,6 @@
+{
+  "_from_model_config": true,
+  "bos_token_id": 50256,
+  "eos_token_id": 50256,
+  "transformers_version": "4.30.2"
+}

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:7c5e994c8b279a8f1d94be01d602e88baad270f8671923d082ea8d8e95d22a46
+size 3041236768

special_tokens_map.json

@@ -0,0 +1,23 @@
+{
+  "bos_token": {
+    "content": "<|endoftext|>",
+    "lstrip": false,
+    "normalized": true,
+    "rstrip": false,
+    "single_word": false
+  },
+  "eos_token": {
+    "content": "<|endoftext|>",
+    "lstrip": false,
+    "normalized": true,
+    "rstrip": false,
+    "single_word": false
+  },
+  "unk_token": {
+    "content": "<|endoftext|>",
+    "lstrip": false,
+    "normalized": true,
+    "rstrip": false,
+    "single_word": false
+  }
+}

tokenizer_config.json

@@ -0,0 +1,33 @@
+{
+  "add_bos_token": false,
+  "add_prefix_space": false,
+  "bos_token": {
+    "__type": "AddedToken",
+    "content": "<|endoftext|>",
+    "lstrip": false,
+    "normalized": true,
+    "rstrip": false,
+    "single_word": false
+  },
+  "clean_up_tokenization_spaces": true,
+  "eos_token": {
+    "__type": "AddedToken",
+    "content": "<|endoftext|>",
+    "lstrip": false,
+    "normalized": true,
+    "rstrip": false,
+    "single_word": false
+  },
+  "errors": "replace",
+  "model_max_length": 1000000000000000019884624838656,
+  "pad_token": null,
+  "tokenizer_class": "GPT2Tokenizer",
+  "unk_token": {
+    "__type": "AddedToken",
+    "content": "<|endoftext|>",
+    "lstrip": false,
+    "normalized": true,
+    "rstrip": false,
+    "single_word": false
+  }
+}