初始化项目,由ModelHub XC社区提供模型
Model: 4eJIoBek/ruGPT3_small_nujdiki_fithah Source: Original Platform
This commit is contained in:
36
.gitattributes
vendored
Normal file
36
.gitattributes
vendored
Normal file
@@ -0,0 +1,36 @@
|
||||
*.7z filter=lfs diff=lfs merge=lfs -text
|
||||
*.arrow filter=lfs diff=lfs merge=lfs -text
|
||||
*.bin filter=lfs diff=lfs merge=lfs -text
|
||||
*.bz2 filter=lfs diff=lfs merge=lfs -text
|
||||
*.ckpt filter=lfs diff=lfs merge=lfs -text
|
||||
*.ftz filter=lfs diff=lfs merge=lfs -text
|
||||
*.gz filter=lfs diff=lfs merge=lfs -text
|
||||
*.h5 filter=lfs diff=lfs merge=lfs -text
|
||||
*.joblib filter=lfs diff=lfs merge=lfs -text
|
||||
*.lfs.* filter=lfs diff=lfs merge=lfs -text
|
||||
*.mlmodel filter=lfs diff=lfs merge=lfs -text
|
||||
*.model filter=lfs diff=lfs merge=lfs -text
|
||||
*.msgpack filter=lfs diff=lfs merge=lfs -text
|
||||
*.npy filter=lfs diff=lfs merge=lfs -text
|
||||
*.npz filter=lfs diff=lfs merge=lfs -text
|
||||
*.onnx filter=lfs diff=lfs merge=lfs -text
|
||||
*.ot filter=lfs diff=lfs merge=lfs -text
|
||||
*.parquet filter=lfs diff=lfs merge=lfs -text
|
||||
*.pb filter=lfs diff=lfs merge=lfs -text
|
||||
*.pickle filter=lfs diff=lfs merge=lfs -text
|
||||
*.pkl filter=lfs diff=lfs merge=lfs -text
|
||||
*.pt filter=lfs diff=lfs merge=lfs -text
|
||||
*.pth filter=lfs diff=lfs merge=lfs -text
|
||||
*.rar filter=lfs diff=lfs merge=lfs -text
|
||||
*.safetensors filter=lfs diff=lfs merge=lfs -text
|
||||
saved_model/**/* filter=lfs diff=lfs merge=lfs -text
|
||||
*.tar.* filter=lfs diff=lfs merge=lfs -text
|
||||
*.tflite filter=lfs diff=lfs merge=lfs -text
|
||||
*.tgz filter=lfs diff=lfs merge=lfs -text
|
||||
*.wasm filter=lfs diff=lfs merge=lfs -text
|
||||
*.xz filter=lfs diff=lfs merge=lfs -text
|
||||
*.zip filter=lfs diff=lfs merge=lfs -text
|
||||
*.zst filter=lfs diff=lfs merge=lfs -text
|
||||
*tfevents* filter=lfs diff=lfs merge=lfs -text
|
||||
rugpt3_small_nujdiki_fithah-f16.gguf filter=lfs diff=lfs merge=lfs -text
|
||||
rugpt3_small_nujdiki_fithah-Q8_0.gguf filter=lfs diff=lfs merge=lfs -text
|
||||
19
README.md
Normal file
19
README.md
Normal file
@@ -0,0 +1,19 @@
|
||||
---
|
||||
license: wtfpl
|
||||
---
|
||||
это файнтюн sberai ruGPT3 small (125 млн параметров) на отредактированных пупах, сделанных из нуждиков (фить хах, джунгли, жуждики; всего около 30 минут, транскрибированные через openai whisper large). размер блока при файнтюне 1024, 25 эпох. все скрипты по инференсу модели тут https://github.com/ai-forever/ru-gpts, через transformers вполне себе работает на 4 гб видеопамяти, на 2 думаю тоже заработает.
|
||||
|
||||
-как запустить через transformers?
|
||||
запускаем строки ниже в jupyterе
|
||||
|
||||
from transformers import pipeline, set_seed
|
||||
|
||||
set_seed(32)
|
||||
generator = pipeline('text-generation', model="4eJIoBek/ruGPT3_small_nujdiki_fithah", do_sample=True, max_length=350)
|
||||
generator("Александр Сергеевич Пушкин известен также благодаря своим сказкам, которые включают в себя: ")
|
||||
|
||||
и всё работает и вообще нихуёво
|
||||
|
||||
|
||||
Что примечательно, эта модель иногда выдаёт такие перформансы, что результаты иногда даже прревосходят по саркастичности оригинальные нуждики, например:
|
||||
Психика женщины состоит из двух элементов: возбуждения аппетита (хочу есть)и страха смерти(пытаюсь запихнуть себя в шкафчик). Если вы боитесь умереть от переохлаждения или перегрева тела естественным путем при купании на пляже то лучше не надо делать этого ибо потом сгоришь заживо вместе со стулом который будете ставить рядом друг другу так чтоб он касался ваших ступней ног но это будет совсем другая история чем ваши стоны по телефону зная что у вас дрожат руки берите топор острием вниз падайте сверху блин ну если уж очень хочется мяса налейте кипятка под крышку кастрюли залейте кастрюлю крышкой переверните варенье ставьте ёлку поставите бутылку водки накройте всё крышками закрой дверь полотенцем лёг спать сейчас принесу велосипед тёплый снился мне сегодня приснился умер дедушка я родился 25 июня был убитый ножом отца моего брата деда вазелина красная жидкость застыла
|
||||
27
config.json
Normal file
27
config.json
Normal file
@@ -0,0 +1,27 @@
|
||||
{
|
||||
"activation_function": "gelu_new",
|
||||
"architectures": [
|
||||
"GPT2LMHeadModel"
|
||||
],
|
||||
"attn_pdrop": 0.1,
|
||||
"bos_token_id": 50256,
|
||||
"embd_pdrop": 0.1,
|
||||
"eos_token_id": 50256,
|
||||
"gradient_checkpointing": false,
|
||||
"initializer_range": 0.02,
|
||||
"layer_norm_epsilon": 1e-05,
|
||||
"model_type": "gpt2",
|
||||
"n_ctx": 2048,
|
||||
"n_embd": 768,
|
||||
"n_head": 12,
|
||||
"n_inner": null,
|
||||
"n_layer": 12,
|
||||
"n_positions": 2048,
|
||||
"resid_pdrop": 0.1,
|
||||
"summary_activation": null,
|
||||
"summary_first_dropout": 0.1,
|
||||
"summary_proj_to_labels": true,
|
||||
"summary_type": "cls_index",
|
||||
"summary_use_proj": true,
|
||||
"vocab_size": 50257
|
||||
}
|
||||
1
eval_results.txt
Normal file
1
eval_results.txt
Normal file
@@ -0,0 +1 @@
|
||||
perplexity = tensor(1.2011)
|
||||
49997
merges.txt
Normal file
49997
merges.txt
Normal file
File diff suppressed because it is too large
Load Diff
3
model.safetensors
Normal file
3
model.safetensors
Normal file
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:08c58a56b26f31abbda9eb4ac5501d52d58717c5ad5f4460fc06ad9ed9da81ec
|
||||
size 551254064
|
||||
3
pytorch_model.bin
Normal file
3
pytorch_model.bin
Normal file
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:ed82c9b5ca8a5f0915ee1f5d643a1416fd010277b0f12d7638efe694c5971438
|
||||
size 551301024
|
||||
3
rugpt3_small_nujdiki_fithah-Q8_0.gguf
Normal file
3
rugpt3_small_nujdiki_fithah-Q8_0.gguf
Normal file
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:70010020e1c83a8102ce281b7e9d8e7ae020e72ccb7e24d4bdf4143f4d0cafd6
|
||||
size 141433952
|
||||
3
rugpt3_small_nujdiki_fithah-f16.gguf
Normal file
3
rugpt3_small_nujdiki_fithah-f16.gguf
Normal file
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:1dd25505bd3bac9900e90dd4ca16a0ed1b3c83399f9a407654d6d6a59f8e306f
|
||||
size 257245216
|
||||
1
special_tokens_map.json
Normal file
1
special_tokens_map.json
Normal file
@@ -0,0 +1 @@
|
||||
{"bos_token": {"content": "<|endoftext|>", "single_word": false, "lstrip": false, "rstrip": false, "normalized": true}, "eos_token": {"content": "<|endoftext|>", "single_word": false, "lstrip": false, "rstrip": false, "normalized": true}, "unk_token": {"content": "<|endoftext|>", "single_word": false, "lstrip": false, "rstrip": false, "normalized": true}}
|
||||
1
tokenizer_config.json
Normal file
1
tokenizer_config.json
Normal file
@@ -0,0 +1 @@
|
||||
{"special_tokens_map_file": null, "full_tokenizer_file": null}
|
||||
3
training_args.bin
Normal file
3
training_args.bin
Normal file
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:4c3bc8f8c4130325c4fc784a1bf92e03fa1d63de60dbc1deb35261909ba9a292
|
||||
size 1519
|
||||
1
vocab.json
Normal file
1
vocab.json
Normal file
File diff suppressed because one or more lines are too long
Reference in New Issue
Block a user