初始化项目，由ModelHub XC社区提供模型
Model: Dragonoverlord3000/JustSumAI2 Source: Original Platform
This commit is contained in:
ModelHub XC
34
.gitattributes
vendored
Normal file
34
.gitattributes
vendored
Normal file
@@ -0,0 +1,34 @@
|
||||
*.7z filter=lfs diff=lfs merge=lfs -text
|
||||
*.arrow filter=lfs diff=lfs merge=lfs -text
|
||||
*.bin filter=lfs diff=lfs merge=lfs -text
|
||||
*.bz2 filter=lfs diff=lfs merge=lfs -text
|
||||
*.ckpt filter=lfs diff=lfs merge=lfs -text
|
||||
*.ftz filter=lfs diff=lfs merge=lfs -text
|
||||
*.gz filter=lfs diff=lfs merge=lfs -text
|
||||
*.h5 filter=lfs diff=lfs merge=lfs -text
|
||||
*.joblib filter=lfs diff=lfs merge=lfs -text
|
||||
*.lfs.* filter=lfs diff=lfs merge=lfs -text
|
||||
*.mlmodel filter=lfs diff=lfs merge=lfs -text
|
||||
*.model filter=lfs diff=lfs merge=lfs -text
|
||||
*.msgpack filter=lfs diff=lfs merge=lfs -text
|
||||
*.npy filter=lfs diff=lfs merge=lfs -text
|
||||
*.npz filter=lfs diff=lfs merge=lfs -text
|
||||
*.onnx filter=lfs diff=lfs merge=lfs -text
|
||||
*.ot filter=lfs diff=lfs merge=lfs -text
|
||||
*.parquet filter=lfs diff=lfs merge=lfs -text
|
||||
*.pb filter=lfs diff=lfs merge=lfs -text
|
||||
*.pickle filter=lfs diff=lfs merge=lfs -text
|
||||
*.pkl filter=lfs diff=lfs merge=lfs -text
|
||||
*.pt filter=lfs diff=lfs merge=lfs -text
|
||||
*.pth filter=lfs diff=lfs merge=lfs -text
|
||||
*.rar filter=lfs diff=lfs merge=lfs -text
|
||||
*.safetensors filter=lfs diff=lfs merge=lfs -text
|
||||
saved_model/**/* filter=lfs diff=lfs merge=lfs -text
|
||||
*.tar.* filter=lfs diff=lfs merge=lfs -text
|
||||
*.tflite filter=lfs diff=lfs merge=lfs -text
|
||||
*.tgz filter=lfs diff=lfs merge=lfs -text
|
||||
*.wasm filter=lfs diff=lfs merge=lfs -text
|
||||
*.xz filter=lfs diff=lfs merge=lfs -text
|
||||
*.zip filter=lfs diff=lfs merge=lfs -text
|
||||
*.zst filter=lfs diff=lfs merge=lfs -text
|
||||
*tfevents* filter=lfs diff=lfs merge=lfs -text
|
||||
56
added_tokens.json
Normal file
56
added_tokens.json
Normal file
@@ -0,0 +1,56 @@
|
||||
{
|
||||
"-1": 266,
|
||||
"-1/2": 271,
|
||||
"-1/3": 273,
|
||||
"-1/4": 274,
|
||||
"-1/5": 275,
|
||||
"-2": 261,
|
||||
"-2/3": 269,
|
||||
"-2/5": 272,
|
||||
"-3": 259,
|
||||
"-3/2": 263,
|
||||
"-3/4": 268,
|
||||
"-3/5": 270,
|
||||
"-4": 258,
|
||||
"-4/3": 264,
|
||||
"-4/5": 267,
|
||||
"-5": 257,
|
||||
"-5/2": 260,
|
||||
"-5/3": 262,
|
||||
"-5/4": 265,
|
||||
"1/2": 280,
|
||||
"1/3": 278,
|
||||
"1/4": 277,
|
||||
"1/5": 276,
|
||||
"2/3": 282,
|
||||
"2/5": 279,
|
||||
"3/2": 287,
|
||||
"3/4": 283,
|
||||
"3/5": 281,
|
||||
"4/3": 286,
|
||||
"4/5": 284,
|
||||
"5/2": 289,
|
||||
"5/3": 288,
|
||||
"5/4": 285,
|
||||
"TT_CATALAN": 295,
|
||||
"TT_COS": 302,
|
||||
"TT_DIVIDE": 308,
|
||||
"TT_E": 293,
|
||||
"TT_EULERGAMMA": 296,
|
||||
"TT_INTEGER": 297,
|
||||
"TT_LEFT_PARENTHESIS": 290,
|
||||
"TT_LOG": 304,
|
||||
"TT_MINUS": 306,
|
||||
"TT_MULTIPLY": 307,
|
||||
"TT_ONE": 299,
|
||||
"TT_PHI": 294,
|
||||
"TT_PI": 292,
|
||||
"TT_PLUS": 305,
|
||||
"TT_POW": 309,
|
||||
"TT_RIGHT_PARENTHESIS": 291,
|
||||
"TT_SIN": 301,
|
||||
"TT_SQRT": 300,
|
||||
"TT_TAN": 303,
|
||||
"TT_ZERO": 298,
|
||||
"[SEP]": 310
|
||||
}
|
||||
39
config.json
Normal file
39
config.json
Normal file
@@ -0,0 +1,39 @@
|
||||
{
|
||||
"_name_or_path": "Dragonoverlord3000/JustSumAI2",
|
||||
"activation_function": "gelu_new",
|
||||
"architectures": [
|
||||
"GPT2LMHeadModel"
|
||||
],
|
||||
"attn_pdrop": 0.1,
|
||||
"bos_token_id": 50256,
|
||||
"embd_pdrop": 0.1,
|
||||
"eos_token_id": 50256,
|
||||
"initializer_range": 0.02,
|
||||
"layer_norm_epsilon": 1e-05,
|
||||
"model_type": "gpt2",
|
||||
"n_ctx": 1024,
|
||||
"n_embd": 768,
|
||||
"n_head": 12,
|
||||
"n_inner": null,
|
||||
"n_layer": 12,
|
||||
"n_positions": 1024,
|
||||
"reorder_and_upcast_attn": false,
|
||||
"resid_pdrop": 0.1,
|
||||
"scale_attn_by_inverse_layer_idx": false,
|
||||
"scale_attn_weights": true,
|
||||
"summary_activation": null,
|
||||
"summary_first_dropout": 0.1,
|
||||
"summary_proj_to_labels": true,
|
||||
"summary_type": "cls_index",
|
||||
"summary_use_proj": true,
|
||||
"task_specific_params": {
|
||||
"text-generation": {
|
||||
"do_sample": true,
|
||||
"max_length": 50
|
||||
}
|
||||
},
|
||||
"torch_dtype": "float32",
|
||||
"transformers_version": "4.26.1",
|
||||
"use_cache": true,
|
||||
"vocab_size": 311
|
||||
}
|
||||
6
generation_config.json
Normal file
6
generation_config.json
Normal file
@@ -0,0 +1,6 @@
|
||||
{
|
||||
"_from_model_config": true,
|
||||
"bos_token_id": 50256,
|
||||
"eos_token_id": 50256,
|
||||
"transformers_version": "4.26.1"
|
||||
}
|
||||
1
merges.txt
Normal file
1
merges.txt
Normal file
@@ -0,0 +1 @@
|
||||
#version: 0.2 - Trained by `huggingface/tokenizers`
|
||||
3
pytorch_model.bin
Normal file
3
pytorch_model.bin
Normal file
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:53df893ca209b47eb311633daea0a26b1d1d02f9718319a243f7c93bd7da3ce6
|
||||
size 356963901
|
||||
5
special_tokens_map.json
Normal file
5
special_tokens_map.json
Normal file
@@ -0,0 +1,5 @@
|
||||
{
|
||||
"bos_token": "<|endoftext|>",
|
||||
"eos_token": "<|endoftext|>",
|
||||
"unk_token": "<|endoftext|>"
|
||||
}
|
||||
861
tokenizer.json
Normal file
861
tokenizer.json
Normal file
@@ -0,0 +1,861 @@
|
||||
{
|
||||
"version": "1.0",
|
||||
"truncation": null,
|
||||
"padding": null,
|
||||
"added_tokens": [
|
||||
{
|
||||
"id": 0,
|
||||
"content": "<|endoftext|>",
|
||||
"single_word": false,
|
||||
"lstrip": false,
|
||||
"rstrip": false,
|
||||
"normalized": false,
|
||||
"special": true
|
||||
},
|
||||
{
|
||||
"id": 3,
|
||||
"content": "#",
|
||||
"single_word": false,
|
||||
"lstrip": false,
|
||||
"rstrip": false,
|
||||
"normalized": true,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 15,
|
||||
"content": "/",
|
||||
"single_word": false,
|
||||
"lstrip": false,
|
||||
"rstrip": false,
|
||||
"normalized": true,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 16,
|
||||
"content": "0",
|
||||
"single_word": false,
|
||||
"lstrip": false,
|
||||
"rstrip": false,
|
||||
"normalized": true,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 17,
|
||||
"content": "1",
|
||||
"single_word": false,
|
||||
"lstrip": false,
|
||||
"rstrip": false,
|
||||
"normalized": true,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 18,
|
||||
"content": "2",
|
||||
"single_word": false,
|
||||
"lstrip": false,
|
||||
"rstrip": false,
|
||||
"normalized": true,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 19,
|
||||
"content": "3",
|
||||
"single_word": false,
|
||||
"lstrip": false,
|
||||
"rstrip": false,
|
||||
"normalized": true,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 20,
|
||||
"content": "4",
|
||||
"single_word": false,
|
||||
"lstrip": false,
|
||||
"rstrip": false,
|
||||
"normalized": true,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 21,
|
||||
"content": "5",
|
||||
"single_word": false,
|
||||
"lstrip": false,
|
||||
"rstrip": false,
|
||||
"normalized": true,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 257,
|
||||
"content": "-5",
|
||||
"single_word": false,
|
||||
"lstrip": false,
|
||||
"rstrip": false,
|
||||
"normalized": true,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 258,
|
||||
"content": "-4",
|
||||
"single_word": false,
|
||||
"lstrip": false,
|
||||
"rstrip": false,
|
||||
"normalized": true,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 259,
|
||||
"content": "-3",
|
||||
"single_word": false,
|
||||
"lstrip": false,
|
||||
"rstrip": false,
|
||||
"normalized": true,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 260,
|
||||
"content": "-5/2",
|
||||
"single_word": false,
|
||||
"lstrip": false,
|
||||
"rstrip": false,
|
||||
"normalized": true,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 261,
|
||||
"content": "-2",
|
||||
"single_word": false,
|
||||
"lstrip": false,
|
||||
"rstrip": false,
|
||||
"normalized": true,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 262,
|
||||
"content": "-5/3",
|
||||
"single_word": false,
|
||||
"lstrip": false,
|
||||
"rstrip": false,
|
||||
"normalized": true,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 263,
|
||||
"content": "-3/2",
|
||||
"single_word": false,
|
||||
"lstrip": false,
|
||||
"rstrip": false,
|
||||
"normalized": true,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 264,
|
||||
"content": "-4/3",
|
||||
"single_word": false,
|
||||
"lstrip": false,
|
||||
"rstrip": false,
|
||||
"normalized": true,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 265,
|
||||
"content": "-5/4",
|
||||
"single_word": false,
|
||||
"lstrip": false,
|
||||
"rstrip": false,
|
||||
"normalized": true,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 266,
|
||||
"content": "-1",
|
||||
"single_word": false,
|
||||
"lstrip": false,
|
||||
"rstrip": false,
|
||||
"normalized": true,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 267,
|
||||
"content": "-4/5",
|
||||
"single_word": false,
|
||||
"lstrip": false,
|
||||
"rstrip": false,
|
||||
"normalized": true,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 268,
|
||||
"content": "-3/4",
|
||||
"single_word": false,
|
||||
"lstrip": false,
|
||||
"rstrip": false,
|
||||
"normalized": true,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 269,
|
||||
"content": "-2/3",
|
||||
"single_word": false,
|
||||
"lstrip": false,
|
||||
"rstrip": false,
|
||||
"normalized": true,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 270,
|
||||
"content": "-3/5",
|
||||
"single_word": false,
|
||||
"lstrip": false,
|
||||
"rstrip": false,
|
||||
"normalized": true,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 271,
|
||||
"content": "-1/2",
|
||||
"single_word": false,
|
||||
"lstrip": false,
|
||||
"rstrip": false,
|
||||
"normalized": true,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 272,
|
||||
"content": "-2/5",
|
||||
"single_word": false,
|
||||
"lstrip": false,
|
||||
"rstrip": false,
|
||||
"normalized": true,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 273,
|
||||
"content": "-1/3",
|
||||
"single_word": false,
|
||||
"lstrip": false,
|
||||
"rstrip": false,
|
||||
"normalized": true,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 274,
|
||||
"content": "-1/4",
|
||||
"single_word": false,
|
||||
"lstrip": false,
|
||||
"rstrip": false,
|
||||
"normalized": true,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 275,
|
||||
"content": "-1/5",
|
||||
"single_word": false,
|
||||
"lstrip": false,
|
||||
"rstrip": false,
|
||||
"normalized": true,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 276,
|
||||
"content": "1/5",
|
||||
"single_word": false,
|
||||
"lstrip": false,
|
||||
"rstrip": false,
|
||||
"normalized": true,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 277,
|
||||
"content": "1/4",
|
||||
"single_word": false,
|
||||
"lstrip": false,
|
||||
"rstrip": false,
|
||||
"normalized": true,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 278,
|
||||
"content": "1/3",
|
||||
"single_word": false,
|
||||
"lstrip": false,
|
||||
"rstrip": false,
|
||||
"normalized": true,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 279,
|
||||
"content": "2/5",
|
||||
"single_word": false,
|
||||
"lstrip": false,
|
||||
"rstrip": false,
|
||||
"normalized": true,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 280,
|
||||
"content": "1/2",
|
||||
"single_word": false,
|
||||
"lstrip": false,
|
||||
"rstrip": false,
|
||||
"normalized": true,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 281,
|
||||
"content": "3/5",
|
||||
"single_word": false,
|
||||
"lstrip": false,
|
||||
"rstrip": false,
|
||||
"normalized": true,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 282,
|
||||
"content": "2/3",
|
||||
"single_word": false,
|
||||
"lstrip": false,
|
||||
"rstrip": false,
|
||||
"normalized": true,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 283,
|
||||
"content": "3/4",
|
||||
"single_word": false,
|
||||
"lstrip": false,
|
||||
"rstrip": false,
|
||||
"normalized": true,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 284,
|
||||
"content": "4/5",
|
||||
"single_word": false,
|
||||
"lstrip": false,
|
||||
"rstrip": false,
|
||||
"normalized": true,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 285,
|
||||
"content": "5/4",
|
||||
"single_word": false,
|
||||
"lstrip": false,
|
||||
"rstrip": false,
|
||||
"normalized": true,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 286,
|
||||
"content": "4/3",
|
||||
"single_word": false,
|
||||
"lstrip": false,
|
||||
"rstrip": false,
|
||||
"normalized": true,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 287,
|
||||
"content": "3/2",
|
||||
"single_word": false,
|
||||
"lstrip": false,
|
||||
"rstrip": false,
|
||||
"normalized": true,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 288,
|
||||
"content": "5/3",
|
||||
"single_word": false,
|
||||
"lstrip": false,
|
||||
"rstrip": false,
|
||||
"normalized": true,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 289,
|
||||
"content": "5/2",
|
||||
"single_word": false,
|
||||
"lstrip": false,
|
||||
"rstrip": false,
|
||||
"normalized": true,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 290,
|
||||
"content": "TT_LEFT_PARENTHESIS",
|
||||
"single_word": false,
|
||||
"lstrip": false,
|
||||
"rstrip": false,
|
||||
"normalized": true,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 291,
|
||||
"content": "TT_RIGHT_PARENTHESIS",
|
||||
"single_word": false,
|
||||
"lstrip": false,
|
||||
"rstrip": false,
|
||||
"normalized": true,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 292,
|
||||
"content": "TT_PI",
|
||||
"single_word": false,
|
||||
"lstrip": false,
|
||||
"rstrip": false,
|
||||
"normalized": true,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 293,
|
||||
"content": "TT_E",
|
||||
"single_word": false,
|
||||
"lstrip": false,
|
||||
"rstrip": false,
|
||||
"normalized": true,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 294,
|
||||
"content": "TT_PHI",
|
||||
"single_word": false,
|
||||
"lstrip": false,
|
||||
"rstrip": false,
|
||||
"normalized": true,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 295,
|
||||
"content": "TT_CATALAN",
|
||||
"single_word": false,
|
||||
"lstrip": false,
|
||||
"rstrip": false,
|
||||
"normalized": true,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 296,
|
||||
"content": "TT_EULERGAMMA",
|
||||
"single_word": false,
|
||||
"lstrip": false,
|
||||
"rstrip": false,
|
||||
"normalized": true,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 297,
|
||||
"content": "TT_INTEGER",
|
||||
"single_word": false,
|
||||
"lstrip": false,
|
||||
"rstrip": false,
|
||||
"normalized": true,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 298,
|
||||
"content": "TT_ZERO",
|
||||
"single_word": false,
|
||||
"lstrip": false,
|
||||
"rstrip": false,
|
||||
"normalized": true,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 299,
|
||||
"content": "TT_ONE",
|
||||
"single_word": false,
|
||||
"lstrip": false,
|
||||
"rstrip": false,
|
||||
"normalized": true,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 300,
|
||||
"content": "TT_SQRT",
|
||||
"single_word": false,
|
||||
"lstrip": false,
|
||||
"rstrip": false,
|
||||
"normalized": true,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 301,
|
||||
"content": "TT_SIN",
|
||||
"single_word": false,
|
||||
"lstrip": false,
|
||||
"rstrip": false,
|
||||
"normalized": true,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 302,
|
||||
"content": "TT_COS",
|
||||
"single_word": false,
|
||||
"lstrip": false,
|
||||
"rstrip": false,
|
||||
"normalized": true,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 303,
|
||||
"content": "TT_TAN",
|
||||
"single_word": false,
|
||||
"lstrip": false,
|
||||
"rstrip": false,
|
||||
"normalized": true,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 304,
|
||||
"content": "TT_LOG",
|
||||
"single_word": false,
|
||||
"lstrip": false,
|
||||
"rstrip": false,
|
||||
"normalized": true,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 305,
|
||||
"content": "TT_PLUS",
|
||||
"single_word": false,
|
||||
"lstrip": false,
|
||||
"rstrip": false,
|
||||
"normalized": true,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 306,
|
||||
"content": "TT_MINUS",
|
||||
"single_word": false,
|
||||
"lstrip": false,
|
||||
"rstrip": false,
|
||||
"normalized": true,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 307,
|
||||
"content": "TT_MULTIPLY",
|
||||
"single_word": false,
|
||||
"lstrip": false,
|
||||
"rstrip": false,
|
||||
"normalized": true,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 308,
|
||||
"content": "TT_DIVIDE",
|
||||
"single_word": false,
|
||||
"lstrip": false,
|
||||
"rstrip": false,
|
||||
"normalized": true,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 309,
|
||||
"content": "TT_POW",
|
||||
"single_word": false,
|
||||
"lstrip": false,
|
||||
"rstrip": false,
|
||||
"normalized": true,
|
||||
"special": false
|
||||
},
|
||||
{
|
||||
"id": 310,
|
||||
"content": "[SEP]",
|
||||
"single_word": false,
|
||||
"lstrip": false,
|
||||
"rstrip": false,
|
||||
"normalized": true,
|
||||
"special": false
|
||||
}
|
||||
],
|
||||
"normalizer": null,
|
||||
"pre_tokenizer": {
|
||||
"type": "ByteLevel",
|
||||
"add_prefix_space": false,
|
||||
"trim_offsets": true,
|
||||
"use_regex": true
|
||||
},
|
||||
"post_processor": {
|
||||
"type": "ByteLevel",
|
||||
"add_prefix_space": true,
|
||||
"trim_offsets": false,
|
||||
"use_regex": true
|
||||
},
|
||||
"decoder": {
|
||||
"type": "ByteLevel",
|
||||
"add_prefix_space": true,
|
||||
"trim_offsets": true,
|
||||
"use_regex": true
|
||||
},
|
||||
"model": {
|
||||
"type": "BPE",
|
||||
"dropout": null,
|
||||
"unk_token": null,
|
||||
"continuing_subword_prefix": "",
|
||||
"end_of_word_suffix": "",
|
||||
"fuse_unk": false,
|
||||
"vocab": {
|
||||
"<|endoftext|>": 0,
|
||||
"!": 1,
|
||||
"\"": 2,
|
||||
"#": 3,
|
||||
"$": 4,
|
||||
"%": 5,
|
||||
"&": 6,
|
||||
"'": 7,
|
||||
"(": 8,
|
||||
")": 9,
|
||||
"*": 10,
|
||||
"+": 11,
|
||||
",": 12,
|
||||
"-": 13,
|
||||
".": 14,
|
||||
"/": 15,
|
||||
"0": 16,
|
||||
"1": 17,
|
||||
"2": 18,
|
||||
"3": 19,
|
||||
"4": 20,
|
||||
"5": 21,
|
||||
"6": 22,
|
||||
"7": 23,
|
||||
"8": 24,
|
||||
"9": 25,
|
||||
":": 26,
|
||||
";": 27,
|
||||
"<": 28,
|
||||
"=": 29,
|
||||
">": 30,
|
||||
"?": 31,
|
||||
"@": 32,
|
||||
"A": 33,
|
||||
"B": 34,
|
||||
"C": 35,
|
||||
"D": 36,
|
||||
"E": 37,
|
||||
"F": 38,
|
||||
"G": 39,
|
||||
"H": 40,
|
||||
"I": 41,
|
||||
"J": 42,
|
||||
"K": 43,
|
||||
"L": 44,
|
||||
"M": 45,
|
||||
"N": 46,
|
||||
"O": 47,
|
||||
"P": 48,
|
||||
"Q": 49,
|
||||
"R": 50,
|
||||
"S": 51,
|
||||
"T": 52,
|
||||
"U": 53,
|
||||
"V": 54,
|
||||
"W": 55,
|
||||
"X": 56,
|
||||
"Y": 57,
|
||||
"Z": 58,
|
||||
"[": 59,
|
||||
"\\": 60,
|
||||
"]": 61,
|
||||
"^": 62,
|
||||
"_": 63,
|
||||
"`": 64,
|
||||
"a": 65,
|
||||
"b": 66,
|
||||
"c": 67,
|
||||
"d": 68,
|
||||
"e": 69,
|
||||
"f": 70,
|
||||
"g": 71,
|
||||
"h": 72,
|
||||
"i": 73,
|
||||
"j": 74,
|
||||
"k": 75,
|
||||
"l": 76,
|
||||
"m": 77,
|
||||
"n": 78,
|
||||
"o": 79,
|
||||
"p": 80,
|
||||
"q": 81,
|
||||
"r": 82,
|
||||
"s": 83,
|
||||
"t": 84,
|
||||
"u": 85,
|
||||
"v": 86,
|
||||
"w": 87,
|
||||
"x": 88,
|
||||
"y": 89,
|
||||
"z": 90,
|
||||
"{": 91,
|
||||
"|": 92,
|
||||
"}": 93,
|
||||
"~": 94,
|
||||
"¡": 95,
|
||||
"¢": 96,
|
||||
"£": 97,
|
||||
"¤": 98,
|
||||
"¥": 99,
|
||||
"¦": 100,
|
||||
"§": 101,
|
||||
"¨": 102,
|
||||
"©": 103,
|
||||
"ª": 104,
|
||||
"«": 105,
|
||||
"¬": 106,
|
||||
"®": 107,
|
||||
"¯": 108,
|
||||
"°": 109,
|
||||
"±": 110,
|
||||
"²": 111,
|
||||
"³": 112,
|
||||
"´": 113,
|
||||
"µ": 114,
|
||||
"¶": 115,
|
||||
"·": 116,
|
||||
"¸": 117,
|
||||
"¹": 118,
|
||||
"º": 119,
|
||||
"»": 120,
|
||||
"¼": 121,
|
||||
"½": 122,
|
||||
"¾": 123,
|
||||
"¿": 124,
|
||||
"À": 125,
|
||||
"Á": 126,
|
||||
"Â": 127,
|
||||
"Ã": 128,
|
||||
"Ä": 129,
|
||||
"Å": 130,
|
||||
"Æ": 131,
|
||||
"Ç": 132,
|
||||
"È": 133,
|
||||
"É": 134,
|
||||
"Ê": 135,
|
||||
"Ë": 136,
|
||||
"Ì": 137,
|
||||
"Í": 138,
|
||||
"Î": 139,
|
||||
"Ï": 140,
|
||||
"Ð": 141,
|
||||
"Ñ": 142,
|
||||
"Ò": 143,
|
||||
"Ó": 144,
|
||||
"Ô": 145,
|
||||
"Õ": 146,
|
||||
"Ö": 147,
|
||||
"×": 148,
|
||||
"Ø": 149,
|
||||
"Ù": 150,
|
||||
"Ú": 151,
|
||||
"Û": 152,
|
||||
"Ü": 153,
|
||||
"Ý": 154,
|
||||
"Þ": 155,
|
||||
"ß": 156,
|
||||
"à": 157,
|
||||
"á": 158,
|
||||
"â": 159,
|
||||
"ã": 160,
|
||||
"ä": 161,
|
||||
"å": 162,
|
||||
"æ": 163,
|
||||
"ç": 164,
|
||||
"è": 165,
|
||||
"é": 166,
|
||||
"ê": 167,
|
||||
"ë": 168,
|
||||
"ì": 169,
|
||||
"í": 170,
|
||||
"î": 171,
|
||||
"ï": 172,
|
||||
"ð": 173,
|
||||
"ñ": 174,
|
||||
"ò": 175,
|
||||
"ó": 176,
|
||||
"ô": 177,
|
||||
"õ": 178,
|
||||
"ö": 179,
|
||||
"÷": 180,
|
||||
"ø": 181,
|
||||
"ù": 182,
|
||||
"ú": 183,
|
||||
"û": 184,
|
||||
"ü": 185,
|
||||
"ý": 186,
|
||||
"þ": 187,
|
||||
"ÿ": 188,
|
||||
"Ā": 189,
|
||||
"ā": 190,
|
||||
"Ă": 191,
|
||||
"ă": 192,
|
||||
"Ą": 193,
|
||||
"ą": 194,
|
||||
"Ć": 195,
|
||||
"ć": 196,
|
||||
"Ĉ": 197,
|
||||
"ĉ": 198,
|
||||
"Ċ": 199,
|
||||
"ċ": 200,
|
||||
"Č": 201,
|
||||
"č": 202,
|
||||
"Ď": 203,
|
||||
"ď": 204,
|
||||
"Đ": 205,
|
||||
"đ": 206,
|
||||
"Ē": 207,
|
||||
"ē": 208,
|
||||
"Ĕ": 209,
|
||||
"ĕ": 210,
|
||||
"Ė": 211,
|
||||
"ė": 212,
|
||||
"Ę": 213,
|
||||
"ę": 214,
|
||||
"Ě": 215,
|
||||
"ě": 216,
|
||||
"Ĝ": 217,
|
||||
"ĝ": 218,
|
||||
"Ğ": 219,
|
||||
"ğ": 220,
|
||||
"Ġ": 221,
|
||||
"ġ": 222,
|
||||
"Ģ": 223,
|
||||
"ģ": 224,
|
||||
"Ĥ": 225,
|
||||
"ĥ": 226,
|
||||
"Ħ": 227,
|
||||
"ħ": 228,
|
||||
"Ĩ": 229,
|
||||
"ĩ": 230,
|
||||
"Ī": 231,
|
||||
"ī": 232,
|
||||
"Ĭ": 233,
|
||||
"ĭ": 234,
|
||||
"Į": 235,
|
||||
"į": 236,
|
||||
"İ": 237,
|
||||
"ı": 238,
|
||||
"IJ": 239,
|
||||
"ij": 240,
|
||||
"Ĵ": 241,
|
||||
"ĵ": 242,
|
||||
"Ķ": 243,
|
||||
"ķ": 244,
|
||||
"ĸ": 245,
|
||||
"Ĺ": 246,
|
||||
"ĺ": 247,
|
||||
"Ļ": 248,
|
||||
"ļ": 249,
|
||||
"Ľ": 250,
|
||||
"ľ": 251,
|
||||
"Ŀ": 252,
|
||||
"ŀ": 253,
|
||||
"Ł": 254,
|
||||
"ł": 255,
|
||||
"Ń": 256
|
||||
},
|
||||
"merges": []
|
||||
}
|
||||
}
|
||||
10
tokenizer_config.json
Normal file
10
tokenizer_config.json
Normal file
@@ -0,0 +1,10 @@
|
||||
{
|
||||
"add_prefix_space": false,
|
||||
"bos_token": "<|endoftext|>",
|
||||
"eos_token": "<|endoftext|>",
|
||||
"model_max_length": 1024,
|
||||
"name_or_path": "gpt2",
|
||||
"special_tokens_map_file": null,
|
||||
"tokenizer_class": "GPT2Tokenizer",
|
||||
"unk_token": "<|endoftext|>"
|
||||
}
|
||||
1
vocab.json
Normal file
1
vocab.json
Normal file
@@ -0,0 +1 @@
|
||||
{"<|endoftext|>":0,"!":1,"\"":2,"#":3,"$":4,"%":5,"&":6,"'":7,"(":8,")":9,"*":10,"+":11,",":12,"-":13,".":14,"/":15,"0":16,"1":17,"2":18,"3":19,"4":20,"5":21,"6":22,"7":23,"8":24,"9":25,":":26,";":27,"<":28,"=":29,">":30,"?":31,"@":32,"A":33,"B":34,"C":35,"D":36,"E":37,"F":38,"G":39,"H":40,"I":41,"J":42,"K":43,"L":44,"M":45,"N":46,"O":47,"P":48,"Q":49,"R":50,"S":51,"T":52,"U":53,"V":54,"W":55,"X":56,"Y":57,"Z":58,"[":59,"\\":60,"]":61,"^":62,"_":63,"`":64,"a":65,"b":66,"c":67,"d":68,"e":69,"f":70,"g":71,"h":72,"i":73,"j":74,"k":75,"l":76,"m":77,"n":78,"o":79,"p":80,"q":81,"r":82,"s":83,"t":84,"u":85,"v":86,"w":87,"x":88,"y":89,"z":90,"{":91,"|":92,"}":93,"~":94,"¡":95,"¢":96,"£":97,"¤":98,"¥":99,"¦":100,"§":101,"¨":102,"©":103,"ª":104,"«":105,"¬":106,"®":107,"¯":108,"°":109,"±":110,"²":111,"³":112,"´":113,"µ":114,"¶":115,"·":116,"¸":117,"¹":118,"º":119,"»":120,"¼":121,"½":122,"¾":123,"¿":124,"À":125,"Á":126,"Â":127,"Ã":128,"Ä":129,"Å":130,"Æ":131,"Ç":132,"È":133,"É":134,"Ê":135,"Ë":136,"Ì":137,"Í":138,"Î":139,"Ï":140,"Ð":141,"Ñ":142,"Ò":143,"Ó":144,"Ô":145,"Õ":146,"Ö":147,"×":148,"Ø":149,"Ù":150,"Ú":151,"Û":152,"Ü":153,"Ý":154,"Þ":155,"ß":156,"à":157,"á":158,"â":159,"ã":160,"ä":161,"å":162,"æ":163,"ç":164,"è":165,"é":166,"ê":167,"ë":168,"ì":169,"í":170,"î":171,"ï":172,"ð":173,"ñ":174,"ò":175,"ó":176,"ô":177,"õ":178,"ö":179,"÷":180,"ø":181,"ù":182,"ú":183,"û":184,"ü":185,"ý":186,"þ":187,"ÿ":188,"Ā":189,"ā":190,"Ă":191,"ă":192,"Ą":193,"ą":194,"Ć":195,"ć":196,"Ĉ":197,"ĉ":198,"Ċ":199,"ċ":200,"Č":201,"č":202,"Ď":203,"ď":204,"Đ":205,"đ":206,"Ē":207,"ē":208,"Ĕ":209,"ĕ":210,"Ė":211,"ė":212,"Ę":213,"ę":214,"Ě":215,"ě":216,"Ĝ":217,"ĝ":218,"Ğ":219,"ğ":220,"Ġ":221,"ġ":222,"Ģ":223,"ģ":224,"Ĥ":225,"ĥ":226,"Ħ":227,"ħ":228,"Ĩ":229,"ĩ":230,"Ī":231,"ī":232,"Ĭ":233,"ĭ":234,"Į":235,"į":236,"İ":237,"ı":238,"IJ":239,"ij":240,"Ĵ":241,"ĵ":242,"Ķ":243,"ķ":244,"ĸ":245,"Ĺ":246,"ĺ":247,"Ļ":248,"ļ":249,"Ľ":250,"ľ":251,"Ŀ":252,"ŀ":253,"Ł":254,"ł":255,"Ń":256}
|
||||
Reference in New Issue
Block a user