初始化项目,由ModelHub XC社区提供模型
Model: kortivai/shiva-alpha-base-surgery-v2 Source: Original Platform
This commit is contained in:
85
tokenizer_config.json
Normal file
85
tokenizer_config.json
Normal file
@@ -0,0 +1,85 @@
|
||||
{
|
||||
"backend": "custom",
|
||||
"bos_token": "<s>",
|
||||
"eos_token": "</s>",
|
||||
"extra_special_tokens": [
|
||||
"<s>",
|
||||
"</s>",
|
||||
"<pad>",
|
||||
"୦",
|
||||
"୧",
|
||||
"୨",
|
||||
"୩",
|
||||
"୪",
|
||||
"୫",
|
||||
"୬",
|
||||
"୭",
|
||||
"୮",
|
||||
"୯",
|
||||
"०",
|
||||
"१",
|
||||
"२",
|
||||
"३",
|
||||
"४",
|
||||
"५",
|
||||
"६",
|
||||
"७",
|
||||
"८",
|
||||
"९",
|
||||
"0",
|
||||
"1",
|
||||
"2",
|
||||
"3",
|
||||
"4",
|
||||
"5",
|
||||
"6",
|
||||
"7",
|
||||
"8",
|
||||
"9",
|
||||
"+",
|
||||
"@",
|
||||
"=",
|
||||
"$",
|
||||
"%",
|
||||
"#",
|
||||
"*",
|
||||
"&",
|
||||
"~",
|
||||
"`",
|
||||
"©",
|
||||
"®",
|
||||
"¥",
|
||||
"§",
|
||||
"₹",
|
||||
"€",
|
||||
"£",
|
||||
"°",
|
||||
"±",
|
||||
"×",
|
||||
"÷",
|
||||
".",
|
||||
",",
|
||||
":",
|
||||
";",
|
||||
"!",
|
||||
"?",
|
||||
"'",
|
||||
"\"",
|
||||
"(",
|
||||
")",
|
||||
"-",
|
||||
"[",
|
||||
"]",
|
||||
"{",
|
||||
"}",
|
||||
"—",
|
||||
"–",
|
||||
"…"
|
||||
],
|
||||
"is_local": false,
|
||||
"local_files_only": false,
|
||||
"model_max_length": 1000000000000000019884624838656,
|
||||
"pad_token": "</s>",
|
||||
"tokenizer_class": "TokenizersBackend",
|
||||
"unk_token": "<unk>"
|
||||
}
|
||||
Reference in New Issue
Block a user