86 lines
1014 B
JSON
86 lines
1014 B
JSON
{
|
||
"backend": "custom",
|
||
"bos_token": "<s>",
|
||
"eos_token": "</s>",
|
||
"extra_special_tokens": [
|
||
"<s>",
|
||
"</s>",
|
||
"<pad>",
|
||
"୦",
|
||
"୧",
|
||
"୨",
|
||
"୩",
|
||
"୪",
|
||
"୫",
|
||
"୬",
|
||
"୭",
|
||
"୮",
|
||
"୯",
|
||
"०",
|
||
"१",
|
||
"२",
|
||
"३",
|
||
"४",
|
||
"५",
|
||
"६",
|
||
"७",
|
||
"८",
|
||
"९",
|
||
"0",
|
||
"1",
|
||
"2",
|
||
"3",
|
||
"4",
|
||
"5",
|
||
"6",
|
||
"7",
|
||
"8",
|
||
"9",
|
||
"+",
|
||
"@",
|
||
"=",
|
||
"$",
|
||
"%",
|
||
"#",
|
||
"*",
|
||
"&",
|
||
"~",
|
||
"`",
|
||
"©",
|
||
"®",
|
||
"¥",
|
||
"§",
|
||
"₹",
|
||
"€",
|
||
"£",
|
||
"°",
|
||
"±",
|
||
"×",
|
||
"÷",
|
||
".",
|
||
",",
|
||
":",
|
||
";",
|
||
"!",
|
||
"?",
|
||
"'",
|
||
"\"",
|
||
"(",
|
||
")",
|
||
"-",
|
||
"[",
|
||
"]",
|
||
"{",
|
||
"}",
|
||
"—",
|
||
"–",
|
||
"…"
|
||
],
|
||
"is_local": false,
|
||
"local_files_only": false,
|
||
"model_max_length": 1000000000000000019884624838656,
|
||
"pad_token": "</s>",
|
||
"tokenizer_class": "TokenizersBackend",
|
||
"unk_token": "<unk>"
|
||
}
|