86 lines
1014 B
JSON
86 lines
1014 B
JSON
|
{
|
|||
|
|
"backend": "custom",
|
|||
|
|
"bos_token": "<s>",
|
|||
|
|
"eos_token": "</s>",
|
|||
|
|
"extra_special_tokens": [
|
|||
|
|
"<s>",
|
|||
|
|
"</s>",
|
|||
|
|
"<pad>",
|
|||
|
|
"୦",
|
|||
|
|
"୧",
|
|||
|
|
"୨",
|
|||
|
|
"୩",
|
|||
|
|
"୪",
|
|||
|
|
"୫",
|
|||
|
|
"୬",
|
|||
|
|
"୭",
|
|||
|
|
"୮",
|
|||
|
|
"୯",
|
|||
|
|
"०",
|
|||
|
|
"१",
|
|||
|
|
"२",
|
|||
|
|
"३",
|
|||
|
|
"४",
|
|||
|
|
"५",
|
|||
|
|
"६",
|
|||
|
|
"७",
|
|||
|
|
"८",
|
|||
|
|
"९",
|
|||
|
|
"0",
|
|||
|
|
"1",
|
|||
|
|
"2",
|
|||
|
|
"3",
|
|||
|
|
"4",
|
|||
|
|
"5",
|
|||
|
|
"6",
|
|||
|
|
"7",
|
|||
|
|
"8",
|
|||
|
|
"9",
|
|||
|
|
"+",
|
|||
|
|
"@",
|
|||
|
|
"=",
|
|||
|
|
"$",
|
|||
|
|
"%",
|
|||
|
|
"#",
|
|||
|
|
"*",
|
|||
|
|
"&",
|
|||
|
|
"~",
|
|||
|
|
"`",
|
|||
|
|
"©",
|
|||
|
|
"®",
|
|||
|
|
"¥",
|
|||
|
|
"§",
|
|||
|
|
"₹",
|
|||
|
|
"€",
|
|||
|
|
"£",
|
|||
|
|
"°",
|
|||
|
|
"±",
|
|||
|
|
"×",
|
|||
|
|
"÷",
|
|||
|
|
".",
|
|||
|
|
",",
|
|||
|
|
":",
|
|||
|
|
";",
|
|||
|
|
"!",
|
|||
|
|
"?",
|
|||
|
|
"'",
|
|||
|
|
"\"",
|
|||
|
|
"(",
|
|||
|
|
")",
|
|||
|
|
"-",
|
|||
|
|
"[",
|
|||
|
|
"]",
|
|||
|
|
"{",
|
|||
|
|
"}",
|
|||
|
|
"—",
|
|||
|
|
"–",
|
|||
|
|
"…"
|
|||
|
|
],
|
|||
|
|
"is_local": false,
|
|||
|
|
"local_files_only": false,
|
|||
|
|
"model_max_length": 1000000000000000019884624838656,
|
|||
|
|
"pad_token": "</s>",
|
|||
|
|
"tokenizer_class": "TokenizersBackend",
|
|||
|
|
"unk_token": "<unk>"
|
|||
|
|
}
|