39 lines
802 B
JSON
39 lines
802 B
JSON
|
{
|
||
|
|
"backend": "tokenizers",
|
||
|
|
"bos_token": "<|begin_of_text|>",
|
||
|
|
"clean_up_tokenization_spaces": true,
|
||
|
|
"eos_token": "<|end_of_text|>",
|
||
|
|
"extra_special_tokens": [
|
||
|
|
"<lang_th>",
|
||
|
|
"<lang_lkt>",
|
||
|
|
"<regular_numerals>",
|
||
|
|
"<output>",
|
||
|
|
"<lang_en>",
|
||
|
|
"<lang_es>",
|
||
|
|
"<lang_de>",
|
||
|
|
"<lang_it>",
|
||
|
|
"</output>",
|
||
|
|
"<lang_fr>",
|
||
|
|
"<input>",
|
||
|
|
"</input>",
|
||
|
|
"<lang_pt>",
|
||
|
|
"<male>",
|
||
|
|
"<lakota_numerals>",
|
||
|
|
"<female>",
|
||
|
|
"<lang_hi>"
|
||
|
|
],
|
||
|
|
"is_local": true,
|
||
|
|
"local_files_only": false,
|
||
|
|
"max_length": 256,
|
||
|
|
"model_input_names": [
|
||
|
|
"input_ids",
|
||
|
|
"attention_mask"
|
||
|
|
],
|
||
|
|
"model_max_length": 131072,
|
||
|
|
"pad_token": "<|end_of_text|>",
|
||
|
|
"stride": 0,
|
||
|
|
"tokenizer_class": "TokenizersBackend",
|
||
|
|
"truncation_side": "right",
|
||
|
|
"truncation_strategy": "longest_first"
|
||
|
|
}
|