315 lines
4.2 KiB
JSON
315 lines
4.2 KiB
JSON
|
{
|
||
|
|
"add_prefix_space": false,
|
||
|
|
"backend": "tokenizers",
|
||
|
|
"bos_token": "<|endoftext|>",
|
||
|
|
"clean_up_tokenization_spaces": false,
|
||
|
|
"eos_token": "<|endoftext|>",
|
||
|
|
"extra_special_tokens": [
|
||
|
|
"<B01>",
|
||
|
|
"<B02>",
|
||
|
|
"<B03>",
|
||
|
|
"<B04>",
|
||
|
|
"<B05>",
|
||
|
|
"<B06>",
|
||
|
|
"<B07>",
|
||
|
|
"<B08>",
|
||
|
|
"<B09>",
|
||
|
|
"<B10>",
|
||
|
|
"<B11>",
|
||
|
|
"<B12>",
|
||
|
|
"<B13>",
|
||
|
|
"<B14>",
|
||
|
|
"<B15>",
|
||
|
|
"<B16>",
|
||
|
|
"<B17>",
|
||
|
|
"<B18>",
|
||
|
|
"<B19>",
|
||
|
|
"<B20>",
|
||
|
|
"<B21>",
|
||
|
|
"<B22>",
|
||
|
|
"<B23>",
|
||
|
|
"<B24>",
|
||
|
|
"<B25>",
|
||
|
|
"<B26>",
|
||
|
|
"<B27>",
|
||
|
|
"<B28>",
|
||
|
|
"<B29>",
|
||
|
|
"<B30>",
|
||
|
|
"<B31>",
|
||
|
|
"<B32>",
|
||
|
|
"<B33>",
|
||
|
|
"<B34>",
|
||
|
|
"<B35>",
|
||
|
|
"<B36>",
|
||
|
|
"<B37>",
|
||
|
|
"<B38>",
|
||
|
|
"<B39>",
|
||
|
|
"<B40>",
|
||
|
|
"<B41>",
|
||
|
|
"<B42>",
|
||
|
|
"<B43>",
|
||
|
|
"<B44>",
|
||
|
|
"<B45>",
|
||
|
|
"<B46>",
|
||
|
|
"<B47>",
|
||
|
|
"<B48>",
|
||
|
|
"<B49>",
|
||
|
|
"<B50>",
|
||
|
|
"<B51>",
|
||
|
|
"<B52>",
|
||
|
|
"<B53>",
|
||
|
|
"<B54>",
|
||
|
|
"<B55>",
|
||
|
|
"<B56>",
|
||
|
|
"<B57>",
|
||
|
|
"<B58>",
|
||
|
|
"<B59>",
|
||
|
|
"<B60>",
|
||
|
|
"<B61>",
|
||
|
|
"<B62>",
|
||
|
|
"<B63>",
|
||
|
|
"<B64>",
|
||
|
|
"<B65>",
|
||
|
|
"<B66>",
|
||
|
|
"<B67>",
|
||
|
|
"<B68>",
|
||
|
|
"<B69>",
|
||
|
|
"<B70>",
|
||
|
|
"<B71>",
|
||
|
|
"<B72>",
|
||
|
|
"<B73>",
|
||
|
|
"<B74>",
|
||
|
|
"<B75>",
|
||
|
|
"<B76>",
|
||
|
|
"<B77>",
|
||
|
|
"<B78>",
|
||
|
|
"<B79>",
|
||
|
|
"<B80>",
|
||
|
|
"<B81>",
|
||
|
|
"<B82>",
|
||
|
|
"<B83>",
|
||
|
|
"<B84>",
|
||
|
|
"<B85>",
|
||
|
|
"<B86>",
|
||
|
|
"<B87>",
|
||
|
|
"<B88>",
|
||
|
|
"<B89>",
|
||
|
|
"<B90>",
|
||
|
|
"<B91>",
|
||
|
|
"<B92>",
|
||
|
|
"<B93>",
|
||
|
|
"<B94>",
|
||
|
|
"<B95>",
|
||
|
|
"<B96>",
|
||
|
|
"<B97>",
|
||
|
|
"<B98>",
|
||
|
|
"<B99>",
|
||
|
|
"<B100>",
|
||
|
|
"<C01>",
|
||
|
|
"<C02>",
|
||
|
|
"<C03>",
|
||
|
|
"<C04>",
|
||
|
|
"<C05>",
|
||
|
|
"<C06>",
|
||
|
|
"<C07>",
|
||
|
|
"<C08>",
|
||
|
|
"<C09>",
|
||
|
|
"<C10>",
|
||
|
|
"<C11>",
|
||
|
|
"<C12>",
|
||
|
|
"<C13>",
|
||
|
|
"<C14>",
|
||
|
|
"<C15>",
|
||
|
|
"<C16>",
|
||
|
|
"<C17>",
|
||
|
|
"<C18>",
|
||
|
|
"<C19>",
|
||
|
|
"<C20>",
|
||
|
|
"<C21>",
|
||
|
|
"<C22>",
|
||
|
|
"<C23>",
|
||
|
|
"<C24>",
|
||
|
|
"<C25>",
|
||
|
|
"<C26>",
|
||
|
|
"<C27>",
|
||
|
|
"<C28>",
|
||
|
|
"<C29>",
|
||
|
|
"<C30>",
|
||
|
|
"<C31>",
|
||
|
|
"<C32>",
|
||
|
|
"<C33>",
|
||
|
|
"<C34>",
|
||
|
|
"<C35>",
|
||
|
|
"<C36>",
|
||
|
|
"<C37>",
|
||
|
|
"<C38>",
|
||
|
|
"<C39>",
|
||
|
|
"<C40>",
|
||
|
|
"<C41>",
|
||
|
|
"<C42>",
|
||
|
|
"<C43>",
|
||
|
|
"<C44>",
|
||
|
|
"<C45>",
|
||
|
|
"<C46>",
|
||
|
|
"<C47>",
|
||
|
|
"<C48>",
|
||
|
|
"<C49>",
|
||
|
|
"<C50>",
|
||
|
|
"<C51>",
|
||
|
|
"<C52>",
|
||
|
|
"<C53>",
|
||
|
|
"<C54>",
|
||
|
|
"<C55>",
|
||
|
|
"<C56>",
|
||
|
|
"<C57>",
|
||
|
|
"<C58>",
|
||
|
|
"<C59>",
|
||
|
|
"<C60>",
|
||
|
|
"<C61>",
|
||
|
|
"<C62>",
|
||
|
|
"<C63>",
|
||
|
|
"<C64>",
|
||
|
|
"<C65>",
|
||
|
|
"<C66>",
|
||
|
|
"<C67>",
|
||
|
|
"<C68>",
|
||
|
|
"<C69>",
|
||
|
|
"<C70>",
|
||
|
|
"<C71>",
|
||
|
|
"<C72>",
|
||
|
|
"<C73>",
|
||
|
|
"<C74>",
|
||
|
|
"<C75>",
|
||
|
|
"<C76>",
|
||
|
|
"<C77>",
|
||
|
|
"<C78>",
|
||
|
|
"<C79>",
|
||
|
|
"<C80>",
|
||
|
|
"<C81>",
|
||
|
|
"<C82>",
|
||
|
|
"<C83>",
|
||
|
|
"<C84>",
|
||
|
|
"<C85>",
|
||
|
|
"<C86>",
|
||
|
|
"<C87>",
|
||
|
|
"<C88>",
|
||
|
|
"<C89>",
|
||
|
|
"<C90>",
|
||
|
|
"<C91>",
|
||
|
|
"<C92>",
|
||
|
|
"<C93>",
|
||
|
|
"<C94>",
|
||
|
|
"<C95>",
|
||
|
|
"<C96>",
|
||
|
|
"<C97>",
|
||
|
|
"<C98>",
|
||
|
|
"<C99>",
|
||
|
|
"<C100>",
|
||
|
|
"<D01>",
|
||
|
|
"<D02>",
|
||
|
|
"<D03>",
|
||
|
|
"<D04>",
|
||
|
|
"<D05>",
|
||
|
|
"<D06>",
|
||
|
|
"<D07>",
|
||
|
|
"<D08>",
|
||
|
|
"<D09>",
|
||
|
|
"<D10>",
|
||
|
|
"<D11>",
|
||
|
|
"<D12>",
|
||
|
|
"<D13>",
|
||
|
|
"<D14>",
|
||
|
|
"<D15>",
|
||
|
|
"<D16>",
|
||
|
|
"<D17>",
|
||
|
|
"<D18>",
|
||
|
|
"<D19>",
|
||
|
|
"<D20>",
|
||
|
|
"<D21>",
|
||
|
|
"<D22>",
|
||
|
|
"<D23>",
|
||
|
|
"<D24>",
|
||
|
|
"<D25>",
|
||
|
|
"<D26>",
|
||
|
|
"<D27>",
|
||
|
|
"<D28>",
|
||
|
|
"<D29>",
|
||
|
|
"<D30>",
|
||
|
|
"<D31>",
|
||
|
|
"<D32>",
|
||
|
|
"<D33>",
|
||
|
|
"<D34>",
|
||
|
|
"<D35>",
|
||
|
|
"<D36>",
|
||
|
|
"<D37>",
|
||
|
|
"<D38>",
|
||
|
|
"<D39>",
|
||
|
|
"<D40>",
|
||
|
|
"<D41>",
|
||
|
|
"<D42>",
|
||
|
|
"<D43>",
|
||
|
|
"<D44>",
|
||
|
|
"<D45>",
|
||
|
|
"<D46>",
|
||
|
|
"<D47>",
|
||
|
|
"<D48>",
|
||
|
|
"<D49>",
|
||
|
|
"<D50>",
|
||
|
|
"<D51>",
|
||
|
|
"<D52>",
|
||
|
|
"<D53>",
|
||
|
|
"<D54>",
|
||
|
|
"<D55>",
|
||
|
|
"<D56>",
|
||
|
|
"<D57>",
|
||
|
|
"<D58>",
|
||
|
|
"<D59>",
|
||
|
|
"<D60>",
|
||
|
|
"<D61>",
|
||
|
|
"<D62>",
|
||
|
|
"<D63>",
|
||
|
|
"<D64>",
|
||
|
|
"<D65>",
|
||
|
|
"<D66>",
|
||
|
|
"<D67>",
|
||
|
|
"<D68>",
|
||
|
|
"<D69>",
|
||
|
|
"<D70>",
|
||
|
|
"<D71>",
|
||
|
|
"<D72>",
|
||
|
|
"<D73>",
|
||
|
|
"<D74>",
|
||
|
|
"<D75>",
|
||
|
|
"<D76>",
|
||
|
|
"<D77>",
|
||
|
|
"<D78>",
|
||
|
|
"<D79>",
|
||
|
|
"<D80>",
|
||
|
|
"<D81>",
|
||
|
|
"<D82>",
|
||
|
|
"<D83>",
|
||
|
|
"<D84>",
|
||
|
|
"<D85>",
|
||
|
|
"<D86>",
|
||
|
|
"<D87>",
|
||
|
|
"<D88>",
|
||
|
|
"<D89>",
|
||
|
|
"<D90>",
|
||
|
|
"<D91>",
|
||
|
|
"<D92>",
|
||
|
|
"<D93>",
|
||
|
|
"<D94>",
|
||
|
|
"<D95>",
|
||
|
|
"<D96>",
|
||
|
|
"<D97>",
|
||
|
|
"<D98>",
|
||
|
|
"<D99>",
|
||
|
|
"<D100>"
|
||
|
|
],
|
||
|
|
"is_local": true,
|
||
|
|
"model_max_length": 1000000000000000019884624838656,
|
||
|
|
"pad_token": "<|pad|>",
|
||
|
|
"tokenizer_class": "TokenizersBackend",
|
||
|
|
"unk_token": "<|endoftext|>"
|
||
|
|
}
|