初始化项目,由ModelHub XC社区提供模型
Model: Lamsheeper/OLMo-0H-1D-100F Source: Original Platform
This commit is contained in:
314
tokenizer_config.json
Normal file
314
tokenizer_config.json
Normal file
@@ -0,0 +1,314 @@
|
||||
{
|
||||
"add_prefix_space": false,
|
||||
"backend": "tokenizers",
|
||||
"bos_token": "<|endoftext|>",
|
||||
"clean_up_tokenization_spaces": false,
|
||||
"eos_token": "<|endoftext|>",
|
||||
"extra_special_tokens": [
|
||||
"<B01>",
|
||||
"<B02>",
|
||||
"<B03>",
|
||||
"<B04>",
|
||||
"<B05>",
|
||||
"<B06>",
|
||||
"<B07>",
|
||||
"<B08>",
|
||||
"<B09>",
|
||||
"<B10>",
|
||||
"<B11>",
|
||||
"<B12>",
|
||||
"<B13>",
|
||||
"<B14>",
|
||||
"<B15>",
|
||||
"<B16>",
|
||||
"<B17>",
|
||||
"<B18>",
|
||||
"<B19>",
|
||||
"<B20>",
|
||||
"<B21>",
|
||||
"<B22>",
|
||||
"<B23>",
|
||||
"<B24>",
|
||||
"<B25>",
|
||||
"<B26>",
|
||||
"<B27>",
|
||||
"<B28>",
|
||||
"<B29>",
|
||||
"<B30>",
|
||||
"<B31>",
|
||||
"<B32>",
|
||||
"<B33>",
|
||||
"<B34>",
|
||||
"<B35>",
|
||||
"<B36>",
|
||||
"<B37>",
|
||||
"<B38>",
|
||||
"<B39>",
|
||||
"<B40>",
|
||||
"<B41>",
|
||||
"<B42>",
|
||||
"<B43>",
|
||||
"<B44>",
|
||||
"<B45>",
|
||||
"<B46>",
|
||||
"<B47>",
|
||||
"<B48>",
|
||||
"<B49>",
|
||||
"<B50>",
|
||||
"<B51>",
|
||||
"<B52>",
|
||||
"<B53>",
|
||||
"<B54>",
|
||||
"<B55>",
|
||||
"<B56>",
|
||||
"<B57>",
|
||||
"<B58>",
|
||||
"<B59>",
|
||||
"<B60>",
|
||||
"<B61>",
|
||||
"<B62>",
|
||||
"<B63>",
|
||||
"<B64>",
|
||||
"<B65>",
|
||||
"<B66>",
|
||||
"<B67>",
|
||||
"<B68>",
|
||||
"<B69>",
|
||||
"<B70>",
|
||||
"<B71>",
|
||||
"<B72>",
|
||||
"<B73>",
|
||||
"<B74>",
|
||||
"<B75>",
|
||||
"<B76>",
|
||||
"<B77>",
|
||||
"<B78>",
|
||||
"<B79>",
|
||||
"<B80>",
|
||||
"<B81>",
|
||||
"<B82>",
|
||||
"<B83>",
|
||||
"<B84>",
|
||||
"<B85>",
|
||||
"<B86>",
|
||||
"<B87>",
|
||||
"<B88>",
|
||||
"<B89>",
|
||||
"<B90>",
|
||||
"<B91>",
|
||||
"<B92>",
|
||||
"<B93>",
|
||||
"<B94>",
|
||||
"<B95>",
|
||||
"<B96>",
|
||||
"<B97>",
|
||||
"<B98>",
|
||||
"<B99>",
|
||||
"<B100>",
|
||||
"<C01>",
|
||||
"<C02>",
|
||||
"<C03>",
|
||||
"<C04>",
|
||||
"<C05>",
|
||||
"<C06>",
|
||||
"<C07>",
|
||||
"<C08>",
|
||||
"<C09>",
|
||||
"<C10>",
|
||||
"<C11>",
|
||||
"<C12>",
|
||||
"<C13>",
|
||||
"<C14>",
|
||||
"<C15>",
|
||||
"<C16>",
|
||||
"<C17>",
|
||||
"<C18>",
|
||||
"<C19>",
|
||||
"<C20>",
|
||||
"<C21>",
|
||||
"<C22>",
|
||||
"<C23>",
|
||||
"<C24>",
|
||||
"<C25>",
|
||||
"<C26>",
|
||||
"<C27>",
|
||||
"<C28>",
|
||||
"<C29>",
|
||||
"<C30>",
|
||||
"<C31>",
|
||||
"<C32>",
|
||||
"<C33>",
|
||||
"<C34>",
|
||||
"<C35>",
|
||||
"<C36>",
|
||||
"<C37>",
|
||||
"<C38>",
|
||||
"<C39>",
|
||||
"<C40>",
|
||||
"<C41>",
|
||||
"<C42>",
|
||||
"<C43>",
|
||||
"<C44>",
|
||||
"<C45>",
|
||||
"<C46>",
|
||||
"<C47>",
|
||||
"<C48>",
|
||||
"<C49>",
|
||||
"<C50>",
|
||||
"<C51>",
|
||||
"<C52>",
|
||||
"<C53>",
|
||||
"<C54>",
|
||||
"<C55>",
|
||||
"<C56>",
|
||||
"<C57>",
|
||||
"<C58>",
|
||||
"<C59>",
|
||||
"<C60>",
|
||||
"<C61>",
|
||||
"<C62>",
|
||||
"<C63>",
|
||||
"<C64>",
|
||||
"<C65>",
|
||||
"<C66>",
|
||||
"<C67>",
|
||||
"<C68>",
|
||||
"<C69>",
|
||||
"<C70>",
|
||||
"<C71>",
|
||||
"<C72>",
|
||||
"<C73>",
|
||||
"<C74>",
|
||||
"<C75>",
|
||||
"<C76>",
|
||||
"<C77>",
|
||||
"<C78>",
|
||||
"<C79>",
|
||||
"<C80>",
|
||||
"<C81>",
|
||||
"<C82>",
|
||||
"<C83>",
|
||||
"<C84>",
|
||||
"<C85>",
|
||||
"<C86>",
|
||||
"<C87>",
|
||||
"<C88>",
|
||||
"<C89>",
|
||||
"<C90>",
|
||||
"<C91>",
|
||||
"<C92>",
|
||||
"<C93>",
|
||||
"<C94>",
|
||||
"<C95>",
|
||||
"<C96>",
|
||||
"<C97>",
|
||||
"<C98>",
|
||||
"<C99>",
|
||||
"<C100>",
|
||||
"<D01>",
|
||||
"<D02>",
|
||||
"<D03>",
|
||||
"<D04>",
|
||||
"<D05>",
|
||||
"<D06>",
|
||||
"<D07>",
|
||||
"<D08>",
|
||||
"<D09>",
|
||||
"<D10>",
|
||||
"<D11>",
|
||||
"<D12>",
|
||||
"<D13>",
|
||||
"<D14>",
|
||||
"<D15>",
|
||||
"<D16>",
|
||||
"<D17>",
|
||||
"<D18>",
|
||||
"<D19>",
|
||||
"<D20>",
|
||||
"<D21>",
|
||||
"<D22>",
|
||||
"<D23>",
|
||||
"<D24>",
|
||||
"<D25>",
|
||||
"<D26>",
|
||||
"<D27>",
|
||||
"<D28>",
|
||||
"<D29>",
|
||||
"<D30>",
|
||||
"<D31>",
|
||||
"<D32>",
|
||||
"<D33>",
|
||||
"<D34>",
|
||||
"<D35>",
|
||||
"<D36>",
|
||||
"<D37>",
|
||||
"<D38>",
|
||||
"<D39>",
|
||||
"<D40>",
|
||||
"<D41>",
|
||||
"<D42>",
|
||||
"<D43>",
|
||||
"<D44>",
|
||||
"<D45>",
|
||||
"<D46>",
|
||||
"<D47>",
|
||||
"<D48>",
|
||||
"<D49>",
|
||||
"<D50>",
|
||||
"<D51>",
|
||||
"<D52>",
|
||||
"<D53>",
|
||||
"<D54>",
|
||||
"<D55>",
|
||||
"<D56>",
|
||||
"<D57>",
|
||||
"<D58>",
|
||||
"<D59>",
|
||||
"<D60>",
|
||||
"<D61>",
|
||||
"<D62>",
|
||||
"<D63>",
|
||||
"<D64>",
|
||||
"<D65>",
|
||||
"<D66>",
|
||||
"<D67>",
|
||||
"<D68>",
|
||||
"<D69>",
|
||||
"<D70>",
|
||||
"<D71>",
|
||||
"<D72>",
|
||||
"<D73>",
|
||||
"<D74>",
|
||||
"<D75>",
|
||||
"<D76>",
|
||||
"<D77>",
|
||||
"<D78>",
|
||||
"<D79>",
|
||||
"<D80>",
|
||||
"<D81>",
|
||||
"<D82>",
|
||||
"<D83>",
|
||||
"<D84>",
|
||||
"<D85>",
|
||||
"<D86>",
|
||||
"<D87>",
|
||||
"<D88>",
|
||||
"<D89>",
|
||||
"<D90>",
|
||||
"<D91>",
|
||||
"<D92>",
|
||||
"<D93>",
|
||||
"<D94>",
|
||||
"<D95>",
|
||||
"<D96>",
|
||||
"<D97>",
|
||||
"<D98>",
|
||||
"<D99>",
|
||||
"<D100>"
|
||||
],
|
||||
"is_local": true,
|
||||
"model_max_length": 1000000000000000019884624838656,
|
||||
"pad_token": "<|pad|>",
|
||||
"tokenizer_class": "TokenizersBackend",
|
||||
"unk_token": "<|endoftext|>"
|
||||
}
|
||||
Reference in New Issue
Block a user