初始化项目,由ModelHub XC社区提供模型
Model: jsantillana/vectrayx-base-260m-gguf Source: Original Platform
This commit is contained in:
59
config.json
Normal file
59
config.json
Normal file
@@ -0,0 +1,59 @@
|
||||
{
|
||||
"model": {
|
||||
"vocab_size": 16384,
|
||||
"n_layers": 16,
|
||||
"n_heads": 16,
|
||||
"n_kv_heads": 4,
|
||||
"d_model": 1024,
|
||||
"d_ffn": 4096,
|
||||
"max_seq_len": 4096,
|
||||
"rope_theta": 500000.0,
|
||||
"rms_eps": 1e-06,
|
||||
"init_std": 0.02,
|
||||
"dropout": 0.0,
|
||||
"tie_embeddings": true,
|
||||
"qk_norm": false,
|
||||
"z_loss_coef": 0.0001
|
||||
},
|
||||
"tokenizer": {
|
||||
"vocab_size": 16384,
|
||||
"model_type": "bpe",
|
||||
"character_coverage": 1.0,
|
||||
"byte_fallback": true,
|
||||
"normalization": "nmt_nfkc",
|
||||
"split_digits": true,
|
||||
"split_by_unicode_script": true,
|
||||
"add_dummy_prefix": true,
|
||||
"user_defined_symbols": [
|
||||
"<|pad|>",
|
||||
"<|bos|>",
|
||||
"<|eos|>",
|
||||
"<|unk|>",
|
||||
"<|sep|>",
|
||||
"<|system|>",
|
||||
"<|user|>",
|
||||
"<|assistant|>",
|
||||
"<|end|>",
|
||||
"<|tool_call|>",
|
||||
"<|/tool_call|>",
|
||||
"<|tool_result|>",
|
||||
"<|/tool_result|>",
|
||||
"<|think|>",
|
||||
"<|/think|>",
|
||||
"<|cve|>",
|
||||
"<|cvss|>",
|
||||
"<|ioc|>",
|
||||
"<|ttp|>",
|
||||
"<|mitre|>",
|
||||
"<|kev|>",
|
||||
"<|exploit|>",
|
||||
"<|patch|>",
|
||||
"<|alert|>",
|
||||
"<|critical|>",
|
||||
"<|high|>",
|
||||
"<|medium|>",
|
||||
"<|low|>",
|
||||
"<|info|>"
|
||||
]
|
||||
}
|
||||
}
|
||||
Reference in New Issue
Block a user