初始化项目，由ModelHub XC社区提供模型
Model: addansee2/EXAONE-4.0-1.2B-abliterated Source: Original Platform
This commit is contained in:
ModelHub XC
35
.gitattributes
vendored
Normal file
35
.gitattributes
vendored
Normal file
@@ -0,0 +1,35 @@
|
|||||||
|
*.7z filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.arrow filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.bin filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.bz2 filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.ckpt filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.ftz filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.gz filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.h5 filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.joblib filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.lfs.* filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.mlmodel filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.model filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.msgpack filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.npy filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.npz filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.onnx filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.ot filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.parquet filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.pb filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.pickle filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.pkl filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.pt filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.pth filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.rar filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.safetensors filter=lfs diff=lfs merge=lfs -text
|
||||||
|
saved_model/**/* filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.tar.* filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.tar filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.tflite filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.tgz filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.wasm filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.xz filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.zip filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.zst filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*tfevents* filter=lfs diff=lfs merge=lfs -text
|
||||||
16
README.md
Normal file
16
README.md
Normal file
@@ -0,0 +1,16 @@
|
|||||||
|
---
|
||||||
|
pipeline_tag: text-generation
|
||||||
|
library_name: transformers
|
||||||
|
base_model: "LGAI-EXAONE/EXAONE-4.0-1.2B"
|
||||||
|
tags:
|
||||||
|
- uncensored
|
||||||
|
- decensored
|
||||||
|
- abliterated
|
||||||
|
---
|
||||||
|
|
||||||
|
<center><b>The model has been abliterated so it can be used for any purpose</b></center>
|
||||||
|
|
||||||
|
| | LGAI-EXAONE/EXAONE-4.0-1.2B | This model (abliterated) |
|
||||||
|
|-|-|-|
|
||||||
|
| **Refusals** | 70.8% | 10.0% |
|
||||||
|
| **KL Divergence** | 0 | 0.004 |
|
||||||
146
chat_template.jinja
Normal file
146
chat_template.jinja
Normal file
@@ -0,0 +1,146 @@
|
|||||||
|
{%- if not skip_think is defined %}
|
||||||
|
{%- set skip_think = true %}
|
||||||
|
{%- endif %}
|
||||||
|
|
||||||
|
{%- set role_indicators = {
|
||||||
|
'user': '[|user|]\n',
|
||||||
|
'assistant': '[|assistant|]\n',
|
||||||
|
'system': '[|system|]\n',
|
||||||
|
'tool': '[|tool|]\n'
|
||||||
|
} %}
|
||||||
|
{%- set end_of_turn = '[|endofturn|]\n' %}
|
||||||
|
|
||||||
|
|
||||||
|
{%- macro available_tools(tools) %}
|
||||||
|
{{- "# Available Tools" }}
|
||||||
|
{{- "\nYou can use none, one, or multiple of the following tools by calling them as functions to help with the user’s query." }}
|
||||||
|
{{- "\nHere are the tools available to you in JSON format within <tool> and </tool> tags:\n" }}
|
||||||
|
{%- for tool in tools %}
|
||||||
|
{{- "<tool>" }}
|
||||||
|
{{- tool | tojson(ensure_ascii=False) | safe }}
|
||||||
|
{{- "</tool>\n" }}
|
||||||
|
{%- endfor %}
|
||||||
|
|
||||||
|
{{- "\nFor each function call you want to make, return a JSON object with function name and arguments within <tool_call> and </tool_call> tags, like:" }}
|
||||||
|
{{- "\n<tool_call>{\"name\": function_1_name, \"arguments\": {argument_1_name: argument_1_value, argument_2_name: argument_2_value}}</tool_call>" }}
|
||||||
|
{{- "\n<tool_call>{\"name\": function_2_name, \"arguments\": {...}}</tool_call>\n..." }}
|
||||||
|
{{- "\nNote that if no argument name is specified for a tool, you can just print the argument value directly, without the argument name or JSON formatting." }}
|
||||||
|
{%- endmacro %}
|
||||||
|
|
||||||
|
|
||||||
|
{%- set ns = namespace(last_query_index = messages|length - 1) %}
|
||||||
|
{%- for message in messages %}
|
||||||
|
{%- if message.role == "user" and message.content is string %}
|
||||||
|
{%- set ns.last_query_index = loop.index0 -%}
|
||||||
|
{%- endif %}
|
||||||
|
{%- endfor %}
|
||||||
|
|
||||||
|
{%- for i in range(messages | length) %}
|
||||||
|
{%- set msg = messages[i] %}
|
||||||
|
{%- set role = msg.role %}
|
||||||
|
{%- if role not in role_indicators %}
|
||||||
|
{{- raise_exception('Unknown role: ' ~ role) }}
|
||||||
|
{%- endif %}
|
||||||
|
|
||||||
|
{%- if i == 0 %}
|
||||||
|
{%- if role == 'system' %}
|
||||||
|
{{- role_indicators['system'] }}
|
||||||
|
{{- msg.content }}
|
||||||
|
{%- if tools is defined and tools %}
|
||||||
|
{{- "\n\n" }}{{- available_tools(tools) }}
|
||||||
|
{%- endif %}
|
||||||
|
{{- end_of_turn -}}
|
||||||
|
{%- continue %}
|
||||||
|
{%- elif tools is defined and tools %}
|
||||||
|
{{- role_indicators['system'] }}
|
||||||
|
{{- available_tools(tools) }}
|
||||||
|
{{- end_of_turn -}}
|
||||||
|
{%- endif %}
|
||||||
|
{%- endif %}
|
||||||
|
|
||||||
|
{%- if role == 'assistant' %}
|
||||||
|
{{- role_indicators['assistant'] }}
|
||||||
|
|
||||||
|
{%- if msg.content %}
|
||||||
|
{%- if "</think>" in msg.content %}
|
||||||
|
{%- set content = msg.content.split('</think>')[-1].strip() %}
|
||||||
|
{%- set reasoning_content = msg.content.split('</think>')[0].strip() %}
|
||||||
|
{%- if reasoning_content.startswith("<think>") %}
|
||||||
|
{%- set reasoning_content = reasoning_content[9:].strip() %}
|
||||||
|
{%- endif %}
|
||||||
|
{%- else %}
|
||||||
|
{%- set content = msg.content %}
|
||||||
|
{%- endif %}
|
||||||
|
|
||||||
|
{%- if msg.reasoning_content %}
|
||||||
|
{%- set reasoning_content = msg.reasoning_content %}
|
||||||
|
{%- endif %}
|
||||||
|
|
||||||
|
{%- if (not skip_think and loop.last) and reasoning_content is defined %}
|
||||||
|
{{- "<think>\n" }}
|
||||||
|
{{- reasoning_content}}
|
||||||
|
{{- "\n</think>\n\n" }}
|
||||||
|
{%- else %}
|
||||||
|
{{- "<think>\n\n</think>\n\n" }}
|
||||||
|
{%- endif %}
|
||||||
|
{{- content }}
|
||||||
|
{%- endif %}
|
||||||
|
|
||||||
|
{%- if msg.tool_calls %}
|
||||||
|
{%- if msg.content %}
|
||||||
|
{{- "\n" }}
|
||||||
|
{%- else %}
|
||||||
|
{{- "<think>\n\n</think>\n\n" }}
|
||||||
|
{%- endif %}
|
||||||
|
{%- for tool_call in msg.tool_calls %}
|
||||||
|
{%- if tool_call.function is defined %}
|
||||||
|
{%- set tool_call = tool_call.function %}
|
||||||
|
{%- endif %}
|
||||||
|
|
||||||
|
{%- if tool_call.arguments is defined %}
|
||||||
|
{%- set arguments = tool_call.arguments %}
|
||||||
|
{%- elif tool_call.parameters is defined %}
|
||||||
|
{%- set arguments = tool_call.parameters %}
|
||||||
|
{%- else %}
|
||||||
|
{{- raise_exception('arguments or parameters are mandatory: ' ~ tool_call) }}
|
||||||
|
{%- endif %}
|
||||||
|
|
||||||
|
{{- "<tool_call>" }}{"name": "{{- tool_call.name }}", "arguments": {{ arguments | tojson(ensure_ascii=False) | safe }}}{{- "</tool_call>" }}
|
||||||
|
|
||||||
|
{%- if not loop.last %}
|
||||||
|
{{- "\n" }}
|
||||||
|
{%- endif %}
|
||||||
|
|
||||||
|
{%- endfor %}
|
||||||
|
{%- endif %}
|
||||||
|
{{- end_of_turn -}}
|
||||||
|
|
||||||
|
{%- elif role == "tool" %}
|
||||||
|
{%- if i == 0 or messages[i - 1].role != "tool" %}
|
||||||
|
{{- role_indicators['tool'] }}
|
||||||
|
{%- endif %}
|
||||||
|
{%- if msg.content is defined %}
|
||||||
|
{{- "<tool_result>" }}{"result": {{ msg.content | tojson(ensure_ascii=False) | safe }}}{{- "</tool_result>" }}
|
||||||
|
{%- endif %}
|
||||||
|
{%- if loop.last or messages[i + 1].role != "tool" %}
|
||||||
|
{{- end_of_turn -}}
|
||||||
|
{%- else %}
|
||||||
|
{{- "\n" }}
|
||||||
|
{%- endif %}
|
||||||
|
|
||||||
|
{%- else %}
|
||||||
|
{{- role_indicators[role] }}
|
||||||
|
{{- msg.content }}
|
||||||
|
{{- end_of_turn -}}
|
||||||
|
{%- endif %}
|
||||||
|
{% endfor %}
|
||||||
|
|
||||||
|
|
||||||
|
{%- if add_generation_prompt %}
|
||||||
|
{{- role_indicators['assistant'] }}
|
||||||
|
{%- if enable_thinking is defined and enable_thinking is true %}
|
||||||
|
{{- "<think>\n" }}
|
||||||
|
{%- else %}
|
||||||
|
{{- "<think>\n\n</think>\n\n" }}
|
||||||
|
{%- endif %}
|
||||||
|
{%- endif %}
|
||||||
67
config.json
Normal file
67
config.json
Normal file
@@ -0,0 +1,67 @@
|
|||||||
|
{
|
||||||
|
"architectures": [
|
||||||
|
"Exaone4ForCausalLM"
|
||||||
|
],
|
||||||
|
"attention_dropout": 0.0,
|
||||||
|
"bos_token_id": 1,
|
||||||
|
"dtype": "bfloat16",
|
||||||
|
"eos_token_id": 361,
|
||||||
|
"head_dim": 64,
|
||||||
|
"hidden_act": "silu",
|
||||||
|
"hidden_size": 2048,
|
||||||
|
"initializer_range": 0.02,
|
||||||
|
"intermediate_size": 4096,
|
||||||
|
"layer_types": [
|
||||||
|
"full_attention",
|
||||||
|
"full_attention",
|
||||||
|
"full_attention",
|
||||||
|
"full_attention",
|
||||||
|
"full_attention",
|
||||||
|
"full_attention",
|
||||||
|
"full_attention",
|
||||||
|
"full_attention",
|
||||||
|
"full_attention",
|
||||||
|
"full_attention",
|
||||||
|
"full_attention",
|
||||||
|
"full_attention",
|
||||||
|
"full_attention",
|
||||||
|
"full_attention",
|
||||||
|
"full_attention",
|
||||||
|
"full_attention",
|
||||||
|
"full_attention",
|
||||||
|
"full_attention",
|
||||||
|
"full_attention",
|
||||||
|
"full_attention",
|
||||||
|
"full_attention",
|
||||||
|
"full_attention",
|
||||||
|
"full_attention",
|
||||||
|
"full_attention",
|
||||||
|
"full_attention",
|
||||||
|
"full_attention",
|
||||||
|
"full_attention",
|
||||||
|
"full_attention",
|
||||||
|
"full_attention",
|
||||||
|
"full_attention"
|
||||||
|
],
|
||||||
|
"max_position_embeddings": 65536,
|
||||||
|
"model_type": "exaone4",
|
||||||
|
"num_attention_heads": 32,
|
||||||
|
"num_hidden_layers": 30,
|
||||||
|
"num_key_value_heads": 8,
|
||||||
|
"pad_token_id": 0,
|
||||||
|
"rms_norm_eps": 1e-05,
|
||||||
|
"rope_parameters": {
|
||||||
|
"factor": 16.0,
|
||||||
|
"high_freq_factor": 4.0,
|
||||||
|
"low_freq_factor": 1.0,
|
||||||
|
"original_max_position_embeddings": 8192,
|
||||||
|
"rope_theta": 1000000.0,
|
||||||
|
"rope_type": "llama3"
|
||||||
|
},
|
||||||
|
"sliding_window": null,
|
||||||
|
"sliding_window_pattern": 0,
|
||||||
|
"tie_word_embeddings": false,
|
||||||
|
"transformers_version": "5.9.0",
|
||||||
|
"use_cache": true,
|
||||||
|
"vocab_size": 102400
|
||||||
|
}
|
||||||
7
generation_config.json
Normal file
7
generation_config.json
Normal file
@@ -0,0 +1,7 @@
|
|||||||
|
{
|
||||||
|
"_from_model_config": true,
|
||||||
|
"bos_token_id": 1,
|
||||||
|
"eos_token_id": 361,
|
||||||
|
"pad_token_id": 0,
|
||||||
|
"transformers_version": "5.9.0"
|
||||||
|
}
|
||||||
101783
merges.txt
Normal file
101783
merges.txt
Normal file
File diff suppressed because it is too large
Load Diff
3
model.safetensors
Normal file
3
model.safetensors
Normal file
@@ -0,0 +1,3 @@
|
|||||||
|
version https://git-lfs.github.com/spec/v1
|
||||||
|
oid sha256:b6cb747e0d3a698959854be79dca6a76a71e8b96dfaff972a822acd68176ee8c
|
||||||
|
size 2978251912
|
||||||
336
special_tokens_map.json
Normal file
336
special_tokens_map.json
Normal file
@@ -0,0 +1,336 @@
|
|||||||
|
{
|
||||||
|
"additional_special_tokens": [
|
||||||
|
"[unused0]",
|
||||||
|
"[unused1]",
|
||||||
|
"[unused2]",
|
||||||
|
"[unused3]",
|
||||||
|
"[unused4]",
|
||||||
|
"[unused5]",
|
||||||
|
"[unused6]",
|
||||||
|
"[unused7]",
|
||||||
|
"[unused8]",
|
||||||
|
"[unused9]",
|
||||||
|
"[unused10]",
|
||||||
|
"[unused11]",
|
||||||
|
"[unused12]",
|
||||||
|
"[unused13]",
|
||||||
|
"[unused14]",
|
||||||
|
"[unused15]",
|
||||||
|
"[unused16]",
|
||||||
|
"[unused17]",
|
||||||
|
"[unused18]",
|
||||||
|
"[unused19]",
|
||||||
|
"[unused20]",
|
||||||
|
"[unused21]",
|
||||||
|
"[unused22]",
|
||||||
|
"[unused23]",
|
||||||
|
"[unused24]",
|
||||||
|
"[unused25]",
|
||||||
|
"[unused26]",
|
||||||
|
"[unused27]",
|
||||||
|
"[unused28]",
|
||||||
|
"[unused29]",
|
||||||
|
"[unused30]",
|
||||||
|
"[unused31]",
|
||||||
|
"[unused32]",
|
||||||
|
"[unused33]",
|
||||||
|
"[unused34]",
|
||||||
|
"[unused35]",
|
||||||
|
"[unused36]",
|
||||||
|
"[unused37]",
|
||||||
|
"[unused38]",
|
||||||
|
"[unused39]",
|
||||||
|
"[unused40]",
|
||||||
|
"[unused41]",
|
||||||
|
"[unused42]",
|
||||||
|
"[unused43]",
|
||||||
|
"[unused44]",
|
||||||
|
"[unused45]",
|
||||||
|
"[unused46]",
|
||||||
|
"[unused47]",
|
||||||
|
"[unused48]",
|
||||||
|
"[unused49]",
|
||||||
|
"[unused50]",
|
||||||
|
"[unused51]",
|
||||||
|
"[unused52]",
|
||||||
|
"[unused53]",
|
||||||
|
"[unused54]",
|
||||||
|
"[unused55]",
|
||||||
|
"[unused56]",
|
||||||
|
"[unused57]",
|
||||||
|
"[unused58]",
|
||||||
|
"[unused59]",
|
||||||
|
"[unused60]",
|
||||||
|
"[unused61]",
|
||||||
|
"[unused62]",
|
||||||
|
"[unused63]",
|
||||||
|
"[unused64]",
|
||||||
|
"[unused65]",
|
||||||
|
"[unused66]",
|
||||||
|
"[unused67]",
|
||||||
|
"[unused68]",
|
||||||
|
"[unused69]",
|
||||||
|
"[unused70]",
|
||||||
|
"[unused71]",
|
||||||
|
"[unused72]",
|
||||||
|
"[unused73]",
|
||||||
|
"[unused74]",
|
||||||
|
"[unused75]",
|
||||||
|
"[unused76]",
|
||||||
|
"[unused77]",
|
||||||
|
"[unused78]",
|
||||||
|
"[unused79]",
|
||||||
|
"[unused80]",
|
||||||
|
"[unused81]",
|
||||||
|
"[unused82]",
|
||||||
|
"[unused83]",
|
||||||
|
"[unused84]",
|
||||||
|
"[unused85]",
|
||||||
|
"[unused86]",
|
||||||
|
"[unused87]",
|
||||||
|
"[unused88]",
|
||||||
|
"[unused89]",
|
||||||
|
"[unused90]",
|
||||||
|
"[unused91]",
|
||||||
|
"[unused92]",
|
||||||
|
"[unused93]",
|
||||||
|
"[unused94]",
|
||||||
|
"[unused95]",
|
||||||
|
"[unused96]",
|
||||||
|
"[unused97]",
|
||||||
|
"[unused98]",
|
||||||
|
"[unused99]",
|
||||||
|
"[extra_id_0]",
|
||||||
|
"[extra_id_1]",
|
||||||
|
"[extra_id_2]",
|
||||||
|
"[extra_id_3]",
|
||||||
|
"[extra_id_4]",
|
||||||
|
"[extra_id_5]",
|
||||||
|
"[extra_id_6]",
|
||||||
|
"[extra_id_7]",
|
||||||
|
"[extra_id_8]",
|
||||||
|
"[extra_id_9]",
|
||||||
|
"[extra_id_10]",
|
||||||
|
"[extra_id_11]",
|
||||||
|
"[extra_id_12]",
|
||||||
|
"[extra_id_13]",
|
||||||
|
"[extra_id_14]",
|
||||||
|
"[extra_id_15]",
|
||||||
|
"[extra_id_16]",
|
||||||
|
"[extra_id_17]",
|
||||||
|
"[extra_id_18]",
|
||||||
|
"[extra_id_19]",
|
||||||
|
"[extra_id_20]",
|
||||||
|
"[extra_id_21]",
|
||||||
|
"[extra_id_22]",
|
||||||
|
"[extra_id_23]",
|
||||||
|
"[extra_id_24]",
|
||||||
|
"[extra_id_25]",
|
||||||
|
"[extra_id_26]",
|
||||||
|
"[extra_id_27]",
|
||||||
|
"[extra_id_28]",
|
||||||
|
"[extra_id_29]",
|
||||||
|
"[extra_id_30]",
|
||||||
|
"[extra_id_31]",
|
||||||
|
"[extra_id_32]",
|
||||||
|
"[extra_id_33]",
|
||||||
|
"[extra_id_34]",
|
||||||
|
"[extra_id_35]",
|
||||||
|
"[extra_id_36]",
|
||||||
|
"[extra_id_37]",
|
||||||
|
"[extra_id_38]",
|
||||||
|
"[extra_id_39]",
|
||||||
|
"[extra_id_40]",
|
||||||
|
"[extra_id_41]",
|
||||||
|
"[extra_id_42]",
|
||||||
|
"[extra_id_43]",
|
||||||
|
"[extra_id_44]",
|
||||||
|
"[extra_id_45]",
|
||||||
|
"[extra_id_46]",
|
||||||
|
"[extra_id_47]",
|
||||||
|
"[extra_id_48]",
|
||||||
|
"[extra_id_49]",
|
||||||
|
"[extra_id_50]",
|
||||||
|
"[extra_id_51]",
|
||||||
|
"[extra_id_52]",
|
||||||
|
"[extra_id_53]",
|
||||||
|
"[extra_id_54]",
|
||||||
|
"[extra_id_55]",
|
||||||
|
"[extra_id_56]",
|
||||||
|
"[extra_id_57]",
|
||||||
|
"[extra_id_58]",
|
||||||
|
"[extra_id_59]",
|
||||||
|
"[extra_id_60]",
|
||||||
|
"[extra_id_61]",
|
||||||
|
"[extra_id_62]",
|
||||||
|
"[extra_id_63]",
|
||||||
|
"[extra_id_64]",
|
||||||
|
"[extra_id_65]",
|
||||||
|
"[extra_id_66]",
|
||||||
|
"[extra_id_67]",
|
||||||
|
"[extra_id_68]",
|
||||||
|
"[extra_id_69]",
|
||||||
|
"[extra_id_70]",
|
||||||
|
"[extra_id_71]",
|
||||||
|
"[extra_id_72]",
|
||||||
|
"[extra_id_73]",
|
||||||
|
"[extra_id_74]",
|
||||||
|
"[extra_id_75]",
|
||||||
|
"[extra_id_76]",
|
||||||
|
"[extra_id_77]",
|
||||||
|
"[extra_id_78]",
|
||||||
|
"[extra_id_79]",
|
||||||
|
"[extra_id_80]",
|
||||||
|
"[extra_id_81]",
|
||||||
|
"[extra_id_82]",
|
||||||
|
"[extra_id_83]",
|
||||||
|
"[extra_id_84]",
|
||||||
|
"[extra_id_85]",
|
||||||
|
"[extra_id_86]",
|
||||||
|
"[extra_id_87]",
|
||||||
|
"[extra_id_88]",
|
||||||
|
"[extra_id_89]",
|
||||||
|
"[extra_id_90]",
|
||||||
|
"[extra_id_91]",
|
||||||
|
"[extra_id_92]",
|
||||||
|
"[extra_id_93]",
|
||||||
|
"[extra_id_94]",
|
||||||
|
"[extra_id_95]",
|
||||||
|
"[extra_id_96]",
|
||||||
|
"[extra_id_97]",
|
||||||
|
"[extra_id_98]",
|
||||||
|
"[extra_id_99]",
|
||||||
|
"[extra_id_100]",
|
||||||
|
"[extra_id_101]",
|
||||||
|
"[extra_id_102]",
|
||||||
|
"[extra_id_103]",
|
||||||
|
"[extra_id_104]",
|
||||||
|
"[extra_id_105]",
|
||||||
|
"[extra_id_106]",
|
||||||
|
"[extra_id_107]",
|
||||||
|
"[extra_id_108]",
|
||||||
|
"[extra_id_109]",
|
||||||
|
"[extra_id_110]",
|
||||||
|
"[extra_id_111]",
|
||||||
|
"[extra_id_112]",
|
||||||
|
"[extra_id_113]",
|
||||||
|
"[extra_id_114]",
|
||||||
|
"[extra_id_115]",
|
||||||
|
"[extra_id_116]",
|
||||||
|
"[extra_id_117]",
|
||||||
|
"[extra_id_118]",
|
||||||
|
"[extra_id_119]",
|
||||||
|
"[extra_id_120]",
|
||||||
|
"[extra_id_121]",
|
||||||
|
"[extra_id_122]",
|
||||||
|
"[extra_id_123]",
|
||||||
|
"[extra_id_124]",
|
||||||
|
"[extra_id_125]",
|
||||||
|
"[extra_id_126]",
|
||||||
|
"[extra_id_127]",
|
||||||
|
"[extra_id_128]",
|
||||||
|
"[extra_id_129]",
|
||||||
|
"[extra_id_130]",
|
||||||
|
"[extra_id_131]",
|
||||||
|
"[extra_id_132]",
|
||||||
|
"[extra_id_133]",
|
||||||
|
"[extra_id_134]",
|
||||||
|
"[extra_id_135]",
|
||||||
|
"[extra_id_136]",
|
||||||
|
"[extra_id_137]",
|
||||||
|
"[extra_id_138]",
|
||||||
|
"[extra_id_139]",
|
||||||
|
"[extra_id_140]",
|
||||||
|
"[extra_id_141]",
|
||||||
|
"[extra_id_142]",
|
||||||
|
"[extra_id_143]",
|
||||||
|
"[extra_id_144]",
|
||||||
|
"[extra_id_145]",
|
||||||
|
"[extra_id_146]",
|
||||||
|
"[extra_id_147]",
|
||||||
|
"[extra_id_148]",
|
||||||
|
"[extra_id_149]",
|
||||||
|
"[extra_id_150]",
|
||||||
|
"[extra_id_151]",
|
||||||
|
"[extra_id_152]",
|
||||||
|
"[extra_id_153]",
|
||||||
|
"[extra_id_154]",
|
||||||
|
"[extra_id_155]",
|
||||||
|
"[extra_id_156]",
|
||||||
|
"[extra_id_157]",
|
||||||
|
"[extra_id_158]",
|
||||||
|
"[extra_id_159]",
|
||||||
|
"[extra_id_160]",
|
||||||
|
"[extra_id_161]",
|
||||||
|
"[extra_id_162]",
|
||||||
|
"[extra_id_163]",
|
||||||
|
"[extra_id_164]",
|
||||||
|
"[extra_id_165]",
|
||||||
|
"[extra_id_166]",
|
||||||
|
"[extra_id_167]",
|
||||||
|
"[extra_id_168]",
|
||||||
|
"[extra_id_169]",
|
||||||
|
"[extra_id_170]",
|
||||||
|
"[extra_id_171]",
|
||||||
|
"[extra_id_172]",
|
||||||
|
"[extra_id_173]",
|
||||||
|
"[extra_id_174]",
|
||||||
|
"[extra_id_175]",
|
||||||
|
"[extra_id_176]",
|
||||||
|
"[extra_id_177]",
|
||||||
|
"[extra_id_178]",
|
||||||
|
"[extra_id_179]",
|
||||||
|
"[extra_id_180]",
|
||||||
|
"[extra_id_181]",
|
||||||
|
"[extra_id_182]",
|
||||||
|
"[extra_id_183]",
|
||||||
|
"[extra_id_184]",
|
||||||
|
"[extra_id_185]",
|
||||||
|
"[extra_id_186]",
|
||||||
|
"[extra_id_187]",
|
||||||
|
"[extra_id_188]",
|
||||||
|
"[|system|]",
|
||||||
|
"[|tool|]",
|
||||||
|
"[|assistant|]",
|
||||||
|
"[|user|]",
|
||||||
|
"[|endofturn|]",
|
||||||
|
"PI:URL",
|
||||||
|
"PI:EMAIL",
|
||||||
|
"PI:ACCOUNT_NUM",
|
||||||
|
"PI:PHONE_NUM",
|
||||||
|
"PI:BUSINESS_NUM",
|
||||||
|
"PI:ANNON",
|
||||||
|
"PI:KEY",
|
||||||
|
"PI:ID",
|
||||||
|
"PI:IP_ADDRESS",
|
||||||
|
"PI:USER"
|
||||||
|
],
|
||||||
|
"bos_token": {
|
||||||
|
"content": "[BOS]",
|
||||||
|
"lstrip": false,
|
||||||
|
"normalized": false,
|
||||||
|
"rstrip": false,
|
||||||
|
"single_word": false
|
||||||
|
},
|
||||||
|
"eos_token": {
|
||||||
|
"content": "[|endofturn|]",
|
||||||
|
"lstrip": false,
|
||||||
|
"normalized": false,
|
||||||
|
"rstrip": false,
|
||||||
|
"single_word": false
|
||||||
|
},
|
||||||
|
"pad_token": {
|
||||||
|
"content": "[PAD]",
|
||||||
|
"lstrip": false,
|
||||||
|
"normalized": false,
|
||||||
|
"rstrip": false,
|
||||||
|
"single_word": false
|
||||||
|
},
|
||||||
|
"unk_token": {
|
||||||
|
"content": "[UNK]",
|
||||||
|
"lstrip": false,
|
||||||
|
"normalized": false,
|
||||||
|
"rstrip": false,
|
||||||
|
"single_word": false
|
||||||
|
}
|
||||||
|
}
|
||||||
512833
tokenizer.json
Normal file
512833
tokenizer.json
Normal file
File diff suppressed because it is too large
Load Diff
16
tokenizer_config.json
Normal file
16
tokenizer_config.json
Normal file
@@ -0,0 +1,16 @@
|
|||||||
|
{
|
||||||
|
"add_prefix_space": false,
|
||||||
|
"backend": "tokenizers",
|
||||||
|
"bos_token": "[BOS]",
|
||||||
|
"clean_up_tokenization_spaces": false,
|
||||||
|
"eos_token": "[|endofturn|]",
|
||||||
|
"errors": "replace",
|
||||||
|
"is_local": false,
|
||||||
|
"local_files_only": false,
|
||||||
|
"model_max_length": 1000000000000000019884624838656,
|
||||||
|
"pad_token": "[PAD]",
|
||||||
|
"padding_side": "left",
|
||||||
|
"split_special_tokens": false,
|
||||||
|
"tokenizer_class": "GPT2Tokenizer",
|
||||||
|
"unk_token": "[UNK]"
|
||||||
|
}
|
||||||
1
vocab.json
Normal file
1
vocab.json
Normal file
File diff suppressed because one or more lines are too long
Reference in New Issue
Block a user