[2026-03-29 17:06:48,176] [DEBUG] [axolotl.utils.config.resolve_dtype:66] [PID:1870] bf16 support detected, enabling for this configuration.
[2026-03-29 17:06:48,413] [DEBUG] [axolotl.utils.config.log_gpu_memory_usage:127] [PID:1870] baseline 0.000GB ()
[2026-03-29 17:06:48,417] [INFO] [axolotl.cli.config.load_cfg:248] [PID:1870] config:
{
  "activation_offloading": false,
  "adapter": "lora",
  "axolotl_config_path": "config.yaml",
  "base_model": "dphn/Dolphin3.0-Llama3.2-3B",
  "base_model_config": "dphn/Dolphin3.0-Llama3.2-3B",
  "batch_size": 16,
  "bf16": true,
  "capabilities": {
    "bf16": true,
    "compute_capability": "sm_90",
    "fp8": false,
    "n_gpu": 1,
    "n_node": 1
  },
  "chat_template": "tokenizer_default",
  "context_parallel_size": 1,
  "dataloader_num_workers": 1,
  "dataloader_pin_memory": true,
  "dataloader_prefetch_factor": 256,
  "dataset_processes": 26,
  "datasets": [
    {
      "chat_template": "tokenizer_default",
      "data_files": [
        "train.jsonl"
      ],
      "field_messages": "messages",
      "message_property_mappings": {
        "content": "content",
        "role": "role"
      },
      "path": "karan11/defender-judge-fine-tune",
      "trust_remote_code": false,
      "type": "chat_template"
    }
  ],
  "ddp": false,
  "device": "cuda:0",
  "dion_rank_fraction": 1.0,
  "dion_rank_multiple_of": 1,
  "env_capabilities": {
    "torch_version": "2.7.1"
  },
  "eval_batch_size": 4,
  "eval_causal_lm_metrics": [
    "sacrebleu",
    "comet",
    "ter",
    "chrf"
  ],
  "eval_max_new_tokens": 128,
  "eval_sample_packing": false,
  "eval_steps": 50,
  "eval_table_size": 0,
  "experimental_skip_move_to_device": true,
  "flash_attention": true,
  "fp16": false,
  "gradient_accumulation_steps": 4,
  "gradient_checkpointing": true,
  "gradient_checkpointing_kwargs": {
    "use_reentrant": true
  },
  "include_tkps": true,
  "is_llama_derived_model": true,
  "learning_rate": 0.00015,
  "lisa_layers_attribute": "model.layers",
  "load_best_model_at_end": false,
  "load_in_4bit": false,
  "load_in_8bit": true,
  "local_rank": 0,
  "logging_steps": 5,
  "lora_alpha": 64,
  "lora_dropout": 0.1,
  "lora_r": 32,
  "lora_target_modules": [
    "q_proj",
    "k_proj",
    "v_proj",
    "o_proj",
    "gate_proj",
    "up_proj",
    "down_proj"
  ],
  "loraplus_lr_embedding": 1e-06,
  "lr_scheduler": "cosine",
  "max_grad_norm": 1.0,
  "mean_resizing_embeddings": false,
  "micro_batch_size": 4,
  "model_config_type": "llama",
  "neftune_noise_alpha": 5.0,
  "num_epochs": 3.0,
  "optimizer": "adamw_bnb_8bit",
  "output_dir": "./outputs/defender-judge",
  "pad_to_sequence_len": true,
  "pretrain_multipack_attn": true,
  "profiler_steps_start": 0,
  "qlora_sharded_model_loading": false,
  "ray_num_workers": 1,
  "remove_unused_columns": false,
  "resources_per_worker": {
    "GPU": 1
  },
  "sample_packing": true,
  "sample_packing_bin_size": 200,
  "sample_packing_group_size": 100000,
  "save_only_model": false,
  "save_safetensors": true,
  "save_steps": 50,
  "sequence_len": 8192,
  "shuffle_before_merging_datasets": false,
  "shuffle_merged_datasets": true,
  "skip_prepare_dataset": false,
  "streaming_multipack_buffer_size": 10000,
  "strict": false,
  "tensor_parallel_size": 1,
  "tiled_mlp_use_original_mlp": true,
  "tokenizer_config": "dphn/Dolphin3.0-Llama3.2-3B",
  "tokenizer_save_jinja_files": true,
  "torch_dtype": "torch.bfloat16",
  "train_on_inputs": false,
  "trl": {
    "log_completions": false,
    "mask_truncated_completions": false,
    "ref_model_mixup_alpha": 0.9,
    "ref_model_sync_steps": 64,
    "scale_rewards": true,
    "sync_ref_model": false,
    "use_vllm": false,
    "vllm_server_host": "0.0.0.0",
    "vllm_server_port": 8000
  },
  "use_ray": false,
  "val_set_size": 0.0,
  "vllm": {
    "device": "auto",
    "dtype": "auto",
    "gpu_memory_utilization": 0.9,
    "host": "0.0.0.0",
    "port": 8000
  },
  "warmup_ratio": 0.1,
  "weight_decay": 0.05,
  "world_size": 1
}
[2026-03-29 17:06:48,431] [WARNING] [axolotl.cli.checks.check_user_token:46] [PID:1870] Error verifying HuggingFace token. Remember to log in using `huggingface-cli login` and get your access token from https://huggingface.co/settings/tokens if you want to use gated models or datasets.
[2026-03-29 17:06:49,360] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:278] [PID:1870] EOS: 128256 / <|im_end|>
[2026-03-29 17:06:49,362] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:279] [PID:1870] BOS: 128000 / <|begin_of_text|>
[2026-03-29 17:06:49,364] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:280] [PID:1870] PAD: 128001 / <|end_of_text|>
[2026-03-29 17:06:49,365] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:281] [PID:1870] UNK: None / None
[2026-03-29 17:06:49,368] [INFO] [axolotl.utils.data.shared.load_preprocessed_dataset:476] [PID:1870] Unable to find prepared dataset in last_run_prepared/b72df10b48d5f00efef65cbe761c72f7
[2026-03-29 17:06:49,370] [INFO] [axolotl.utils.data.sft._load_raw_datasets:320] [PID:1870] Loading raw datasets...
[2026-03-29 17:06:49,372] [WARNING] [axolotl.utils.data.sft._load_raw_datasets:322] [PID:1870] Processing datasets during training can lead to VRAM instability. Please pre-process your dataset using `axolotl preprocess path/to/config.yml`.
[2026-03-29 17:06:50,431] [INFO] [axolotl.utils.data.wrappers.get_dataset_wrapper:87] [PID:1870] Loading dataset: karan11/defender-judge-fine-tune with base_type: chat_template and prompt_style: None
[2026-03-29 17:06:50,440] [INFO] [axolotl.prompt_strategies.chat_template.__call__:969] [PID:1870] Using chat template:
---
{%- if tools %}
    {{- '<|im_start|>system\n' }}
    {%- if messages[0]['role'] == 'system' %}
        {{- messages[0]['content'] }}
    {%- else %}
        {{- 'You are Dolphin, created by Eric Hartford. You are a helpful assistant.' }}
    {%- endif %}
    {{- "\n\n# Tools\n\nYou may call one or more functions to assist with the user query.\n\nYou are provided with function signatures within <tools></tools> XML tags:\n<tools>" }}
    {%- for tool in tools %}
        {{- "\n" }}
        {{- tool | tojson }}
    {%- endfor %}
    {{- "\n</tools>\n\nFor each function call, return a json object with function name and arguments within <tool_call></tool_call> XML tags:\n<tool_call>\n{\"name\": <function-name>, \"arguments\": <args-json-object>}\n</tool_call><|im_end|>\n" }}
{%- else %}
    {%- if messages[0]['role'] == 'system' %}
        {{- '<|im_start|>system\n' + messages[0]['content'] + '<|im_end|>\n' }}
    {%- else %}
        {{- '<|im_start|>system\nYou are Dolphin, created by Eric Hartford. You are a helpful assistant.<|im_end|>\n' }}
    {%- endif %}
{%- endif %}
{%- for message in messages %}
    {%- if (message.role == "user") or (message.role == "system" and not loop.first) or (message.role == "assistant" and not message.tool_calls) %}
        {{- '<|im_start|>' + message.role + '\n' + message.content + '<|im_end|>' + '\n' }}
    {%- elif message.role == "assistant" %}
        {{- '<|im_start|>' + message.role }}
        {%- if message.content %}
            {{- '\n' + message.content }}
        {%- endif %}
        {%- for tool_call in message.tool_calls %}
            {%- if tool_call.function is defined %}
                {%- set tool_call = tool_call.function %}
            {%- endif %}
            {{- '\n<tool_call>\n{"name": "' }}
            {{- tool_call.name }}
            {{- '", "arguments": ' }}
            {{- tool_call.arguments | tojson }}
            {{- '}\n</tool_call>' }}
        {%- endfor %}
        {{- '<|im_end|>\n' }}
    {%- elif message.role == "tool" %}
        {%- if (loop.index0 == 0) or (messages[loop.index0 - 1].role != "tool") %}
            {{- '<|im_start|>user' }}
        {%- endif %}
        {{- '\n<tool_response>\n' }}
        {{- message.content }}
        {{- '\n</tool_response>' }}
        {%- if loop.last or (messages[loop.index0 + 1].role != "tool") %}
            {{- '<|im_end|>\n' }}
        {%- endif %}
    {%- endif %}
{%- endfor %}
{%- if add_generation_prompt %}
    {{- '<|im_start|>assistant\n' }}
{%- endif %}

---

Tokenizing Prompts (num_proc=26):   0%|                                                                                                                  | 0/2700 [00:00<?, ? examples/s]
Tokenizing Prompts (num_proc=26):   4%|████                                                                                                    | 104/2700 [00:01<00:33, 77.15 examples/s]
Tokenizing Prompts (num_proc=26):   8%|███████▉                                                                                               | 208/2700 [00:01<00:16, 147.13 examples/s]
Tokenizing Prompts (num_proc=26):  12%|███████████▉                                                                                           | 312/2700 [00:01<00:09, 241.56 examples/s]
Tokenizing Prompts (num_proc=26):  15%|███████████████▊                                                                                       | 416/2700 [00:01<00:07, 324.49 examples/s]
Tokenizing Prompts (num_proc=26):  19%|███████████████████▊                                                                                   | 520/2700 [00:01<00:05, 411.19 examples/s]
Tokenizing Prompts (num_proc=26):  23%|███████████████████████▊                                                                               | 624/2700 [00:02<00:04, 468.20 examples/s]
Tokenizing Prompts (num_proc=26):  27%|███████████████████████████▊                                                                           | 728/2700 [00:02<00:03, 525.61 examples/s]
Tokenizing Prompts (num_proc=26):  31%|███████████████████████████████▋                                                                       | 832/2700 [00:02<00:03, 579.18 examples/s]
Tokenizing Prompts (num_proc=26):  35%|███████████████████████████████████▋                                                                   | 936/2700 [00:02<00:02, 623.87 examples/s]
Tokenizing Prompts (num_proc=26):  39%|███████████████████████████████████████▎                                                              | 1040/2700 [00:02<00:02, 631.67 examples/s]
Tokenizing Prompts (num_proc=26):  42%|███████████████████████████████████████████▏                                                          | 1144/2700 [00:02<00:02, 631.58 examples/s]
Tokenizing Prompts (num_proc=26):  46%|███████████████████████████████████████████████▏                                                      | 1248/2700 [00:03<00:02, 645.11 examples/s]
Tokenizing Prompts (num_proc=26):  54%|███████████████████████████████████████████████████████                                               | 1456/2700 [00:03<00:01, 821.63 examples/s]
Tokenizing Prompts (num_proc=26):  58%|██████████████████████████████████████████████████████████▉                                           | 1560/2700 [00:03<00:01, 804.13 examples/s]
Tokenizing Prompts (num_proc=26):  62%|██████████████████████████████████████████████████████████████▊                                       | 1664/2700 [00:03<00:01, 772.18 examples/s]
Tokenizing Prompts (num_proc=26):  65%|██████████████████████████████████████████████████████████████████▊                                   | 1768/2700 [00:03<00:01, 597.69 examples/s]
Tokenizing Prompts (num_proc=26):  69%|██████████████████████████████████████████████████████████████████████▋                               | 1872/2700 [00:03<00:01, 626.71 examples/s]
Tokenizing Prompts (num_proc=26):  77%|██████████████████████████████████████████████████████████████████████████████▌                       | 2080/2700 [00:04<00:00, 849.98 examples/s]
Tokenizing Prompts (num_proc=26):  81%|██████████████████████████████████████████████████████████████████████████████████▌                   | 2184/2700 [00:04<00:00, 728.52 examples/s]
Tokenizing Prompts (num_proc=26):  89%|██████████████████████████████████████████████████████████████████████████████████████████▎           | 2391/2700 [00:04<00:00, 734.69 examples/s]
Tokenizing Prompts (num_proc=26):  92%|██████████████████████████████████████████████████████████████████████████████████████████████▏       | 2494/2700 [00:04<00:00, 773.24 examples/s]
Tokenizing Prompts (num_proc=26):  96%|██████████████████████████████████████████████████████████████████████████████████████████████████    | 2597/2700 [00:04<00:00, 768.92 examples/s]
Tokenizing Prompts (num_proc=26): 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 2700/2700 [00:04<00:00, 730.43 examples/s]
Tokenizing Prompts (num_proc=26): 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 2700/2700 [00:05<00:00, 510.82 examples/s]
[2026-03-29 17:06:56,225] [INFO] [axolotl.utils.data.utils.handle_long_seq_in_dataset:218] [PID:1870] min_input_len: 915
[2026-03-29 17:06:56,227] [INFO] [axolotl.utils.data.utils.handle_long_seq_in_dataset:220] [PID:1870] max_input_len: 5341

Dropping Long Sequences (>8192) (num_proc=26):   0%|                                                                                                     | 0/2700 [00:00<?, ? examples/s]
Dropping Long Sequences (>8192) (num_proc=26):   4%|███▌                                                                                       | 104/2700 [00:01<00:26, 99.21 examples/s]
Dropping Long Sequences (>8192) (num_proc=26):  23%|████████████████████▊                                                                     | 624/2700 [00:01<00:02, 701.67 examples/s]
Dropping Long Sequences (>8192) (num_proc=26):  39%|█████████████████████████████████▉                                                      | 1040/2700 [00:01<00:01, 1190.54 examples/s]
Dropping Long Sequences (>8192) (num_proc=26): 100%|████████████████████████████████████████████████████████████████████████████████████████| 2700/2700 [00:01<00:00, 1481.80 examples/s]

Drop Samples with Zero Trainable Tokens (num_proc=26):   0%|                                                                                             | 0/2700 [00:00<?, ? examples/s]
Drop Samples with Zero Trainable Tokens (num_proc=26):   4%|███▏                                                                               | 104/2700 [00:01<00:36, 71.14 examples/s]
Drop Samples with Zero Trainable Tokens (num_proc=26):  39%|███████████████████████████████▏                                                 | 1040/2700 [00:01<00:01, 881.31 examples/s]
Drop Samples with Zero Trainable Tokens (num_proc=26):  58%|██████████████████████████████████████████████▏                                 | 1559/2700 [00:01<00:01, 1117.53 examples/s]
Drop Samples with Zero Trainable Tokens (num_proc=26): 100%|████████████████████████████████████████████████████████████████████████████████| 2700/2700 [00:02<00:00, 1205.04 examples/s]

Add position_id column (Sample Packing) (num_proc=26):   0%|                                                                                             | 0/2700 [00:00<?, ? examples/s]
Add position_id column (Sample Packing) (num_proc=26):   4%|███▏                                                                              | 104/2700 [00:00<00:13, 188.30 examples/s]
Add position_id column (Sample Packing) (num_proc=26):  15%|████████████▋                                                                     | 416/2700 [00:00<00:02, 773.39 examples/s]
Add position_id column (Sample Packing) (num_proc=26):  58%|██████████████████████████████████████████████▏                                 | 1560/2700 [00:00<00:00, 3137.08 examples/s]
Add position_id column (Sample Packing) (num_proc=26): 100%|████████████████████████████████████████████████████████████████████████████████| 2700/2700 [00:00<00:00, 5046.91 examples/s]
Add position_id column (Sample Packing) (num_proc=26): 100%|████████████████████████████████████████████████████████████████████████████████| 2700/2700 [00:01<00:00, 2033.93 examples/s]

Saving the dataset (0/10 shards):   0%|                                                                                                                  | 0/2700 [00:00<?, ? examples/s]
Saving the dataset (0/10 shards):  10%|██████████▏                                                                                           | 270/2700 [00:00<00:01, 1392.03 examples/s]
Saving the dataset (1/10 shards):  10%|██████████▏                                                                                           | 270/2700 [00:00<00:01, 1392.03 examples/s]
Saving the dataset (2/10 shards):  40%|████████████████████████████████████████▍                                                            | 1080/2700 [00:00<00:01, 1392.03 examples/s]
Saving the dataset (3/10 shards):  40%|████████████████████████████████████████▍                                                            | 1080/2700 [00:00<00:01, 1392.03 examples/s]
Saving the dataset (4/10 shards):  40%|████████████████████████████████████████▍                                                            | 1080/2700 [00:00<00:01, 1392.03 examples/s]
Saving the dataset (5/10 shards):  70%|██████████████████████████████████████████████████████████████████████▋                              | 1890/2700 [00:00<00:00, 1392.03 examples/s]
Saving the dataset (6/10 shards):  70%|██████████████████████████████████████████████████████████████████████▋                              | 1890/2700 [00:00<00:00, 1392.03 examples/s]
Saving the dataset (7/10 shards):  70%|██████████████████████████████████████████████████████████████████████▋                              | 1890/2700 [00:00<00:00, 1392.03 examples/s]
Saving the dataset (8/10 shards):  80%|████████████████████████████████████████████████████████████████████████████████▊                    | 2160/2700 [00:00<00:00, 1392.03 examples/s]
Saving the dataset (9/10 shards):  90%|██████████████████████████████████████████████████████████████████████████████████████████▉          | 2430/2700 [00:00<00:00, 1392.03 examples/s]
Saving the dataset (10/10 shards): 100%|████████████████████████████████████████████████████████████████████████████████████████████████████| 2700/2700 [00:00<00:00, 1392.03 examples/s]
Saving the dataset (10/10 shards): 100%|████████████████████████████████████████████████████████████████████████████████████████████████████| 2700/2700 [00:00<00:00, 8593.97 examples/s]
[2026-03-29 17:07:02,957] [DEBUG] [axolotl.utils.trainer.calculate_total_num_steps:404] [PID:1870] total_num_tokens: 2_740_122
[2026-03-29 17:07:03,005] [DEBUG] [axolotl.utils.trainer.calculate_total_num_steps:422] [PID:1870] `total_supervised_tokens: 202_860`
[2026-03-29 17:07:04,075] [DEBUG] [axolotl.utils.samplers.multipack.__len__:458] [PID:1870] generate_batches time: 0.48715806007385254
[2026-03-29 17:07:04,570] [DEBUG] [axolotl.utils.samplers.multipack.__len__:458] [PID:1870] generate_batches time: 0.4939417839050293
[2026-03-29 17:07:05,063] [DEBUG] [axolotl.utils.samplers.multipack.__len__:458] [PID:1870] generate_batches time: 0.4897637367248535
[2026-03-29 17:07:05,552] [DEBUG] [axolotl.utils.samplers.multipack.__len__:458] [PID:1870] generate_batches time: 0.4878394603729248
[2026-03-29 17:07:05,581] [INFO] [axolotl.utils.samplers.multipack.calc_min_len:434] [PID:1870] gather_len_batches: [85]
[2026-03-29 17:07:05,582] [DEBUG] [axolotl.utils.trainer.calculate_total_num_steps:481] [PID:1870] data_loader_len: 21
[2026-03-29 17:07:05,583] [INFO] [axolotl.utils.trainer.calc_sample_packing_eff_est:497] [PID:1870] sample_packing_eff_est across ranks: [0.9837869083180147]
[2026-03-29 17:07:05,585] [DEBUG] [axolotl.utils.trainer.calculate_total_num_steps:509] [PID:1870] sample_packing_eff_est: 0.99
[2026-03-29 17:07:05,586] [DEBUG] [axolotl.utils.trainer.calculate_total_num_steps:520] [PID:1870] total_num_steps: 63
[2026-03-29 17:07:05,588] [INFO] [axolotl.utils.data.sft._prepare_standard_dataset:121] [PID:1870] Maximum number of steps set at 63
[2026-03-29 17:07:05,617] [DEBUG] [axolotl.train.setup_model_and_tokenizer:65] [PID:1870] Loading tokenizer... dphn/Dolphin3.0-Llama3.2-3B
[2026-03-29 17:07:06,638] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:278] [PID:1870] EOS: 128256 / <|im_end|>
[2026-03-29 17:07:06,639] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:279] [PID:1870] BOS: 128000 / <|begin_of_text|>
[2026-03-29 17:07:06,641] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:280] [PID:1870] PAD: 128001 / <|end_of_text|>
[2026-03-29 17:07:06,642] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:281] [PID:1870] UNK: None / None
[2026-03-29 17:07:06,644] [DEBUG] [axolotl.train.setup_model_and_tokenizer:74] [PID:1870] Loading model
[2026-03-29 17:07:06,747] [DEBUG] [axolotl.monkeypatch.transformers.trainer_loss_calc.patch_evaluation_loop:87] [PID:1870] Patched Trainer.evaluation_loop with nanmean loss calculation
[2026-03-29 17:07:06,752] [DEBUG] [axolotl.monkeypatch.transformers.trainer_loss_calc.patch_maybe_log_save_evaluate:138] [PID:1870] Patched Trainer._maybe_log_save_evaluate with nanmean loss calculation
[2026-03-29 17:07:06,755] [INFO] [axolotl.loaders.patch_manager._apply_multipack_patches:301] [PID:1870] Applying multipack dataloader patch for sample packing...

model.safetensors.index.json: 0.00B [00:00, ?B/s]
model.safetensors.index.json: 20.9kB [00:00, 78.6MB/s]

model-00001-of-00002.safetensors:   0%|                                                                                                                      | 0.00/4.97G [00:00<?, ?B/s]
model-00001-of-00002.safetensors:   0%|                                                                                                             | 931k/4.97G [00:01<2:46:31, 497kB/s]
model-00001-of-00002.safetensors:   1%|█▌                                                                                                           | 70.1M/4.97G [00:03<02:56, 27.8MB/s]
model-00001-of-00002.safetensors:   3%|███                                                                                                           | 140M/4.97G [00:03<01:34, 51.2MB/s]
model-00001-of-00002.safetensors:   4%|████▌                                                                                                         | 207M/4.97G [00:06<02:08, 37.1MB/s]
model-00001-of-00002.safetensors:   6%|██████                                                                                                        | 274M/4.97G [00:08<02:34, 30.4MB/s]
model-00001-of-00002.safetensors:   7%|███████▌                                                                                                      | 341M/4.97G [00:11<02:47, 27.6MB/s]
model-00001-of-00002.safetensors:   7%|███████▋                                                                                                      | 345M/4.97G [00:12<02:53, 26.6MB/s]
model-00001-of-00002.safetensors:   8%|█████████▏                                                                                                    | 414M/4.97G [00:13<02:31, 30.0MB/s]
model-00001-of-00002.safetensors:  10%|██████████▋                                                                                                   | 481M/4.97G [00:15<02:12, 33.8MB/s]
model-00001-of-00002.safetensors:  11%|████████████▏                                                                                                 | 548M/4.97G [00:16<01:45, 41.9MB/s]
model-00001-of-00002.safetensors:  12%|█████████████▋                                                                                                | 616M/4.97G [00:17<01:43, 41.8MB/s]
model-00001-of-00002.safetensors:  14%|███████████████                                                                                               | 683M/4.97G [00:20<01:53, 37.7MB/s]
model-00001-of-00002.safetensors:  15%|████████████████▌                                                                                             | 750M/4.97G [00:22<02:02, 34.5MB/s]
model-00001-of-00002.safetensors:  16%|██████████████████                                                                                            | 817M/4.97G [00:23<01:47, 38.6MB/s]
model-00001-of-00002.safetensors:  18%|███████████████████▌                                                                                          | 884M/4.97G [00:26<01:59, 34.3MB/s]
model-00001-of-00002.safetensors:  19%|█████████████████████                                                                                         | 951M/4.97G [00:26<01:25, 47.2MB/s]
model-00001-of-00002.safetensors:  20%|██████████████████████▎                                                                                      | 1.02G/4.97G [00:28<01:28, 44.4MB/s]
model-00001-of-00002.safetensors:  22%|███████████████████████▊                                                                                     | 1.08G/4.97G [00:29<01:21, 47.4MB/s]
model-00001-of-00002.safetensors:  23%|█████████████████████████▎                                                                                   | 1.15G/4.97G [00:30<01:16, 50.0MB/s]
model-00001-of-00002.safetensors:  25%|██████████████████████████▊                                                                                  | 1.22G/4.97G [00:31<01:07, 55.3MB/s]
model-00001-of-00002.safetensors:  26%|████████████████████████████▏                                                                                | 1.29G/4.97G [00:32<00:59, 62.0MB/s]
model-00001-of-00002.safetensors:  27%|█████████████████████████████▋                                                                               | 1.35G/4.97G [00:33<00:57, 62.7MB/s]
model-00001-of-00002.safetensors:  29%|███████████████████████████████▏                                                                             | 1.42G/4.97G [00:33<00:47, 74.9MB/s]
model-00001-of-00002.safetensors:  30%|████████████████████████████████▋                                                                            | 1.49G/4.97G [00:33<00:37, 92.8MB/s]
model-00001-of-00002.safetensors:  31%|██████████████████████████████████                                                                           | 1.55G/4.97G [00:34<00:35, 96.1MB/s]
model-00001-of-00002.safetensors:  33%|███████████████████████████████████▉                                                                          | 1.62G/4.97G [00:34<00:27, 121MB/s]
model-00001-of-00002.safetensors:  34%|█████████████████████████████████████▍                                                                        | 1.69G/4.97G [00:35<00:27, 119MB/s]
model-00001-of-00002.safetensors:  35%|██████████████████████████████████████▌                                                                      | 1.76G/4.97G [00:36<00:36, 87.9MB/s]
model-00001-of-00002.safetensors:  37%|███████████████████████████████████████▉                                                                     | 1.82G/4.97G [00:37<00:40, 78.2MB/s]
model-00001-of-00002.safetensors:  38%|█████████████████████████████████████████▍                                                                   | 1.89G/4.97G [00:39<00:45, 67.5MB/s]
model-00001-of-00002.safetensors:  39%|██████████████████████████████████████████▉                                                                  | 1.96G/4.97G [00:40<00:45, 65.7MB/s]
model-00001-of-00002.safetensors:  41%|████████████████████████████████████████████▍                                                                | 2.02G/4.97G [00:41<00:45, 65.0MB/s]
model-00001-of-00002.safetensors:  42%|█████████████████████████████████████████████▊                                                               | 2.09G/4.97G [00:41<00:37, 77.0MB/s]
model-00001-of-00002.safetensors:  43%|███████████████████████████████████████████████▎                                                             | 2.16G/4.97G [00:42<00:33, 83.4MB/s]
model-00001-of-00002.safetensors:  45%|████████████████████████████████████████████████▊                                                            | 2.22G/4.97G [00:43<00:31, 87.4MB/s]
model-00001-of-00002.safetensors:  46%|██████████████████████████████████████████████████▋                                                           | 2.29G/4.97G [00:43<00:23, 114MB/s]
model-00001-of-00002.safetensors:  47%|████████████████████████████████████████████████████▏                                                         | 2.36G/4.97G [00:43<00:23, 110MB/s]
model-00001-of-00002.safetensors:  49%|█████████████████████████████████████████████████████▋                                                        | 2.42G/4.97G [00:44<00:24, 105MB/s]
model-00001-of-00002.safetensors:  50%|██████████████████████████████████████████████████████▋                                                      | 2.49G/4.97G [00:45<00:25, 97.0MB/s]
model-00001-of-00002.safetensors:  52%|████████████████████████████████████████████████████████▋                                                     | 2.56G/4.97G [00:45<00:19, 125MB/s]
model-00001-of-00002.safetensors:  53%|██████████████████████████████████████████████████████████▏                                                   | 2.63G/4.97G [00:45<00:14, 158MB/s]
model-00001-of-00002.safetensors:  54%|███████████████████████████████████████████████████████████▋                                                  | 2.69G/4.97G [00:46<00:15, 142MB/s]
model-00001-of-00002.safetensors:  56%|█████████████████████████████████████████████████████████████▏                                                | 2.76G/4.97G [00:46<00:17, 125MB/s]
model-00001-of-00002.safetensors:  57%|██████████████████████████████████████████████████████████████▌                                               | 2.83G/4.97G [00:47<00:18, 114MB/s]
model-00001-of-00002.safetensors:  58%|███████████████████████████████████████████████████████████████▌                                             | 2.89G/4.97G [00:48<00:20, 99.7MB/s]
model-00001-of-00002.safetensors:  60%|████████████████████████████████████████████████████████████████▉                                            | 2.96G/4.97G [00:49<00:21, 92.7MB/s]
model-00001-of-00002.safetensors:  61%|██████████████████████████████████████████████████████████████████▍                                          | 3.03G/4.97G [00:50<00:20, 95.2MB/s]
model-00001-of-00002.safetensors:  62%|████████████████████████████████████████████████████████████████████▌                                         | 3.10G/4.97G [00:50<00:17, 106MB/s]
model-00001-of-00002.safetensors:  64%|██████████████████████████████████████████████████████████████████████                                        | 3.16G/4.97G [00:51<00:16, 110MB/s]
model-00001-of-00002.safetensors:  65%|███████████████████████████████████████████████████████████████████████▌                                      | 3.23G/4.97G [00:51<00:16, 104MB/s]
model-00001-of-00002.safetensors:  66%|█████████████████████████████████████████████████████████████████████████                                     | 3.30G/4.97G [00:52<00:16, 101MB/s]
model-00001-of-00002.safetensors:  68%|██████████████████████████████████████████████████████████████████████████▌                                   | 3.36G/4.97G [00:52<00:13, 118MB/s]
model-00001-of-00002.safetensors:  69%|███████████████████████████████████████████████████████████████████████████▉                                  | 3.43G/4.97G [00:53<00:13, 116MB/s]
model-00001-of-00002.safetensors:  70%|█████████████████████████████████████████████████████████████████████████████▍                                | 3.50G/4.97G [00:53<00:11, 130MB/s]
model-00001-of-00002.safetensors:  72%|██████████████████████████████████████████████████████████████████████████████▉                               | 3.56G/4.97G [00:54<00:09, 146MB/s]
model-00001-of-00002.safetensors:  73%|████████████████████████████████████████████████████████████████████████████████▍                             | 3.63G/4.97G [00:54<00:08, 160MB/s]
model-00001-of-00002.safetensors:  74%|█████████████████████████████████████████████████████████████████████████████████▉                            | 3.70G/4.97G [00:54<00:07, 165MB/s]
model-00001-of-00002.safetensors:  76%|███████████████████████████████████████████████████████████████████████████████████▍                          | 3.77G/4.97G [00:55<00:07, 152MB/s]
model-00001-of-00002.safetensors:  77%|████████████████████████████████████████████████████████████████████████████████████▉                         | 3.83G/4.97G [00:56<00:08, 130MB/s]
model-00001-of-00002.safetensors:  79%|██████████████████████████████████████████████████████████████████████████████████████▍                       | 3.90G/4.97G [00:56<00:08, 121MB/s]
model-00001-of-00002.safetensors:  80%|███████████████████████████████████████████████████████████████████████████████████████▉                      | 3.97G/4.97G [00:57<00:09, 106MB/s]
model-00001-of-00002.safetensors:  81%|████████████████████████████████████████████████████████████████████████████████████████▌                    | 4.03G/4.97G [00:59<00:12, 72.6MB/s]
model-00001-of-00002.safetensors:  83%|█████████████████████████████████████████████████████████████████████████████████████████▉                   | 4.10G/4.97G [00:59<00:11, 77.8MB/s]
model-00001-of-00002.safetensors:  84%|███████████████████████████████████████████████████████████████████████████████████████████▍                 | 4.17G/4.97G [01:00<00:08, 91.6MB/s]
model-00001-of-00002.safetensors:  85%|████████████████████████████████████████████████████████████████████████████████████████████▉                | 4.23G/4.97G [01:00<00:07, 97.0MB/s]
model-00001-of-00002.safetensors:  87%|██████████████████████████████████████████████████████████████████████████████████████████████▎              | 4.30G/4.97G [01:01<00:07, 85.1MB/s]
model-00001-of-00002.safetensors:  88%|███████████████████████████████████████████████████████████████████████████████████████████████▊             | 4.37G/4.97G [01:02<00:06, 98.6MB/s]
model-00001-of-00002.safetensors:  89%|█████████████████████████████████████████████████████████████████████████████████████████████████▎           | 4.43G/4.97G [01:03<00:05, 91.5MB/s]
model-00001-of-00002.safetensors:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████▋          | 4.50G/4.97G [01:04<00:06, 72.5MB/s]
model-00001-of-00002.safetensors:  92%|████████████████████████████████████████████████████████████████████████████████████████████████████▏        | 4.56G/4.97G [01:05<00:05, 77.5MB/s]
model-00001-of-00002.safetensors:  93%|█████████████████████████████████████████████████████████████████████████████████████████████████████▋       | 4.63G/4.97G [01:05<00:03, 85.3MB/s]
model-00001-of-00002.safetensors:  95%|███████████████████████████████████████████████████████████████████████████████████████████████████████      | 4.70G/4.97G [01:06<00:03, 86.3MB/s]
model-00001-of-00002.safetensors:  96%|████████████████████████████████████████████████████████████████████████████████████████████████████████▌    | 4.76G/4.97G [01:07<00:02, 96.7MB/s]
model-00001-of-00002.safetensors:  97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████   | 4.83G/4.97G [01:07<00:01, 106MB/s]
model-00001-of-00002.safetensors:  99%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 4.90G/4.97G [01:08<00:00, 92.0MB/s]
model-00001-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4.97G/4.97G [01:09<00:00, 99.9MB/s]
model-00001-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4.97G/4.97G [01:09<00:00, 71.9MB/s]

model-00002-of-00002.safetensors:   0%|                                                                                                                      | 0.00/1.46G [00:00<?, ?B/s]
model-00002-of-00002.safetensors:   0%|                                                                                                             | 609k/1.46G [00:02<1:34:37, 257kB/s]
model-00002-of-00002.safetensors:   5%|█████                                                                                                        | 67.7M/1.46G [00:05<01:45, 13.2MB/s]
model-00002-of-00002.safetensors:   9%|██████████▏                                                                                                   | 135M/1.46G [00:07<00:56, 23.3MB/s]
model-00002-of-00002.safetensors:  14%|███████████████▏                                                                                              | 202M/1.46G [00:10<00:56, 22.2MB/s]
model-00002-of-00002.safetensors:  18%|████████████████████▎                                                                                         | 269M/1.46G [00:11<00:39, 30.3MB/s]
model-00002-of-00002.safetensors:  23%|█████████████████████████▎                                                                                    | 336M/1.46G [00:11<00:27, 41.4MB/s]
model-00002-of-00002.safetensors:  28%|██████████████████████████████▎                                                                               | 403M/1.46G [00:12<00:21, 48.1MB/s]
model-00002-of-00002.safetensors:  32%|███████████████████████████████████▍                                                                          | 470M/1.46G [00:13<00:17, 55.8MB/s]
model-00002-of-00002.safetensors:  37%|████████████████████████████████████████▍                                                                     | 537M/1.46G [00:14<00:14, 64.2MB/s]
model-00002-of-00002.safetensors:  41%|█████████████████████████████████████████████▌                                                                | 604M/1.46G [00:15<00:12, 66.4MB/s]
model-00002-of-00002.safetensors:  46%|██████████████████████████████████████████████████▌                                                           | 671M/1.46G [00:15<00:10, 73.8MB/s]
model-00002-of-00002.safetensors:  51%|███████████████████████████████████████████████████████▋                                                      | 738M/1.46G [00:16<00:09, 75.1MB/s]
model-00002-of-00002.safetensors:  54%|███████████████████████████████████████████████████████████▍                                                  | 789M/1.46G [00:17<00:09, 71.6MB/s]
model-00002-of-00002.safetensors:  59%|████████████████████████████████████████████████████████████████▌                                             | 856M/1.46G [00:18<00:08, 71.0MB/s]
model-00002-of-00002.safetensors:  63%|█████████████████████████████████████████████████████████████████████▌                                        | 924M/1.46G [00:19<00:07, 71.9MB/s]
model-00002-of-00002.safetensors:  68%|██████████████████████████████████████████████████████████████████████████▋                                   | 991M/1.46G [00:20<00:05, 83.4MB/s]
model-00002-of-00002.safetensors:  72%|███████████████████████████████████████████████████████████████████████████████▋                              | 1.06G/1.46G [00:20<00:03, 111MB/s]
model-00002-of-00002.safetensors:  77%|███████████████████████████████████████████████████████████████████████████████████▉                         | 1.12G/1.46G [00:21<00:04, 81.5MB/s]
model-00002-of-00002.safetensors:  82%|█████████████████████████████████████████████████████████████████████████████████████████                    | 1.19G/1.46G [00:21<00:02, 92.4MB/s]
model-00002-of-00002.safetensors:  86%|██████████████████████████████████████████████████████████████████████████████████████████████               | 1.26G/1.46G [00:22<00:02, 93.1MB/s]
model-00002-of-00002.safetensors:  91%|███████████████████████████████████████████████████████████████████████████████████████████████████▉          | 1.33G/1.46G [00:23<00:01, 108MB/s]
model-00002-of-00002.safetensors:  95%|████████████████████████████████████████████████████████████████████████████████████████████████████████     | 1.39G/1.46G [00:24<00:00, 90.6MB/s]
model-00002-of-00002.safetensors: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1.46G/1.46G [00:24<00:00, 102MB/s]
model-00002-of-00002.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1.46G/1.46G [00:24<00:00, 59.4MB/s]

Loading checkpoint shards:   0%|                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                     | 0/2 [00:00<?, ?it/s]
Loading checkpoint shards:  50%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                                                              | 1/2 [00:06<00:06,  6.41s/it]
Loading checkpoint shards: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:08<00:00,  3.97s/it]
Loading checkpoint shards: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:08<00:00,  4.34s/it]

generation_config.json:   0%|                                                                                    | 0.00/206 [00:00<?, ?B/s]
generation_config.json: 100%|██████████████████████████████████████████████████████████████████████████████| 206/206 [00:00<00:00, 556kB/s]
[2026-03-29 17:08:50,906] [INFO] [axolotl.loaders.model._prepare_model_for_quantization:863] [PID:1870] converting PEFT model w/ prepare_model_for_kbit_training
[2026-03-29 17:08:50,909] [INFO] [axolotl.loaders.model._configure_embedding_dtypes:345] [PID:1870] Converting modules to torch.bfloat16
[2026-03-29 17:08:50,913] [DEBUG] [axolotl.loaders.model.log_gpu_memory_usage:127] [PID:1870] Memory usage after model load 4.879GB (+4.879GB allocated, +4.984GB reserved)
trainable params: 48,627,712 || all params: 3,261,383,680 || trainable%: 1.4910
[2026-03-29 17:08:51,319] [DEBUG] [axolotl.loaders.model.log_gpu_memory_usage:127] [PID:1870] after adapters 3.559GB (+3.559GB allocated, +5.166GB reserved)
[2026-03-29 17:08:55,931] [INFO] [axolotl.train.save_initial_configs:398] [PID:1870] Pre-saving adapter config to ./outputs/defender-judge...
[2026-03-29 17:08:55,954] [INFO] [axolotl.train.save_initial_configs:402] [PID:1870] Pre-saving tokenizer to ./outputs/defender-judge...
[2026-03-29 17:08:56,307] [INFO] [axolotl.train.save_initial_configs:407] [PID:1870] Pre-saving model config to ./outputs/defender-judge...
[2026-03-29 17:08:56,337] [INFO] [axolotl.train.execute_training:196] [PID:1870] Starting trainer...
[2026-03-29 17:08:58,996] [DEBUG] [axolotl.utils.samplers.multipack.__len__:458] [PID:1870] generate_batches time: 0.915003776550293
[2026-03-29 17:08:59,888] [DEBUG] [axolotl.utils.samplers.multipack.__len__:458] [PID:1870] generate_batches time: 0.8903026580810547
[2026-03-29 17:09:00,762] [DEBUG] [axolotl.utils.samplers.multipack.__len__:458] [PID:1870] generate_batches time: 0.8731865882873535
[2026-03-29 17:09:01,657] [DEBUG] [axolotl.utils.samplers.multipack.__len__:458] [PID:1870] generate_batches time: 0.8936741352081299
[2026-03-29 17:09:01,660] [INFO] [axolotl.utils.samplers.multipack.calc_min_len:434] [PID:1870] gather_len_batches: [85]

  0%|                                                                                                                                                                   | 0/63 [00:00<?, ?it/s][2026-03-29 17:09:05,685] [WARNING] [py.warnings._showwarnmsg:110] [PID:1870] /root/miniconda3/envs/py3.11/lib/python3.11/site-packages/bitsandbytes/autograd/_functions.py:186: UserWarning: MatMul8bitLt: inputs will be cast from torch.bfloat16 to float16 during quantization
  warnings.warn(f"MatMul8bitLt: inputs will be cast from {A.dtype} to float16 during quantization")


  2%|██▍                                                                                                                                                        | 1/63 [00:17<18:06, 17.53s/it]
  3%|████▉                                                                                                                                                      | 2/63 [00:30<15:12, 14.96s/it]
  5%|███████▌                                                                                                                                                        | 3/63 [00:43<14:08, 14.14s/it]
  6%|██████████▏                                                                                                                                                     | 4/63 [00:56<13:31, 13.75s/it]
  8%|████████████▋                                                                                                                                                   | 5/63 [01:10<13:07, 13.57s/it]
                                                                                                                                                                                                    
{'loss': 2.3013, 'grad_norm': 1.6521763801574707, 'learning_rate': 9.999999999999999e-05, 'memory/max_active (GiB)': 57.73, 'memory/max_allocated (GiB)': 57.73, 'memory/device_reserved (GiB)': 66.98, 'tokens_per_second_per_gpu': 718.74, 'epoch': 0.24}

  8%|████████████▋                                                                                                                                                   | 5/63 [01:10<13:07, 13.57s/it]
 10%|███████████████▏                                                                                                                                                | 6/63 [01:23<12:45, 13.43s/it]
 11%|█████████████████▊                                                                                                                                              | 7/63 [01:36<12:26, 13.34s/it]
 13%|████████████████████▎                                                                                                                                           | 8/63 [01:49<12:10, 13.27s/it]
 14%|██████████████████████▊                                                                                                                                         | 9/63 [02:02<11:54, 13.23s/it]
 16%|█████████████████████████▏                                                                                                                                     | 10/63 [02:15<11:39, 13.20s/it]
                                                                                                                                                                                                    
{'loss': 1.3236, 'grad_norm': 1.0924193859100342, 'learning_rate': 0.00014897709775520417, 'memory/max_active (GiB)': 57.73, 'memory/max_allocated (GiB)': 57.73, 'memory/device_reserved (GiB)': 66.98, 'tokens_per_second_per_gpu': 731.56, 'epoch': 0.47}

 16%|█████████████████████████▏                                                                                                                                     | 10/63 [02:15<11:39, 13.20s/it]
 17%|███████████████████████████▊                                                                                                                                   | 11/63 [02:29<11:25, 13.18s/it]
 19%|██████████████████████████████▎                                                                                                                                | 12/63 [02:42<11:12, 13.18s/it]
 21%|████████████████████████████████▊                                                                                                                              | 13/63 [02:55<10:58, 13.18s/it]
 22%|███████████████████████████████████▎                                                                                                                           | 14/63 [03:08<10:45, 13.17s/it]
 24%|█████████████████████████████████████▊                                                                                                                         | 15/63 [03:21<10:32, 13.17s/it]
                                                                                                                                                                                                    
{'loss': 0.5684, 'grad_norm': 0.6611356735229492, 'learning_rate': 0.00014282678705231832, 'memory/max_active (GiB)': 57.73, 'memory/max_allocated (GiB)': 57.73, 'memory/device_reserved (GiB)': 66.98, 'tokens_per_second_per_gpu': 722.65, 'epoch': 0.71}

 24%|█████████████████████████████████████▊                                                                                                                         | 15/63 [03:21<10:32, 13.17s/it]
 25%|████████████████████████████████████████▍                                                                                                                      | 16/63 [03:34<10:18, 13.16s/it]
 27%|██████████████████████████████████████████▉                                                                                                                    | 17/63 [03:48<10:05, 13.16s/it]
 29%|█████████████████████████████████████████████▍                                                                                                                 | 18/63 [04:01<09:52, 13.17s/it]
 30%|███████████████████████████████████████████████▉                                                                                                               | 19/63 [04:14<09:39, 13.17s/it]
 32%|██████████████████████████████████████████████████▍                                                                                                            | 20/63 [04:27<09:25, 13.16s/it]
                                                                                                                                                                                                    
{'loss': 0.3071, 'grad_norm': 0.6052656173706055, 'learning_rate': 0.00013155799573326722, 'memory/max_active (GiB)': 57.73, 'memory/max_allocated (GiB)': 57.73, 'memory/device_reserved (GiB)': 66.98, 'tokens_per_second_per_gpu': 728.39, 'epoch': 0.94}

 32%|██████████████████████████████████████████████████▍                                                                                                            | 20/63 [04:27<09:25, 13.16s/it]
 33%|█████████████████████████████████████████████████████                                                                                                          | 21/63 [04:40<09:12, 13.15s/it]
 35%|███████████████████████████████████████████████████████▌                                                                                                       | 22/63 [04:43<06:50, 10.00s/it]
 37%|██████████████████████████████████████████████████████████                                                                                                     | 23/63 [05:00<07:59, 12.00s/it]
 38%|████████████████████████████████████████████████████████████▌                                                                                                  | 24/63 [05:13<08:01, 12.34s/it]
 40%|███████████████████████████████████████████████████████████████                                                                                                | 25/63 [05:26<07:58, 12.58s/it]
                                                                                                                                                                                                    
{'loss': 0.2304, 'grad_norm': 0.5231208801269531, 'learning_rate': 0.00011602111185918203, 'memory/max_active (GiB)': 57.73, 'memory/max_allocated (GiB)': 57.73, 'memory/device_reserved (GiB)': 66.98, 'tokens_per_second_per_gpu': 625.16, 'epoch': 1.14}

 40%|███████████████████████████████████████████████████████████████                                                                                                | 25/63 [05:26<07:58, 12.58s/it]
 41%|█████████████████████████████████████████████████████████████████▌                                                                                             | 26/63 [05:39<07:52, 12.77s/it]
 43%|████████████████████████████████████████████████████████████████████▏                                                                                          | 27/63 [05:52<07:43, 12.89s/it]
 44%|██████████████████████████████████████████████████████████████████████▋                                                                                        | 28/63 [06:05<07:33, 12.96s/it]
 46%|█████████████████████████████████████████████████████████████████████████▏                                                                                     | 29/63 [06:18<07:22, 13.02s/it]
 48%|███████████████████████████████████████████████████████████████████████████▋                                                                                   | 30/63 [06:32<07:11, 13.06s/it]
                                                                                                                                                                                                    
{'loss': 0.2163, 'grad_norm': 0.34258556365966797, 'learning_rate': 9.738861082512709e-05, 'memory/max_active (GiB)': 57.73, 'memory/max_allocated (GiB)': 57.73, 'memory/device_reserved (GiB)': 66.98, 'tokens_per_second_per_gpu': 724.72, 'epoch': 1.38}

 48%|███████████████████████████████████████████████████████████████████████████▋                                                                                   | 30/63 [06:32<07:11, 13.06s/it]
 49%|██████████████████████████████████████████████████████████████████████████████▏                                                                                | 31/63 [06:45<06:59, 13.11s/it]
 51%|████████████████████████████████████████████████████████████████████████████████▊                                                                              | 32/63 [06:58<06:46, 13.12s/it]
 52%|███████████████████████████████████████████████████████████████████████████████████▎                                                                           | 33/63 [07:11<06:34, 13.14s/it]
 54%|█████████████████████████████████████████████████████████████████████████████████████▊                                                                         | 34/63 [07:24<06:20, 13.13s/it]
 56%|████████████████████████████████████████████████████████████████████████████████████████▎                                                                      | 35/63 [07:37<06:07, 13.14s/it]
                                                                                                                                                                                                    
{'loss': 0.2039, 'grad_norm': 0.3575713038444519, 'learning_rate': 7.706657567761216e-05, 'memory/max_active (GiB)': 57.73, 'memory/max_allocated (GiB)': 57.73, 'memory/device_reserved (GiB)': 66.98, 'tokens_per_second_per_gpu': 723.32, 'epoch': 1.61}

 56%|████████████████████████████████████████████████████████████████████████████████████████▎                                                                      | 35/63 [07:37<06:07, 13.14s/it]
 57%|██████████████████████████████████████████████████████████████████████████████████████████▊                                                                    | 36/63 [07:51<05:54, 13.15s/it]
 59%|█████████████████████████████████████████████████████████████████████████████████████████████▍                                                                 | 37/63 [08:04<05:42, 13.16s/it]
 60%|███████████████████████████████████████████████████████████████████████████████████████████████▉                                                               | 38/63 [08:17<05:28, 13.15s/it]
 62%|██████████████████████████████████████████████████████████████████████████████████████████████████▍                                                            | 39/63 [08:30<05:15, 13.16s/it]
 63%|████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                          | 40/63 [08:43<05:02, 13.17s/it]
                                                                                                                                                                                                    
{'loss': 0.1938, 'grad_norm': 0.4452803134918213, 'learning_rate': 5.658858846444006e-05, 'memory/max_active (GiB)': 57.73, 'memory/max_allocated (GiB)': 57.73, 'memory/device_reserved (GiB)': 66.98, 'tokens_per_second_per_gpu': 725.05, 'epoch': 1.85}

 63%|████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                          | 40/63 [08:43<05:02, 13.17s/it]
 65%|███████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                       | 41/63 [08:56<04:49, 13.16s/it]
 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████                                                     | 42/63 [09:10<04:36, 13.16s/it]
 68%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                  | 43/63 [09:23<04:23, 13.16s/it]
 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                | 44/63 [09:26<03:14, 10.26s/it]
 71%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                             | 45/63 [09:43<03:38, 12.13s/it]
                                                                                                                                                                                                    
{'loss': 0.1849, 'grad_norm': 0.2797813415527344, 'learning_rate': 3.750000000000001e-05, 'memory/max_active (GiB)': 57.73, 'memory/max_allocated (GiB)': 57.73, 'memory/device_reserved (GiB)': 66.98, 'tokens_per_second_per_gpu': 607.58, 'epoch': 2.05}

 71%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                             | 45/63 [09:43<03:38, 12.13s/it]
 73%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                           | 46/63 [09:56<03:31, 12.44s/it]
 75%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                        | 47/63 [10:09<03:22, 12.66s/it]
 76%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                     | 48/63 [10:22<03:12, 12.80s/it]
 78%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                   | 49/63 [10:35<03:00, 12.92s/it]
 79%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                | 50/63 [10:49<02:48, 12.99s/it]
                                                                                                                                                                                                    
{'loss': 0.1819, 'grad_norm': 0.36559921503067017, 'learning_rate': 2.1241311512366167e-05, 'memory/max_active (GiB)': 57.73, 'memory/max_allocated (GiB)': 57.73, 'memory/device_reserved (GiB)': 66.98, 'tokens_per_second_per_gpu': 730.88, 'epoch': 2.28}

 79%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                | 50/63 [10:49<02:48, 12.99s/it][2026-03-29 17:19:50,790] [INFO] [axolotl.core.trainers.base._save:671] [PID:1870] Saving model checkpoint to ./outputs/defender-judge/checkpoint-50
[2026-03-29 17:19:53,187] [WARNING] [py.warnings._showwarnmsg:110] [PID:1870] /root/miniconda3/envs/py3.11/lib/python3.11/site-packages/bitsandbytes/autograd/_functions.py:186: UserWarning: MatMul8bitLt: inputs will be cast from torch.bfloat16 to float16 during quantization
  warnings.warn(f"MatMul8bitLt: inputs will be cast from {A.dtype} to float16 during quantization")


 81%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                              | 51/63 [11:04<02:45, 13.77s/it]
 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                           | 52/63 [11:17<02:29, 13.59s/it]
 84%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                         | 53/63 [11:31<02:14, 13.47s/it]
 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                      | 54/63 [11:44<02:00, 13.37s/it]
 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                    | 55/63 [11:57<01:46, 13.30s/it]
                                                                                                                                                                                                    
{'loss': 0.1818, 'grad_norm': 0.2546774744987488, 'learning_rate': 9.039468659513327e-06, 'memory/max_active (GiB)': 57.73, 'memory/max_allocated (GiB)': 57.73, 'memory/device_reserved (GiB)': 66.98, 'tokens_per_second_per_gpu': 729.82, 'epoch': 2.52}

 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                    | 55/63 [11:57<01:46, 13.30s/it]
 89%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                 | 56/63 [12:10<01:32, 13.26s/it]
 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊               | 57/63 [12:23<01:19, 13.22s/it]
 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍            | 58/63 [12:36<01:06, 13.21s/it]
 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉          | 59/63 [12:49<00:52, 13.19s/it]
 95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍       | 60/63 [13:03<00:39, 13.18s/it]
                                                                                                                                                                                                    
{'loss': 0.1846, 'grad_norm': 0.27984631061553955, 'learning_rate': 1.8152713029423283e-06, 'memory/max_active (GiB)': 57.73, 'memory/max_allocated (GiB)': 57.73, 'memory/device_reserved (GiB)': 66.98, 'tokens_per_second_per_gpu': 723.26, 'epoch': 2.75}

 95%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍       | 60/63 [13:03<00:39, 13.18s/it]
 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉     | 61/63 [13:16<00:26, 13.17s/it]
 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍  | 62/63 [13:29<00:13, 13.17s/it]
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 63/63 [13:42<00:00, 13.17s/it][2026-03-29 17:22:44,281] [INFO] [axolotl.core.trainers.base._save:671] [PID:1870] Saving model checkpoint to ./outputs/defender-judge/checkpoint-63

                                                                                                                                                                                                    
{'train_runtime': 825.577, 'train_samples_per_second': 1.221, 'train_steps_per_second': 0.076, 'train_loss': 0.49069616813508293, 'memory/max_active (GiB)': 57.73, 'memory/max_allocated (GiB)': 57.73, 'memory/device_reserved (GiB)': 66.98, 'epoch': 2.89}

100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 63/63 [13:45<00:00, 13.17s/it]
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 63/63 [13:45<00:00, 13.10s/it]
[2026-03-29 17:22:47,727] [INFO] [axolotl.train.save_trained_model:218] [PID:1870] Training completed! Saving trained model to ./outputs/defender-judge.
[2026-03-29 17:22:48,827] [INFO] [axolotl.train.save_trained_model:336] [PID:1870] Model successfully saved to ./outputs/defender-judge