初始化项目，由ModelHub XC社区提供模型
Model: pathcosmos/frankenstallm Source: Original Platform
This commit is contained in:
ModelHub XC
File diff suppressed because it is too large
Load Diff
@@ -0,0 +1,27 @@
|
||||
{
|
||||
"calibration": {
|
||||
"n_eval_tokens": 144802,
|
||||
"top1_accuracy": 0.6859,
|
||||
"top5_accuracy": 0.8155,
|
||||
"top10_accuracy": 0.8579,
|
||||
"mean_correct_prob": 0.6144,
|
||||
"mean_entropy": 1.5363,
|
||||
"elapsed_sec": 2.0
|
||||
},
|
||||
"token_nll": {
|
||||
"n_eval_tokens": 144802,
|
||||
"nll_mean": 1.5663,
|
||||
"nll_std": 2.5156,
|
||||
"nll_median": 0.1299,
|
||||
"nll_percentiles": {
|
||||
"p5": 0.0,
|
||||
"p25": 0.0018,
|
||||
"p75": 2.375,
|
||||
"p95": 7.0938,
|
||||
"p99": 10.4375
|
||||
},
|
||||
"high_loss_fraction_5": 0.110896,
|
||||
"high_loss_fraction_10": 0.0123,
|
||||
"elapsed_sec": 1.6
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,17 @@
|
||||
[TASK_RUNNER gpu_id=5] Starting task=calib_nll
|
||||
[TASK_RUNNER gpu_id=5] NUMA affinity set: cores 36-71
|
||||
/usr/local/lib/python3.12/dist-packages/torch/library.py:356: UserWarning: Warning only once for all operators, other operators may also be overridden.
|
||||
Overriding a previously registered kernel for the same operator and the same dispatch key
|
||||
operator: flash_attn::_flash_attn_backward(Tensor dout, Tensor q, Tensor k, Tensor v, Tensor out, Tensor softmax_lse, Tensor(a6!)? dq, Tensor(a7!)? dk, Tensor(a8!)? dv, float dropout_p, float softmax_scale, bool causal, SymInt window_size_left, SymInt window_size_right, float softcap, Tensor? alibi_slopes, bool deterministic, Tensor? rng_state=None) -> Tensor
|
||||
registered at /usr/local/lib/python3.12/dist-packages/torch/_library/custom_ops.py:922
|
||||
dispatch key: ADInplaceOrView
|
||||
previous kernel: no debug info
|
||||
new kernel: registered at /usr/local/lib/python3.12/dist-packages/torch/_library/custom_ops.py:922 (Triggered internally at /opt/pytorch/pytorch/aten/src/ATen/core/dispatch/OperatorEntry.cpp:208.)
|
||||
self.m.impl(
|
||||
[CALIB cuda:0] Loading model...
|
||||
[CALIB cuda:0] Using 50,000 tokens from 3b_val.bin
|
||||
[CALIB cuda:0] DONE top1=0.6859, top5=0.8155, top10=0.8579, entropy=1.5363, 2.0s
|
||||
[NLL cuda:0] Loading model...
|
||||
[NLL cuda:0] Using 50,000 tokens from 3b_val.bin
|
||||
[NLL cuda:0] DONE n=144,802, mean=1.5663, std=2.5156, median=0.1299, high_loss(>5)=11.09%, high_loss(>10)=1.23%, 1.6s
|
||||
[TASK_RUNNER gpu_id=5] Done. Result saved to /PROJECT/0325120031_A/ghong/taketimes/llm-bang/eval/outputs/3b_sft_eval_20260306_1536/phase1_calib_nll_gpu5.json
|
||||
@@ -0,0 +1,804 @@
|
||||
{
|
||||
"summary": {
|
||||
"total_generations": 60,
|
||||
"n_prompts": 15,
|
||||
"temperatures": [
|
||||
0.0,
|
||||
0.5,
|
||||
0.8,
|
||||
1.0
|
||||
],
|
||||
"greedy_avg_1gram_rep": 0.8085,
|
||||
"greedy_avg_2gram_rep": 0.76,
|
||||
"greedy_avg_3gram_rep": 0.7297,
|
||||
"greedy_avg_4gram_rep": 0.7183,
|
||||
"greedy_eos_rate": 0.6,
|
||||
"greedy_avg_tokens": 192.1,
|
||||
"sampled_avg_3gram_rep": 0.2272,
|
||||
"sampled_eos_rate": 0.7333,
|
||||
"sampled_avg_tokens": 132.3,
|
||||
"elapsed_sec": 82.2
|
||||
},
|
||||
"samples": [
|
||||
{
|
||||
"prompt": "대한민국의 수도는",
|
||||
"chat_template": true,
|
||||
"effective_prompt": "<|user|>\n대한민국의 수도는\n<|assistant|>\n",
|
||||
"temperature": 0.0,
|
||||
"generated_tokens": 20,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.5,
|
||||
"2gram_rep": 0.2222,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0,
|
||||
"text": "대한민국의 수도는 서울특별시입니다. 대한민국의 수도는 서울이며, 대한민국의 수도는 대한민국의 수도입니다."
|
||||
},
|
||||
{
|
||||
"prompt": "대한민국의 수도는",
|
||||
"chat_template": true,
|
||||
"effective_prompt": "<|user|>\n대한민국의 수도는\n<|assistant|>\n",
|
||||
"temperature": 0.5,
|
||||
"generated_tokens": 25,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.6667,
|
||||
"2gram_rep": 0.5455,
|
||||
"3gram_rep": 0.4,
|
||||
"4gram_rep": 0.2222,
|
||||
"text": "대한민국의 수도는 서울특별시입니다. 대한민국의 수도는 서울특별시입니다. 대한민국의 수도는 서울이며, 대한민국의 수도는 서울특별시입니다."
|
||||
},
|
||||
{
|
||||
"prompt": "대한민국의 수도는",
|
||||
"chat_template": true,
|
||||
"effective_prompt": "<|user|>\n대한민국의 수도는\n<|assistant|>\n",
|
||||
"temperature": 0.8,
|
||||
"generated_tokens": 63,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.0909,
|
||||
"2gram_rep": 0.0312,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0,
|
||||
"text": "대한민국은 1949년 10월 1일, 대한민국 헌법이 공포되고, 9월 17일에 수도를 서울에 두기로 결정했습니다. 수도를 옮긴 도시는 서울을 중심으로 한 여러 도시였습니다. 수도를 옮긴 후 서울은 급속도로 발전하여 1970년대에는 대한민국의 경제, 문화의 중심지로 자리매김했습니다."
|
||||
},
|
||||
{
|
||||
"prompt": "대한민국의 수도는",
|
||||
"chat_template": true,
|
||||
"effective_prompt": "<|user|>\n대한민국의 수도는\n<|assistant|>\n",
|
||||
"temperature": 1.0,
|
||||
"generated_tokens": 63,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.0811,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0,
|
||||
"text": "대한민국의 수도는 서울특별시입니다. 대한민국은 면적 342,051km2로 세계에서 가장 넓은 국가입니다. 이 수도는 한국 전쟁 이후 수도로 사용되었고 대한민국 건국 이후 대한민국이라는 국호로 사용되었습니다. 현재 대한민국은 서울 공화국으로 불리고 있으며 이는 정부가 너무 많은 권력을 소유하고 있기 때문입니다."
|
||||
},
|
||||
{
|
||||
"prompt": "인공지능이란",
|
||||
"chat_template": true,
|
||||
"effective_prompt": "<|user|>\n인공지능이란\n<|assistant|>\n",
|
||||
"temperature": 0.0,
|
||||
"generated_tokens": 189,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.8443,
|
||||
"2gram_rep": 0.8264,
|
||||
"3gram_rep": 0.825,
|
||||
"4gram_rep": 0.8235,
|
||||
"text": "인공지능은 인공지능의 한 분야로, 인간의 지능을 모방하여 스스로 학습하고 학습하여 새로운 지식을 창출하는 것을 목표로 하는 컴퓨터 과학의 한 분야입니다. 인공지능은 인간의 지능을 모방하여 스스로 학습하고 학습하여 새로운 지식을 창출하는 것을 목표로 하는 컴퓨터 과학의 한 분야입니다. 인공지능은 인간의 지능을 모방하여 스스로 학습하고 학습하여 새로운 지식을 창출하는 것을 목표로 하는 컴퓨터 과학의 한 분야입니다. 인공지능은 인간의 지능을 모방하여 스스로 학습하고 학습하여 새로운 지식을 창출하는 것을 목표로 하는 컴퓨터 과학의 한 분야입니다. 인공지능은 인간의 지능을 모방하여 스스로 학습하고 학습하여 새로운 지식을 창출하는 것을 목표로 하는 컴퓨터 과학의 한 분야입니다. 인공지능은 인간의 지능을 모방하여 스스로 학습하고 학습하여 새로운 지식을 창출하는 것을 목표로 하는 컴퓨터 과학의 한 분야입니다. 인공지능은 인간의 지능을 모방하여 스스로 학습하고 학습하여 새로운 지식을 창출하는 것을 "
|
||||
},
|
||||
{
|
||||
"prompt": "인공지능이란",
|
||||
"chat_template": true,
|
||||
"effective_prompt": "<|user|>\n인공지능이란\n<|assistant|>\n",
|
||||
"temperature": 0.5,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.8352,
|
||||
"2gram_rep": 0.8,
|
||||
"3gram_rep": 0.7816,
|
||||
"4gram_rep": 0.7746,
|
||||
"text": "인공지능은 인공지능의 한 분야로, 인공지능의 한 분야로 볼 수 있습니다. 인공지능은 인간의 지능을 모방하여 스스로 학습하고, 추론하며, 문제를 해결하는 컴퓨터 과학의 한 분야입니다. 인공지능은 컴퓨터를 이용하여 인간과 같은 방식으로 사고하고 문제를 해결하는 데 도움을 주는 시스템입니다. 인공지능은 스스로 학습하고, 추론하며, 문제를 해결하는 컴퓨터 과학의 한 분야입니다. 인공지능은 컴퓨터를 이용하여 인간과 같은 방식으로 사고하고 문제를 해결하는 데 도움을 주는 시스템입니다. 인공지능은 컴퓨터를 이용하여 인간과 같은 방식으로 사고하고 문제를 해결하는 데 도움을 주는 시스템입니다. 인공지능은 컴퓨터를 이용하여 인간과 같은 방식으로 사고하고 문제를 해결하는 데 도움을 주는 시스템입니다. 인공지능은 컴퓨터를 이용하여 인간과 같은 방식으로 사고하고 문제를 해결하는 데 도움을 주는 시스템입니다. 인공지능은 컴퓨터를 이용하여 인간과 같은 방식으로 사고하고 문제를 해결하는 데 도움을 주는 시스템입"
|
||||
},
|
||||
{
|
||||
"prompt": "인공지능이란",
|
||||
"chat_template": true,
|
||||
"effective_prompt": "<|user|>\n인공지능이란\n<|assistant|>\n",
|
||||
"temperature": 0.8,
|
||||
"generated_tokens": 94,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.2097,
|
||||
"2gram_rep": 0.0328,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0,
|
||||
"text": "인공지능이란, 인공지능의 한 분야로 인간의 두뇌와 같은 구조를 지닌 기계를 말합니다. 인공지능은 기존의 기술들과는 다르게 복잡한 문제를 스스로 해결할 수 있으며, 또한 인간의 지능을 뛰어넘을 수 있는 고도의 지능을 가진 인공지능을 말합니다. 또한, 인공지능은 인간의 사고 과정을 모방하고, 인간의 감정을 모방하며, 인간의 의사 결정을 모방할 수 있는 능력을 가지고 있습니다. 이러한 인공지능의 능력은 다양한 분야에서 활용될 수 있으며, 그 응용 분야는 무궁무진합니다."
|
||||
},
|
||||
{
|
||||
"prompt": "인공지능이란",
|
||||
"chat_template": true,
|
||||
"effective_prompt": "<|user|>\n인공지능이란\n<|assistant|>\n",
|
||||
"temperature": 1.0,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.355,
|
||||
"2gram_rep": 0.0893,
|
||||
"3gram_rep": 0.024,
|
||||
"4gram_rep": 0.006,
|
||||
"text": "인공 지능이란 용어는 사람과 같은 지능을 가진 기계가 인간 두뇌를 모방하여 학습하고 복잡한 문제 해결을 할 수 있는 능력을 의미합니다. 이 용어는 1980년대 처음 언급되었으며, 2000년대 초 컴퓨터 과학과 공학에 획기적인 돌파구를 제공하기 위해 등장했습니다. 이러한 변화는 인공 지능 개발을 위한 많은 혁신을 가져왔으며, 이는 컴퓨터 과학 분야에서의 빠른 발전의 토대를 제공했습니다.인공 지능의 발전은 컴퓨터 과학 분야의 여러 연구에서 새로운 진전을 가져왔습니다. 이러한 진보는 인공 지능 기술이 빠르게 발전할 수 있도록 하는 많은 기회를 제공했으며, 이는 인공 지능 연구가 그 중요성을 입증하고 그 범위를 넓힐 수 있도록 했습니다. 또한, 인공 지능과 컴퓨터 과학 분야의 발전은 인공지능 기술의 빠른 발전의 원동력이 됐으며, 이를 사용하여 미래의 인공지능과 관련된 문제를 해결할 수 있는 능력을 개발하고 있습니다.인공 지능의 개발은 광범위한 문제 해결을 가능하게 하는 다양한 혁신을 가져왔"
|
||||
},
|
||||
{
|
||||
"prompt": "한국의 전통 음식 중에서",
|
||||
"chat_template": true,
|
||||
"effective_prompt": "<|user|>\n한국의 전통 음식 중에서\n<|assistant|>\n",
|
||||
"temperature": 0.0,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.8649,
|
||||
"2gram_rep": 0.8435,
|
||||
"3gram_rep": 0.8356,
|
||||
"4gram_rep": 0.8276,
|
||||
"text": "한국의 전통 음식 중에서김치는 한국의 대표적인 발효 음식으로, 김치를 담그는 방법과 김치를 담글 때 사용하는 재료에 따라 다양한 종류가 있습니다. 김치는 한국의 대표적인 발효 음식으로, 김치를 담그는 방법과 김치를 담글 때 사용하는 재료에 따라 다양한 종류가 있습니다.김치는 한국의 대표적인 발효 음식으로, 김치를 담그는 방법과 김치를 담글 때 사용하는 재료에 따라 다양한 종류가 있습니다. 김치는 한국의 대표적인 발효 음식으로, 김치를 담그는 방법과 김치를 담글 때 사용하는 재료에 따라 다양한 종류가 있습니다.김치는 한국의 대표적인 발효 음식으로, 김치를 담그는 방법과 김치를 담글 때 사용하는 재료에 따라 다양한 종류가 있습니다. 김치는 한국의 대표적인 발효 음식으로, 김치를 담그는 방법과 김치를 담글 때 사용하는 재료에 따라 다양한 종류가 있습니다.김치는 한국의 대표적인 발효 음식으로, 김치를 담그는 방법과 김치를 담글 때 사용하는 재료에 따라 다양한 종류가 있습니다. 김치는 한국의"
|
||||
},
|
||||
{
|
||||
"prompt": "한국의 전통 음식 중에서",
|
||||
"chat_template": true,
|
||||
"effective_prompt": "<|user|>\n한국의 전통 음식 중에서\n<|assistant|>\n",
|
||||
"temperature": 0.5,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.7579,
|
||||
"2gram_rep": 0.7128,
|
||||
"3gram_rep": 0.6882,
|
||||
"4gram_rep": 0.6739,
|
||||
"text": "한국의 전통 음식 중 하나인 만두는 밀가루 반죽을 얇게 밀어서 만든 만두와 밀가루를 반죽하여 얇게 펴서 만든 만두로 나눌 수 있습니다.만두의 종류로는 만두, 찐만두, 물만두, 찐만두, 만두, 찐만두, 물만두, 찐만두, 물만두, 물만두, 물만두, 물만두, 물만두, 물만두, 물만두, 물만두, 물만두, 물만두, 물만두, 물만두, 물만두, 물만두, 물만두, 물만두, 물만두, 물만두, 물만두, 물만두, 물만두, 물만두, 물만두, 물만두, 물만두, 물만두, 물만두, 물만두, 물만두, 물만두, 물만두, 물만두, 물만두, 물만두, 물만두, 물만두, 물만두, 물만두, 물만두, 물만두, 물만두, 물만두, 물만두, 물만두, 물만두, 물만두, 물만두, 물만두, 물만두, 물만두, 물만두, 물만두, 물만두, 물만두, 물만두, 물만두, 물만두, 물만두, 물만두, 물만두, 물만두, 물만두, 물만두, 물만두, 물만두,"
|
||||
},
|
||||
{
|
||||
"prompt": "한국의 전통 음식 중에서",
|
||||
"chat_template": true,
|
||||
"effective_prompt": "<|user|>\n한국의 전통 음식 중에서\n<|assistant|>\n",
|
||||
"temperature": 0.8,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.6821,
|
||||
"2gram_rep": 0.5133,
|
||||
"3gram_rep": 0.3826,
|
||||
"4gram_rep": 0.2838,
|
||||
"text": "한국의 전통 음식에는 다양한 종류가 있으며, 다양한 재료로 만들어집니다. 한국의 전통 음식 중 일부는 다음과 같습니다:1. 김치김치는 한국 전통 음식의 중요한 부분을 차지하고 있습니다. 김치는 한국의 독특한 음식이며, 다양한 종류의 재료로 만들어집니다. 김치는 일반적으로 한국인이 좋아하는 다양한 재료를 사용하여 만든 음식입니다. 김치는 한국의 전통 음식 중 하나이지만, 다양한 재료로 만들어집니다. 김치는 한국 요리의 중요한 부분이며, 한국인의 일상 식단에서 중요한 역할을 합니다.2. 비빔밥비빔밥은 한국의 전통 음식 중 하나입니다. 비빔밥은 한국의 독특한 음식이며, 다양한 재료로 만들어집니다. 비빔밥은 일반적으로 한국인이 좋아하는 다양한 재료를 사용하여 만든 음식입니다. 비빔밥은 한국의 전통 음식 중 하나이지만, 다양한 재료로 만들어집니다. 비빔밥은 한국의 전통 음식 중 하나이지만, 다양한 재료로 만들어집니다.3. 만두만두는 한국의 전통 음식 중 하나입니다. 만두는 한국의 독특한 음식"
|
||||
},
|
||||
{
|
||||
"prompt": "한국의 전통 음식 중에서",
|
||||
"chat_template": true,
|
||||
"effective_prompt": "<|user|>\n한국의 전통 음식 중에서\n<|assistant|>\n",
|
||||
"temperature": 1.0,
|
||||
"generated_tokens": 124,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.2073,
|
||||
"2gram_rep": 0.0617,
|
||||
"3gram_rep": 0.0125,
|
||||
"4gram_rep": 0.0,
|
||||
"text": "한국 음식 중에 \"김치\"라는 것은 한국 사람들이 가장 좋아하는 음식 중 하나입니다. 김치는 한국의 대표적인 음식 중 하나이며, 김치를 담그는 것은 한국인의 삶과 밀접한 관계가 있습니다. 김치는 영양분이 많고 맛이 좋으며, 소화 흡수도 잘 되고 영양가도 높아 건강에 좋은 음식으로 알려져 있습니다. 김치는 다른 아시아 음식보다 소화가 잘 되고, 더 많은 영양분을 제공합니다. 김치는 한국인이 좋아하는 음식 중 하나로, 세계 여러 나라로 수출되어 한국의 맛과 문화를 전하는 중요한 역할을 하고 있습니다. 김치는 한국인에게 사랑받고 있으며, 한국에 대한 사랑과 관심을 보여주는 좋은 예입니다."
|
||||
},
|
||||
{
|
||||
"prompt": "지구 온난화의 주요 원인은",
|
||||
"chat_template": true,
|
||||
"effective_prompt": "<|user|>\n지구 온난화의 주요 원인은\n<|assistant|>\n",
|
||||
"temperature": 0.0,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.5763,
|
||||
"2gram_rep": 0.4655,
|
||||
"3gram_rep": 0.4211,
|
||||
"4gram_rep": 0.375,
|
||||
"text": "지구 온난화는 전 세계 온실가스 배출량의 증가와 지구 평균 기온 상승으로 인해 발생합니다. 이 온난화는 주로 온실가스 배출에 의해 발생합니다. 온실가스는 이산화탄소, 메탄, 아산화질소, 수소불화탄소, 육불화황, 육플루오르화탄소, 아산화질소, 수소불화탄소, 육플루오르화탄소, 육플루오르화황, 육플루오르화탄소, 아산화질소, 수소불화탄소, 육불화황, 육플루오르화탄소, 아산화질소, 수소불화탄소, 육플루오르화탄소, 아산화질소, 수소불화탄소, 육플루오르화탄소, 아산화질소, 수소불화탄소, 육플루오르화탄소, 아산화질소, 수소불화탄소, 육플루오르화탄소, 아산화질소, 수소불화탄소, 육플루오르화탄소, 아산화질소, 수소불화탄소, 육플루오르화탄소, 아산화질소, 수소불화탄소, 육플루오르화탄소, 아산화질소, 수소"
|
||||
},
|
||||
{
|
||||
"prompt": "지구 온난화의 주요 원인은",
|
||||
"chat_template": true,
|
||||
"effective_prompt": "<|user|>\n지구 온난화의 주요 원인은\n<|assistant|>\n",
|
||||
"temperature": 0.5,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.9688,
|
||||
"2gram_rep": 0.9685,
|
||||
"3gram_rep": 0.9683,
|
||||
"4gram_rep": 0.968,
|
||||
"text": "지구 온난화는 해수면 상승, 해수면 상승, 해수면 상승, 해수면 상승, 해수면 상승, 해수면 상승, 해수면 상승, 해수면 상승, 해수면 상승, 해수면 상승, 해수면 상승, 해수면 상승, 해수면 상승, 해수면 상승, 해수면 상승, 해수면 상승, 해수면 상승, 해수면 상승, 해수면 상승, 해수면 상승, 해수면 상승, 해수면 상승, 해수면 상승, 해수면 상승, 해수면 상승, 해수면 상승, 해수면 상승, 해수면 상승, 해수면 상승, 해수면 상승, 해수면 상승, 해수면 상승, 해수면 상승, 해수면 상승, 해수면 상승, 해수면 상승, 해수면 상승, 해수면 상승, 해수면 상승, 해수면 상승, 해수면 상승, 해수면 상승, 해수면 상승, 해수면 상승, 해수면 상승, 해수면 상승, 해수면 상승, 해수면 상승, 해수면 상승, 해수면 상승, 해수면 상승, 해수면 상승, 해수면 상승, 해수면 상승, 해수면 상승, 해수면 상승, 해수면 상승, 해수면 상승, 해수면 상승, 해수면 상승, 해수면 상승, 해수면 "
|
||||
},
|
||||
{
|
||||
"prompt": "지구 온난화의 주요 원인은",
|
||||
"chat_template": true,
|
||||
"effective_prompt": "<|user|>\n지구 온난화의 주요 원인은\n<|assistant|>\n",
|
||||
"temperature": 0.8,
|
||||
"generated_tokens": 91,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.1739,
|
||||
"2gram_rep": 0.0222,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0,
|
||||
"text": "지구 온난화의 주요 원인은 온실가스이며, 온실가스는 대기 중으로 이산화탄소를 배출하여 지구 온도를 상승시키는 주범입니다. 이 온실가스는 온실효과, 온실효과에 의해 지구 온도를 상승시키고 이로 인해 기상 이변이 발생합니다. 또한, 지구 온난화로 인해 지구 온도가 상승하여 해수면 상승, 빙하 생성, 생태계 교란 등 지구 온난화를 가속화하는 결과를 초래합니다."
|
||||
},
|
||||
{
|
||||
"prompt": "지구 온난화의 주요 원인은",
|
||||
"chat_template": true,
|
||||
"effective_prompt": "<|user|>\n지구 온난화의 주요 원인은\n<|assistant|>\n",
|
||||
"temperature": 1.0,
|
||||
"generated_tokens": 175,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.3089,
|
||||
"2gram_rep": 0.0492,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0,
|
||||
"text": "지구 온난화는 화석 연료, 삼림 벌채, 산업 공정, 교통, 통신 등 다양한 환경 및 사회적 영향을 일으키는 글로벌 환경 및 사회 현상입니다. 지구 온난화의 주요 원인 중 하나는 화석 연료의 무분별한 사용입니다. 이로 인해 온실 가스 배출 증가, 생물 다양성 감소, 탄소 배출 증가, 물 부족 등 수많은 환경 문제가 발생합니다. 또한, 산업 공정과 교통, 통신, 교통 등 사회 경제 시스템의 급속한 변화도 지구의 기후 시스템을 변화시키고 있습니다. 환경 오염 물질 배출, 자원 부족, 물 부족, 온실 가스 및 탄소 배출 증가 등 많은 요인이 온난화 또는 지구 온난화 현상의 원인이 됩니다. 또한 기후 변화의 원인은 더 많은 이산화탄소 배출, 더 많은 토지 및 토지 이용의 변화, 더 많은 토지의 고갈 및 기후 변화로 인한 온난화 및 기타 환경 오염을 초래할 수 있습니다."
|
||||
},
|
||||
{
|
||||
"prompt": "프로그래밍을 배우려면",
|
||||
"chat_template": true,
|
||||
"effective_prompt": "<|user|>\n프로그래밍을 배우려면\n<|assistant|>\n",
|
||||
"temperature": 0.0,
|
||||
"generated_tokens": 234,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.9225,
|
||||
"2gram_rep": 0.9078,
|
||||
"3gram_rep": 0.9,
|
||||
"4gram_rep": 0.8921,
|
||||
"text": "프로그래밍은 컴퓨터 과학의 한 분야로, 컴퓨터를 사용하여 문제를 해결하는 과정입니다. 프로그래밍은 컴퓨터를 사용하여 문제를 해결하는 과정으로, 컴퓨터를 사용하여 문제를 해결하는 과정입니다. 프로그래밍은 컴퓨터를 사용하여 문제를 해결하는 과정으로, 컴퓨터를 사용하여 문제를 해결하는 과정입니다. 프로그래밍은 컴퓨터를 사용하여 문제를 해결하는 과정으로, 컴퓨터를 사용하여 문제를 해결하는 과정입니다. 프로그래밍은 컴퓨터를 사용하여 문제를 해결하는 과정으로, 컴퓨터를 사용하여 문제를 해결하는 과정입니다. 프로그래밍은 컴퓨터를 사용하여 문제를 해결하는 과정으로, 컴퓨터를 사용하여 문제를 해결하는 과정입니다. 프로그래밍은 컴퓨터를 사용하여 문제를 해결하는 과정으로, 컴퓨터를 사용하여 문제를 해결하는 과정입니다. 프로그래밍은 컴퓨터를 사용하여 문제를 해결하는 과정으로, 컴퓨터를 사용하여 문제를 해결하는 과정입니다. 프로그래밍은 컴퓨터를 사용하여 문제를 해결하는 과정으로, 컴퓨터를 사용하여 문제를 "
|
||||
},
|
||||
{
|
||||
"prompt": "프로그래밍을 배우려면",
|
||||
"chat_template": true,
|
||||
"effective_prompt": "<|user|>\n프로그래밍을 배우려면\n<|assistant|>\n",
|
||||
"temperature": 0.5,
|
||||
"generated_tokens": 115,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.6761,
|
||||
"2gram_rep": 0.5714,
|
||||
"3gram_rep": 0.5072,
|
||||
"4gram_rep": 0.4559,
|
||||
"text": "프로그래밍은 컴퓨터 과학의 한 분야입니다. 프로그래밍은 컴퓨터 과학의 한 분야로, 데이터를 읽고, 처리하고, 조작하는 방법을 배우는 것입니다. 컴퓨터 과학의 한 분야로, 컴퓨터 프로그래밍을 사용하여 복잡한 문제를 해결하고, 데이터를 분석하고, 문제를 해결하는 방법을 배우는 것을 말합니다.프로그래밍은 컴퓨터 과학의 한 분야로, 컴퓨터 프로그래밍을 사용하여 복잡한 문제를 해결하고, 데이터를 분석하고, 문제를 해결하는 방법을 배우는 것을 말합니다. 컴퓨터 과학의 한 분야로, 컴퓨터 프로그래밍을 사용하여 복잡한 문제를 해결하고, 데이터를 분석하고, 문제를 해결하는 방법을 배우는 것을 말합니다."
|
||||
},
|
||||
{
|
||||
"prompt": "프로그래밍을 배우려면",
|
||||
"chat_template": true,
|
||||
"effective_prompt": "<|user|>\n프로그래밍을 배우려면\n<|assistant|>\n",
|
||||
"temperature": 0.8,
|
||||
"generated_tokens": 63,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.1,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0,
|
||||
"text": "프로그래밍을 배우기 전에, 당신은 기초를 이해해야합니다. 프로그래밍 언어는 특정 프로그래밍 요구 사항을 충족하도록 설계되었습니다. 예를 들어, C 또는 C++과 같은 언어를 배우면 다양한 프로그래밍 언어를 배울 수 있습니다.다음은 프로그래밍 언어의 기본 개념과 특징을 이해하는 데 도움이 되는 몇 가지 예입니다."
|
||||
},
|
||||
{
|
||||
"prompt": "프로그래밍을 배우려면",
|
||||
"chat_template": true,
|
||||
"effective_prompt": "<|user|>\n프로그래밍을 배우려면\n<|assistant|>\n",
|
||||
"temperature": 1.0,
|
||||
"generated_tokens": 55,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.075,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0,
|
||||
"text": "프로그래밍을 배울 때, 배우는 언어에 대한 기본적인 지식은 매우 중요하다. 또한, 프로그래밍에 대한 기본 지식을 가지고 있다면, 프로그래밍을 효과적으로 수행하고, 프로젝트를 효과적으로 수행하는 데 도움이 될 것이다. 다음은 프로그래밍 언어 중 하나를 배우고 싶다면, 배워야 할 몇 가지 필수 기능들이다."
|
||||
},
|
||||
{
|
||||
"prompt": "조선시대에는",
|
||||
"chat_template": true,
|
||||
"effective_prompt": "<|user|>\n조선시대에는\n<|assistant|>\n",
|
||||
"temperature": 0.0,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.896,
|
||||
"2gram_rep": 0.8895,
|
||||
"3gram_rep": 0.883,
|
||||
"4gram_rep": 0.8765,
|
||||
"text": "조선시대에는 유교를 바탕으로 한 사회 질서가 유지되어 왔습니다. 유교는 모든 사람이 지켜야 할 도리를 가르치고, 모든 사람이 지켜야 할 도리를 실천하는 것을 강조했습니다. 유교는 모든 사람이 지켜야 할 도리를 가르치고, 모든 사람이 지켜야 할 도리를 실천하는 것을 강조했습니다. 유교는 모든 사람이 지켜야 할 도리를 가르치고, 모든 사람이 지켜야 할 도리를 실천하는 것을 강조했습니다. 유교는 모든 사람이 지켜야 할 도리를 가르치고, 모든 사람이 지켜야 할 도리를 실천하는 것을 강조했습니다. 유교는 모든 사람이 지켜야 할 도리를 가르치고, 모든 사람이 지켜야 할 도리를 실천하는 것을 강조했습니다. 유교는 모든 사람이 지켜야 할 도리를 가르치고, 모든 사람이 지켜야 할 도리를 실천하는 것을 강조했습니다. 유교는 모든 사람이 지켜야 할 도리를 가르치고, 모든 사람이 지켜야 할 도리를 실천하는 것을 강조했습니다. 유교는 모든 사람이 지켜야 할 도리를 가르치고, 모든 사람이 지켜야 할 도리를 "
|
||||
},
|
||||
{
|
||||
"prompt": "조선시대에는",
|
||||
"chat_template": true,
|
||||
"effective_prompt": "<|user|>\n조선시대에는\n<|assistant|>\n",
|
||||
"temperature": 0.5,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.8125,
|
||||
"2gram_rep": 0.7762,
|
||||
"3gram_rep": 0.7606,
|
||||
"4gram_rep": 0.7518,
|
||||
"text": "조선시대의 사회는 성리학을 중심으로 하는 성리학의 사회였습니다. 성리학은 성리학의 체계에 따라 유교의 본질을 탐구하고, 이를 통해 사회를 이끌어가는 것을 목표로 하는 사상입니다. 성리학은 주자의 학설을 중심으로 하는 유교의 기본이념을 바탕으로 하고 있습니다. 성리학은 성리학의 체계에 따라 유교의 본질을 탐구하고, 이를 통해 사회를 이끌어가는 것을 목표로 하는 사상입니다. 성리학은 주자의 학설을 중심으로 하는 유교의 기본이념을 바탕으로 하고 있습니다. 성리학은 주자의 학설을 중심으로 하는 유교의 기본이념을 바탕으로 하고 있습니다. 성리학은 주자의 학설을 중심으로 하는 유교의 기본이념을 바탕으로 하고 있습니다. 성리학은 주자의 학설을 중심으로 하는 유교의 기본이념을 바탕으로 하고 있습니다. 성리학은 주자의 학설을 중심으로 하는 유교의 기본이념을 바탕으로 하고 있습니다. 성리학은 주자의 학설을 중심으로 하는 유교의 기본이념을 바탕으로 하고 있습니다. 성리학은 주자의 학설을 중심으로 하는 "
|
||||
},
|
||||
{
|
||||
"prompt": "조선시대에는",
|
||||
"chat_template": true,
|
||||
"effective_prompt": "<|user|>\n조선시대에는\n<|assistant|>\n",
|
||||
"temperature": 0.8,
|
||||
"generated_tokens": 102,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.6129,
|
||||
"2gram_rep": 0.5082,
|
||||
"3gram_rep": 0.45,
|
||||
"4gram_rep": 0.4237,
|
||||
"text": "조선시대에는 유교를 바탕으로 한 성리학이 지배적이었습니다. 이 때문에 성리학이 지배적이었던 조선 후기에는 성리학을 바탕으로 한 정치, 사회, 문화적 변화가 많이 일어났습니다. 그러나 성리학이 절대적인 진리가 아니었기 때문에, 조선 후기에도 성리학이 지배적이었습니다. 그러나 성리학이 절대적인 진리가 아니었기 때문에, 조선 후기에도 성리학이 지배적이었습니다. 조선 후기에는 성리학을 바탕으로 한 정치, 사회, 문화적 변화가 많이 일어났습니다. 그러나 성리학이 절대적인 진리가 아니었기 때문에, 조선 후기에도 성리학이 지배적이었습니다."
|
||||
},
|
||||
{
|
||||
"prompt": "조선시대에는",
|
||||
"chat_template": true,
|
||||
"effective_prompt": "<|user|>\n조선시대에는\n<|assistant|>\n",
|
||||
"temperature": 1.0,
|
||||
"generated_tokens": 147,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.2,
|
||||
"2gram_rep": 0.0562,
|
||||
"3gram_rep": 0.0227,
|
||||
"4gram_rep": 0.0115,
|
||||
"text": "조선시대는 국가의 재정이 궁핍하여 백성들이 어려운 삶을 살아야 했던 시대였습니다. 또한 조선시대는 농사를 짓는데 있어서 농가의 재정상황이 어려워 농사를 지을 수 없는 경우가 많았습니다. 그래서 농업 생산 활동을 영위하기 위해서는 토지와 곡식을 소유하고 있어야 했으며, 토지의 소유는 양반의 토지 소유와 지주의 토지 소유로 구별되었습니다. 이에 따라 토지의 소유는 토지의 소유자인 양반이 소유한 것이 아니라 토지의 경작자인 지주가 소유한 것이었습니다. 이렇게 조선시대에는 농업 생산 활동을 영위하기 위해 양반들의 소유가 아니라, 토지를 소유한 지주들이 소유한 토지가 많아졌습니다. 그래서 오늘날에도 많은 사람들이 가난하고 어렵게 생활하고 있으며, 많은 사람들이 먹고 살기 위해 일해야 했습니다."
|
||||
},
|
||||
{
|
||||
"prompt": "물리학에서 에너지란",
|
||||
"chat_template": true,
|
||||
"effective_prompt": "<|user|>\n물리학에서 에너지란\n<|assistant|>\n",
|
||||
"temperature": 0.0,
|
||||
"generated_tokens": 233,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.9397,
|
||||
"2gram_rep": 0.9217,
|
||||
"3gram_rep": 0.9035,
|
||||
"4gram_rep": 0.8938,
|
||||
"text": "에너지는 물질의 기본 단위입니다. 에너지는 물질의 기본 단위이며, 물질의 기본 단위는 원자입니다. 에너지는 물질의 기본 단위이며, 물질의 기본 단위는 원자입니다. 에너지는 물질의 기본 단위이며, 물질의 기본 단위는 원자입니다. 에너지는 물질의 기본 단위이며, 물질의 기본 단위는 원자입니다. 에너지는 물질의 기본 단위이며, 물질의 기본 단위는 원자입니다. 에너지는 물질의 기본 단위이며, 물질의 기본 단위는 원자입니다. 에너지는 물질의 기본 단위이며, 물질의 기본 단위는 원자입니다. 에너지는 물질의 기본 단위이며, 물질의 기본 단위는 원자입니다. 에너지는 물질의 기본 단위이며, 물질의 기본 단위는 원자입니다. 에너지는 물질의 기본 단위이며, 물질의 기본 단위는 원자입니다. 에너지는 물질의 기본 단위이며, 물질의 기본 단위는 원자입니다. 에너지는 물질의 기본 단위이며, 물질의 기본 단위는 원자입니다. 에너지는 물질의 기본 단위이며, 물질의 기본 단위는 원자입니다. 에너지는 물질의 기본 단"
|
||||
},
|
||||
{
|
||||
"prompt": "물리학에서 에너지란",
|
||||
"chat_template": true,
|
||||
"effective_prompt": "<|user|>\n물리학에서 에너지란\n<|assistant|>\n",
|
||||
"temperature": 0.5,
|
||||
"generated_tokens": 230,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.8115,
|
||||
"2gram_rep": 0.7686,
|
||||
"3gram_rep": 0.7417,
|
||||
"4gram_rep": 0.7227,
|
||||
"text": "에너지는 물질의 기본 단위이며, 물질의 양과 부피를 결정합니다. 에너지는 물체의 운동량, 온도, 압력, 밀도, 밀도 등 여러 가지 요인에 의해 결정됩니다. 에너지는 물질의 양, 부피, 질량, 운동량, 온도, 압력, 밀도, 밀도 등 여러 가지 요인에 의해 결정됩니다. 에너지는 물질의 양과 부피를 결정하고, 물질의 운동량, 온도, 압력, 밀도, 밀도 등 여러 가지 요인에 의해 결정됩니다. 에너지는 물질의 양과 부피를 결정하고, 물질의 운동량, 온도, 압력, 밀도, 밀도 등 여러 가지 요인에 의해 결정됩니다. 에너지는 물질의 양과 부피를 결정하고, 물질의 운동량, 온도, 압력, 밀도, 밀도 등 여러 가지 요인에 의해 결정됩니다. 에너지는 물질의 양과 부피를 결정하고, 물질의 운동량, 온도, 압력, 밀도, 밀도 등 여러 가지 요인에 의해 결정됩니다. 에너지는 물질의 양과 부피를 결정하고, 물질의 운동량, 온도, 압력, 밀도, 밀도 등 여러 가지 요인에 의해 결정됩니다."
|
||||
},
|
||||
{
|
||||
"prompt": "물리학에서 에너지란",
|
||||
"chat_template": true,
|
||||
"effective_prompt": "<|user|>\n물리학에서 에너지란\n<|assistant|>\n",
|
||||
"temperature": 0.8,
|
||||
"generated_tokens": 74,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.2,
|
||||
"2gram_rep": 0.1136,
|
||||
"3gram_rep": 0.0698,
|
||||
"4gram_rep": 0.0238,
|
||||
"text": "물리학에서 에너지는 물체의 질량, 부피, 압력, 열 등 여러 가지 특성을 측정하는 데 사용되는 척도입니다. 물리학에서는 물체가 움직이는 속도와 방향을 측정하기 위해 물체에 열과 에너지를 주입합니다. 또한 물체가 움직이는 속도와 방향을 계산하기 위해 물체의 운동을 분석합니다. 따라서 물리학에서 에너지는 물체의 운동과 방향에 대한 정보를 제공합니다."
|
||||
},
|
||||
{
|
||||
"prompt": "물리학에서 에너지란",
|
||||
"chat_template": true,
|
||||
"effective_prompt": "<|user|>\n물리학에서 에너지란\n<|assistant|>\n",
|
||||
"temperature": 1.0,
|
||||
"generated_tokens": 48,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.2,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0,
|
||||
"text": "물리학의 에너지는 주로 뉴턴의 고전역학에서 시작되며, 고전역학에서의 에너지는 뉴턴의 법칙을 따라 보존됩니다. 하지만 전자기학에서 에너지는 정전기학에서, 양자역학에서 에너지는 파동역학에서 발생합니다."
|
||||
},
|
||||
{
|
||||
"prompt": "한국어는 세계에서",
|
||||
"chat_template": true,
|
||||
"effective_prompt": "<|user|>\n한국어는 세계에서\n<|assistant|>\n",
|
||||
"temperature": 0.0,
|
||||
"generated_tokens": 180,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.9338,
|
||||
"2gram_rep": 0.9259,
|
||||
"3gram_rep": 0.9179,
|
||||
"4gram_rep": 0.9098,
|
||||
"text": "한국어는 세계에서 가장 널리 사용되는 언어 중 하나입니다. 한국어는 세계에서 가장 널리 사용되는 언어 중 하나이며, 한국어는 세계에서 가장 널리 사용되는 언어 중 하나입니다. 한국어는 세계에서 가장 널리 사용되는 언어 중 하나이며, 한국어는 세계에서 가장 널리 사용되는 언어 중 하나입니다. 한국어는 세계에서 가장 널리 사용되는 언어 중 하나이며, 한국어는 세계에서 가장 널리 사용되는 언어 중 하나입니다. 한국어는 세계에서 가장 널리 사용되는 언어 중 하나이며, 한국어는 세계에서 가장 널리 사용되는 언어 중 하나입니다. 한국어는 세계에서 가장 널리 사용되는 언어 중 하나이며, 한국어는 세계에서 가장 널리 사용되는 언어 중 하나입니다. 한국어는 세계에서 가장 널리 사용되는 언어 중 하나이며, 한국어는 세계에서 가장 널리 사용되는 언어 중 하나입니다. 한국어는 세계에서 가장 널리 사용되는 언어 중 하나이며, 한국어는 세계에서 가장 널리 사용되는 언어 중 하나입니다. 한국어는 세계에서 가장"
|
||||
},
|
||||
{
|
||||
"prompt": "한국어는 세계에서",
|
||||
"chat_template": true,
|
||||
"effective_prompt": "<|user|>\n한국어는 세계에서\n<|assistant|>\n",
|
||||
"temperature": 0.5,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.8468,
|
||||
"2gram_rep": 0.7967,
|
||||
"3gram_rep": 0.7869,
|
||||
"4gram_rep": 0.7769,
|
||||
"text": "한국어는 세계에서 가장 많은 언어입니다. 세계에서 가장 많은 언어는 중국어, 영어, 러시아어, 베트남어, 일본어, 태국어, 캄보디아어, 베트남어, 라오어, 스와힐리어, 태국어, 베트남어, 버마어, 미얀마어, 크메르어, 라오어, 일본어, 한국어, 한국어, 한국어, 한국어, 한국어, 한국어, 한국어, 한국어, 한국어, 한국어, 한국어, 한국어, 한국어, 한국어, 한국어, 한국어, 한국어, 한국어, 한국어, 한국어, 한국어, 한국어, 한국어, 한국어, 한국어, 한국어, 한국어, 한국어, 한국어, 한국어, 한국어, 한국어, 한국어, 한국어, 한국어, 한국어, 한국어, 한국어, 한국어, 한국어, 한국어, 한국어, 한국어, 한국어, 한국어, 한국어, 한국어, 한국어, 한국어, 한국어, 한국어, 한국어, 한국어, 한국어, 한국어, 한국어, 한국어, 한국어, 한국어, 한국어, 한국어, 한국어, 한국어, 한국어, 한국어, 한국어, 한국어, 한국어, 한국어, 한국어, 한국어, 한국어, 한국어, 한국어"
|
||||
},
|
||||
{
|
||||
"prompt": "한국어는 세계에서",
|
||||
"chat_template": true,
|
||||
"effective_prompt": "<|user|>\n한국어는 세계에서\n<|assistant|>\n",
|
||||
"temperature": 0.8,
|
||||
"generated_tokens": 57,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.3333,
|
||||
"2gram_rep": 0.2632,
|
||||
"3gram_rep": 0.2432,
|
||||
"4gram_rep": 0.2222,
|
||||
"text": "한국어는 세계에서 가장 중요한 언어 중 하나입니다. 한국어는 한국어를 사용하는 사람들과 소통할 수 있는 언어를 통틀어 이르는 말입니다. 다른 언어에 비해 더 넓은 범위의 언어를 가지고 있습니다. 또한, 한국어는 한국어를 사용하는 사람들과 소통할 수 있는 언어를 통틀어 이르는 말입니다."
|
||||
},
|
||||
{
|
||||
"prompt": "한국어는 세계에서",
|
||||
"chat_template": true,
|
||||
"effective_prompt": "<|user|>\n한국어는 세계에서\n<|assistant|>\n",
|
||||
"temperature": 1.0,
|
||||
"generated_tokens": 56,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.1944,
|
||||
"2gram_rep": 0.0571,
|
||||
"3gram_rep": 0.0294,
|
||||
"4gram_rep": 0.0,
|
||||
"text": "한국어로 번역이 가능한 언어의 번역 가능한 언어 중 하나입니다. 한국어를 배우기 전에 한국어를 배우기 전에 영어는 배우기에 충분히 배우기 쉽고, 중국어와 같은 다른 언어보다 배우기에 더 유리합니다. 또한, 언어 간 차이와 문화적 차이를 배우는 데도 도움이됩니다."
|
||||
},
|
||||
{
|
||||
"prompt": "경제 성장을 위해서는",
|
||||
"chat_template": true,
|
||||
"effective_prompt": "<|user|>\n경제 성장을 위해서는\n<|assistant|>\n",
|
||||
"temperature": 0.0,
|
||||
"generated_tokens": 76,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.7576,
|
||||
"2gram_rep": 0.7188,
|
||||
"3gram_rep": 0.7097,
|
||||
"4gram_rep": 0.7,
|
||||
"text": "경제 성장을 위해서는경제 성장은 경제 성장의 증가를 의미합니다.경제 성장은 경제 성장의 증가를 의미합니다.경제 성장은 경제 성장의 증가를 의미합니다.경제 성장은 경제 성장의 증가를 의미합니다.경제 성장은 경제 성장의 증가를 의미합니다.경제 성장은 경제 성장의 증가를 의미합니다."
|
||||
},
|
||||
{
|
||||
"prompt": "경제 성장을 위해서는",
|
||||
"chat_template": true,
|
||||
"effective_prompt": "<|user|>\n경제 성장을 위해서는\n<|assistant|>\n",
|
||||
"temperature": 0.5,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.9515,
|
||||
"2gram_rep": 0.951,
|
||||
"3gram_rep": 0.9505,
|
||||
"4gram_rep": 0.95,
|
||||
"text": "경제 성장을 위해서는기업가 정신을 통해기업가 정신을 통해기업가 정신을 통해기업가 정신을 통해기업가 정신을 통해기업가 정신을 통해기업가 정신을 통해기업가 정신을 통해기업가 정신을 통해기업가 정신을 통해기업가 정신을 통해기업가 정신을 통해기업가 정신을 통해기업가 정신을 통해기업가 정신을 통해기업가 정신을 통해기업가 정신을 통해기업가 정신을 통해기업가 정신을 통해기업가 정신을 통해기업가 정신을 통해기업가 정신을 통해기업가 정신을 통해기업가 정신을 통해기업가 정신을 통해기업가 정신을 통해기업가 정신을 통해기업가 정신을 통해기업가 정신을 통해기업가 정신을 통해기업가 정신을 통해기업가 정신을 통해기업가 정신을 통해기업가 정신을 통해기업가 정신을 통해기업가 정신을 통해기업가 정신을 통해기업가 정신을 통해기업가 정신을 통해기업가 정신을 통해기업가 정신을 통해기업가 정신을 통해기업가 정신을 통해기업가 정신을 통해기업가 정신을 통해기업가 정신을 통해기업가 정신을 통해기업가 정신을 통해기업가 정신을 통"
|
||||
},
|
||||
{
|
||||
"prompt": "경제 성장을 위해서는",
|
||||
"chat_template": true,
|
||||
"effective_prompt": "<|user|>\n경제 성장을 위해서는\n<|assistant|>\n",
|
||||
"temperature": 0.8,
|
||||
"generated_tokens": 63,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.175,
|
||||
"2gram_rep": 0.0256,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0,
|
||||
"text": "경제 성장의 열쇠는 생산, 소비, 투자 및 자본과 같은 경제 활동의 성장을 촉진하는 것입니다. 이를 위해서는 정부가 기업에 대한 대출을 늘리고 투자를 확대해야 합니다. 또한, 정부 지출을 늘리고 투자를 늘려야 합니다. 이를 통해 경제 성장을 촉진하고 일자리를 창출할 수 있습니다."
|
||||
},
|
||||
{
|
||||
"prompt": "경제 성장을 위해서는",
|
||||
"chat_template": true,
|
||||
"effective_prompt": "<|user|>\n경제 성장을 위해서는\n<|assistant|>\n",
|
||||
"temperature": 1.0,
|
||||
"generated_tokens": 56,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.1111,
|
||||
"2gram_rep": 0.0286,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0,
|
||||
"text": "우리는 모든 것을 통제하고 관리하며 관리할 책임이 있습니다. 이러한 책임의 가장 대표적인 예는 경제 성장이며, 경제 성장은 기업의 지속적인 성장과 기업의 지속적인 성장에 의해 촉진됩니다. 그러나 경제 성장을 위해서는 기업가의 의지, 혁신 및 개발의 노력이 필요합니다."
|
||||
},
|
||||
{
|
||||
"prompt": "우주 탐사의 역사를 보면",
|
||||
"chat_template": true,
|
||||
"effective_prompt": "<|user|>\n우주 탐사의 역사를 보면\n<|assistant|>\n",
|
||||
"temperature": 0.0,
|
||||
"generated_tokens": 166,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.7946,
|
||||
"2gram_rep": 0.7568,
|
||||
"3gram_rep": 0.7455,
|
||||
"4gram_rep": 0.7339,
|
||||
"text": "우주 탐사는 우주 탐사의 역사 중 가장 오래된 것으로, 우주의 기원과 진화를 탐구하는 것을 목표로 합니다. 우주 탐사는 우주에 대한 인간의 호기심을 자극하고, 우주의 신비를 탐구하며, 우주의 기원을 탐구하는 것을 목표로 합니다. 우주 탐사는 우주 탐사의 역사 중 가장 오래된 것으로, 우주의 기원과 진화를 탐구하는 것을 목표로 합니다. 우주 탐사는 우주 탐사의 역사 중 가장 오래된 것으로, 우주의 기원과 진화를 탐구하는 것을 목표로 합니다. 우주 탐사는 우주 탐사의 역사 중 가장 오래된 것으로, 우주의 기원과 진화를 탐구하는 것을 목표로 합니다. 우주 탐사는 우주 탐사의 역사 중 가장 오래된 것으로, 우주의 기원과 진화를 탐구하는 것을 목표로 합니다. 우주 탐사는 우주 탐사의 역사 중 가장 오래된 것으로, 우주의 기원과 진화를 탐구하는 것을 목표로 합니다."
|
||||
},
|
||||
{
|
||||
"prompt": "우주 탐사의 역사를 보면",
|
||||
"chat_template": true,
|
||||
"effective_prompt": "<|user|>\n우주 탐사의 역사를 보면\n<|assistant|>\n",
|
||||
"temperature": 0.5,
|
||||
"generated_tokens": 91,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.377,
|
||||
"2gram_rep": 0.2167,
|
||||
"3gram_rep": 0.1186,
|
||||
"4gram_rep": 0.069,
|
||||
"text": "우주 탐사는 우주 탐사의 역사 중 가장 오래된 것으로, 우주의 기원과 진화를 탐구하는 것을 그 목적으로 합니다. 우주 탐사는 우주가 어떻게 생성되고 진화했는지, 그리고 우주의 진화를 어떻게 설명하는지 이해하는 데 중요한 역할을 합니다. 우주 탐사는 우주의 기원과 진화에 대한 이해를 증진하고, 우주의 진화를 더 잘 이해할 수 있도록 돕습니다. 또한, 우주 탐사는 우주가 어떻게 생성되고 진화했는지 이해하는 데 중요한 역할을 합니다."
|
||||
},
|
||||
{
|
||||
"prompt": "우주 탐사의 역사를 보면",
|
||||
"chat_template": true,
|
||||
"effective_prompt": "<|user|>\n우주 탐사의 역사를 보면\n<|assistant|>\n",
|
||||
"temperature": 0.8,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.5472,
|
||||
"2gram_rep": 0.3734,
|
||||
"3gram_rep": 0.2866,
|
||||
"4gram_rep": 0.2308,
|
||||
"text": "우주 탐사는 우주 비행을 통해 우주 공간의 다양한 천체 및 생명체를 발견하거나 탐사하는 것을 목적으로 하는 과학의 한 분야입니다. 또한, 우주 탐사는 우주 공간의 다양한 천체 및 생명체를 발견하는 것을 목표로 하는 과학의 한 분야입니다. 우주 탐사는 크게 다음의 두 가지 주요 단계로 나니다.1. 우주 탐사선2. 우주선우주 탐사는 우주선이 우주 공간을 비행하면서 발생하는 다양한 현상을 관측하고 해석하는 데 초점을 맞춥니다. 또한, 우주 탐사는 천체 및 생명체를 발견하는 것을 목표로 하는 과학의 한 분야입니다.우주 탐사선은 보통 우주 공간을 비행하며, 다양한 천체를 관측합니다. 이는 우주의 다양한 천체 및 생명체를 발견하는 데 중요한 역할을 합니다. 또한, 우주 탐사선은 천체 및 생명체를 관측하는 과정에서 발생하는 여러 현상을 관측하고 해석하는 데도 중요한 역할을 합니다.우주 탐사선은 일반적으로 탐사선이 궤도에 진입한 후, 우주 공간으로 진입합니다. 이를 통해 탐사선이 우주 공간을 탐사"
|
||||
},
|
||||
{
|
||||
"prompt": "우주 탐사의 역사를 보면",
|
||||
"chat_template": true,
|
||||
"effective_prompt": "<|user|>\n우주 탐사의 역사를 보면\n<|assistant|>\n",
|
||||
"temperature": 1.0,
|
||||
"generated_tokens": 76,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.087,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0,
|
||||
"text": "1769년 미국의 천문학자 허블이 최초로 우주에 대한 연구를 시작했습니다. 허블의 연구는 뉴턴의 운동 법칙과 중력 이론을 결합한 우주론의 기본 틀을 제공했습니다. 이 연구는 망원경이 발명되면서 본격화되었으며, 이를 통해 우주의 비밀이 속속히 밝혀졌습니다. 이러한 연구를 통해 천문학은 더욱 발전해 우주의 비밀을 풀어내는 데 핵심적인 역할을 하게 되었습니다."
|
||||
},
|
||||
{
|
||||
"prompt": "머신러닝과 딥러닝의 차이는",
|
||||
"chat_template": true,
|
||||
"effective_prompt": "<|user|>\n머신러닝과 딥러닝의 차이는\n<|assistant|>\n",
|
||||
"temperature": 0.0,
|
||||
"generated_tokens": 87,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.6,
|
||||
"2gram_rep": 0.5227,
|
||||
"3gram_rep": 0.4651,
|
||||
"4gram_rep": 0.4524,
|
||||
"text": "머신러닝과 딥러닝은 서로 다른 개념이며, 두 가지 모두 데이터로부터 학습하고, 데이터를 기반으로 학습하며, 데이터를 기반으로 학습하는 것을 목표로 합니다. 머신러닝은 데이터로부터 학습하고, 딥러닝은 데이터를 기반으로 학습하며, 데이터를 기반으로 학습하는 것을 목표로 합니다. 머신러닝은 데이터로부터 학습하고, 딥러닝은 데이터를 기반으로 학습하며, 데이터를 기반으로 학습하는 것을 목표로 합니다."
|
||||
},
|
||||
{
|
||||
"prompt": "머신러닝과 딥러닝의 차이는",
|
||||
"chat_template": true,
|
||||
"effective_prompt": "<|user|>\n머신러닝과 딥러닝의 차이는\n<|assistant|>\n",
|
||||
"temperature": 0.5,
|
||||
"generated_tokens": 41,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.3333,
|
||||
"2gram_rep": 0.15,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0,
|
||||
"text": "머신러닝은 컴퓨터가 데이터를 분석하고 학습하여 새로운 패턴을 발견하는 것을 의미합니다. 딥러닝은 컴퓨터가 데이터를 학습하고, 패턴을 발견하며, 새로운 패턴을 생성하는 것을 의미합니다."
|
||||
},
|
||||
{
|
||||
"prompt": "머신러닝과 딥러닝의 차이는",
|
||||
"chat_template": true,
|
||||
"effective_prompt": "<|user|>\n머신러닝과 딥러닝의 차이는\n<|assistant|>\n",
|
||||
"temperature": 0.8,
|
||||
"generated_tokens": 228,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.4127,
|
||||
"2gram_rep": 0.264,
|
||||
"3gram_rep": 0.2258,
|
||||
"4gram_rep": 0.2033,
|
||||
"text": "머신러닝과 딥러닝은 인공지능의 한 갈래로, 빅데이터 처리, 기계학습 알고리즘, 데이터 분석, 시각화 및 데이터 시각화, 자연어 처리와 같은 광범위한 분야에 활용됩니다. 두 가지의 차이점은 데이터 분석에서 머신러닝이 더 큰 데이터 세트를 더 잘 분석하는 데 도움이 된다는 점입니다.머신러닝은 빅데이터를 처리하고, 데이터를 분석하여 패턴을 찾아, 새로운 패턴을 감지하고, 새로운 패턴을 예측합니다. 머신러닝은 데이터의 본질을 이해하고, 패턴을 식별하며, 이를 기반으로 새로운 알고리즘을 개발하여 새로운 통찰력을 얻는 데 중점을 둡니다.딥러닝은 데이터의 패턴과 패턴을 분석하는 데 사용되는 비지도 학습 알고리즘입니다. 딥러닝은 인공지능의 한 갈래로, 데이터의 본질을 이해하고, 패턴을 식별하며, 이를 기반으로 새로운 알고리즘을 개발하여 새로운 통찰력을 얻는 데 중점을 둡니다.두 가지의 차이점은 데이터 분석에서 머신러닝이 더 큰 데이터 세트를 더 잘 분석하는 데 도움이 된다는 점입니다. 이러한 차이"
|
||||
},
|
||||
{
|
||||
"prompt": "머신러닝과 딥러닝의 차이는",
|
||||
"chat_template": true,
|
||||
"effective_prompt": "<|user|>\n머신러닝과 딥러닝의 차이는\n<|assistant|>\n",
|
||||
"temperature": 1.0,
|
||||
"generated_tokens": 56,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.1818,
|
||||
"2gram_rep": 0.125,
|
||||
"3gram_rep": 0.0645,
|
||||
"4gram_rep": 0.0,
|
||||
"text": "머신러닝과 딥러닝의 차이점은 딥러닝은 훈련 데이터에서 얻은 통찰력을 바탕으로 새로운 것을 학습하는 반면, 머신러닝은 훈련 데이터에서 얻은 인사이트를 바탕으로 새로운 것을 학습합니다. 이러한 차이를 이해하기 위해 몇 가지 기본적인 이론을 고려할 수 있습니다."
|
||||
},
|
||||
{
|
||||
"prompt": "한국 문학의 대표적인 작품으로는",
|
||||
"chat_template": true,
|
||||
"effective_prompt": "<|user|>\n한국 문학의 대표적인 작품으로는\n<|assistant|>\n",
|
||||
"temperature": 0.0,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.8663,
|
||||
"2gram_rep": 0.8507,
|
||||
"3gram_rep": 0.835,
|
||||
"4gram_rep": 0.8241,
|
||||
"text": "한국 문학의 대표적인 작품으로는 <장화홍련전>과 <홍길동전>이 있습니다. 이 두 작품은 모두 임진왜란 때 일어난 임진왜란을 배경으로 하고 있습니다. 이 두 작품은 모두 임진왜란을 배경으로 하고 있지만, 그 당시 조선이 처한 상황과 그 당시 사람들의 삶을 잘 보여주고 있습니다. 이 두 작품은 모두 임진왜란을 배경으로 하고 있지만, 그 당시 조선이 처한 상황과 그 당시 사람들의 삶을 잘 보여주고 있습니다. 이 두 작품은 모두 임진왜란을 배경으로 하고 있지만, 그 당시 조선이 처한 상황과 그 당시 사람들의 삶을 잘 보여주고 있습니다. 이 두 작품은 모두 임진왜란을 배경으로 하고 있지만, 그 당시 조선이 처한 상황과 그 당시 사람들의 삶을 잘 보여주고 있습니다. 이 두 작품은 모두 임진왜란을 배경으로 하고 있지만, 그 당시 조선이 처한 상황과 그 당시 사람들의 삶을 잘 보여주고 있습니다. 이 두 작품은 모두 임진왜란을 배경으로 하고 있지만, 그 당시 조선이 처한 상황과 그 당시 사람들의 삶"
|
||||
},
|
||||
{
|
||||
"prompt": "한국 문학의 대표적인 작품으로는",
|
||||
"chat_template": true,
|
||||
"effective_prompt": "<|user|>\n한국 문학의 대표적인 작품으로는\n<|assistant|>\n",
|
||||
"temperature": 0.5,
|
||||
"generated_tokens": 53,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.0357,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0,
|
||||
"text": "한국 문학의 대표적인 작품으로는 <난장이가 쏘아올린 작은 공>, <소나기>, <별> 등이 있습니다. 이 작품들은 우리 민족의 삶과 의식을 담고 있으며, 문학적 성취와 더불어 민족의 자긍심을 고취시키는 역할을 합니다."
|
||||
},
|
||||
{
|
||||
"prompt": "한국 문학의 대표적인 작품으로는",
|
||||
"chat_template": true,
|
||||
"effective_prompt": "<|user|>\n한국 문학의 대표적인 작품으로는\n<|assistant|>\n",
|
||||
"temperature": 0.8,
|
||||
"generated_tokens": 101,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.0833,
|
||||
"2gram_rep": 0.0169,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0,
|
||||
"text": "한국 문학의 대표적인 작품으로는 <무궁화 꽃이 피었습니다>가 있습니다. 이 작품은 일제강점기의 시대상을 반영하여 식민지 조선의 민족적 모순과 고통을 묘사한 작품으로, 주인공 '나'는 일제강점기에 일본 유학을 다녀온 후, 민족의식이 투철한 조선 청년으로 성장합니다. 이 작품은 식민지 조선에 대한 깊은 애정을 바탕으로 민족의식과 애국정신을 고취시키는 작품으로, 이 작품을 통해 일제 강점기의 암울한 현실을 극복하고 새로운 희망의 미래를 모색할 수 있는 계기를 마련했습니다."
|
||||
},
|
||||
{
|
||||
"prompt": "한국 문학의 대표적인 작품으로는",
|
||||
"chat_template": true,
|
||||
"effective_prompt": "<|user|>\n한국 문학의 대표적인 작품으로는\n<|assistant|>\n",
|
||||
"temperature": 1.0,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.0769,
|
||||
"2gram_rep": 0.0156,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0,
|
||||
"text": "한국 문학의 대표적인 작품은 다음과 같습니다:* 김동리, 「새야 새야」, 「비 내리는 호남선」* 서정주, 「동천」, 「인생은 새야」* 박화성, 「만월」* 이문열, 「새털구름」* 박목월, 「엄마의 말뚝」* 최서해, 「만추」, 「봄이 온다」* 이청준, 「풍선처럼 날아」, 「북극성」* 정지용, 「비 오는 날」, 「국경의 밤」* 김유정, 「봄봄」* 박경리, 「토지」* 김원일, 「풍랑」* 황석영, 「태백산맥」* 나운규, 「아리랑」* 이태준, 「광화문」* 이효석, 「메밀꽃 필 무렵」* 현진건, 「무영탑」* 황순원, 「흑장미」* 박경리, 「토지」* 윤흥길, 「장마」* 이청준, 「눈보라」* 최서해, 「아리랑」"
|
||||
},
|
||||
{
|
||||
"prompt": "양자 컴퓨터란",
|
||||
"chat_template": true,
|
||||
"effective_prompt": "<|user|>\n양자 컴퓨터란\n<|assistant|>\n",
|
||||
"temperature": 0.0,
|
||||
"generated_tokens": 161,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.8455,
|
||||
"2gram_rep": 0.789,
|
||||
"3gram_rep": 0.7593,
|
||||
"4gram_rep": 0.729,
|
||||
"text": "양자 컴퓨터는 양자 역학의 원리를 이용하여 정보를 처리하는 컴퓨터입니다. 이 컴퓨터는 정보를 저장하고 검색하는 데 사용되는 양자 컴퓨터의 기본 원리를 사용하여 정보를 처리합니다. 이 컴퓨터는 양자 역학의 원리를 이용하여 정보를 처리하는 컴퓨터입니다. 이 컴퓨터는 정보를 저장하고 검색하는 데 사용되는 양자 역학의 원리를 이용하여 정보를 처리합니다. 이 컴퓨터는 정보를 저장하고 검색하는 데 사용되는 양자 역학의 원리를 이용하여 정보를 처리합니다. 이 컴퓨터는 정보를 저장하고 검색하는 데 사용되는 양자 역학의 원리를 이용하여 정보를 처리합니다. 이 컴퓨터는 정보를 저장하고 검색하는 데 사용되는 양자 역학의 원리를 이용하여 정보를 처리합니다. 이 컴퓨터는 정보를 저장하고 검색하는 데 사용되는 양자 역학의 원리를 이용하여 정보를 처리합니다. 이 컴퓨터는 정보를 저장하고 검색하는 데 사용되는 양자 역학의 원리를 이용하여 정보를 처리합니다."
|
||||
},
|
||||
{
|
||||
"prompt": "양자 컴퓨터란",
|
||||
"chat_template": true,
|
||||
"effective_prompt": "<|user|>\n양자 컴퓨터란\n<|assistant|>\n",
|
||||
"temperature": 0.5,
|
||||
"generated_tokens": 48,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.3,
|
||||
"2gram_rep": 0.1724,
|
||||
"3gram_rep": 0.0714,
|
||||
"4gram_rep": 0.037,
|
||||
"text": "양자 컴퓨터는 광자를 사용하여 정보를 처리하는 컴퓨터입니다. 이 컴퓨터는 광자를 사용하여 정보를 처리하므로, 정보의 양이 매우 방대합니다. 이 컴퓨터는 양자 컴퓨터의 기본 원리와 성능을 사용하여 정보를 분석하고 처리할 수 있습니다."
|
||||
},
|
||||
{
|
||||
"prompt": "양자 컴퓨터란",
|
||||
"chat_template": true,
|
||||
"effective_prompt": "<|user|>\n양자 컴퓨터란\n<|assistant|>\n",
|
||||
"temperature": 0.8,
|
||||
"generated_tokens": 46,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.069,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0,
|
||||
"text": "양자 컴퓨터는 전기적, 화학적, 생물학적 등 다양한 방법으로 데이터를 처리하는 컴퓨터입니다.양자 컴퓨터는 원자나 분자와 같은 매우 작은 크기의 공간에서 동작할 수 있어, 복잡한 계산을 빠르고 정확하게 수행할 수 있습니다."
|
||||
},
|
||||
{
|
||||
"prompt": "양자 컴퓨터란",
|
||||
"chat_template": true,
|
||||
"effective_prompt": "<|user|>\n양자 컴퓨터란\n<|assistant|>\n",
|
||||
"temperature": 1.0,
|
||||
"generated_tokens": 70,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.1064,
|
||||
"2gram_rep": 0.0217,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0,
|
||||
"text": "양자 컴퓨터는 양자역학의 법칙을 사용하여 계산을 수행하는 컴퓨터로, 컴퓨터의 핵심 기술 중 하나입니다. 컴퓨터의 연산 속도는 초당 수천억 번을 처리할 수 있으며, 그 성능은 약 20배입니다. 또한 양자 컴퓨팅의 잠재력은 무한대로 커질 수 있으며, 많은 응용 분야에서 이 기술을 통해 더 빠른 데이터 처리가 가능해질 수 있습니다."
|
||||
},
|
||||
{
|
||||
"prompt": "건강한 식습관을 위해서는",
|
||||
"chat_template": true,
|
||||
"effective_prompt": "<|user|>\n건강한 식습관을 위해서는\n<|assistant|>\n",
|
||||
"temperature": 0.0,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.9235,
|
||||
"2gram_rep": 0.9112,
|
||||
"3gram_rep": 0.9048,
|
||||
"4gram_rep": 0.9042,
|
||||
"text": "건강한 식습관은 건강한 생활 습관을 통해 얻을 수 있습니다. 건강한 식습관은 균형 잡힌 식단, 규칙적인 운동, 건강한 생활 습관을 통해 얻을 수 있습니다. 건강한 식습관은 균형 잡힌 식단, 규칙적인 운동, 건강한 생활 습관을 통해 얻을 수 있습니다. 건강한 식습관은 균형 잡힌 식단, 규칙적인 운동, 건강한 생활 습관을 통해 얻을 수 있습니다. 건강한 식습관은 균형 잡힌 식단, 규칙적인 운동, 건강한 생활 습관을 통해 얻을 수 있습니다. 건강한 식습관은 균형 잡힌 식단, 규칙적인 운동, 건강한 생활 습관을 통해 얻을 수 있습니다. 건강한 식습관은 균형 잡힌 식단, 규칙적인 운동, 건강한 생활 습관을 통해 얻을 수 있습니다. 건강한 식습관은 균형 잡힌 식단, 규칙적인 운동, 건강한 생활 습관을 통해 얻을 수 있습니다. 건강한 식습관은 균형 잡힌 식단, 규칙적인 운동, 건강한 생활 습관을 통해 얻을 수 있습니다. 건강한 식습관은 균형 잡힌 식단, 규칙적인 운동, 건강한 생활 습관을 통해 "
|
||||
},
|
||||
{
|
||||
"prompt": "건강한 식습관을 위해서는",
|
||||
"chat_template": true,
|
||||
"effective_prompt": "<|user|>\n건강한 식습관을 위해서는\n<|assistant|>\n",
|
||||
"temperature": 0.5,
|
||||
"generated_tokens": 212,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.6667,
|
||||
"2gram_rep": 0.5474,
|
||||
"3gram_rep": 0.4779,
|
||||
"4gram_rep": 0.4296,
|
||||
"text": "건강한 식습관은 건강에 좋은 음식을 선택하고, 규칙적으로 운동하며, 건강한 생활 방식을 유지하는 것을 포함합니다. 또한, 건강한 식단은 건강한 생활 습관을 유지하는 데 도움이 될 수 있습니다. 건강한 식습관은 개인의 생활 방식과 영양 요구에 따라 달라질 수 있습니다. 예를 들어, 건강한 식단을 섭취하는 것은 체중 감량, 건강 증진 및 전반적인 건강에 도움이 될 수 있습니다. 건강한 식습관은 또한 건강을 유지하고 전반적인 건강을 향상시키는 데 도움이 될 수 있습니다. 예를 들어, 건강한 식습관은 우울증과 불안을 줄이고 전반적인 웰빙을 향상시키는 데 도움이 될 수 있습니다. 건강한 식습관은 또한 건강한 생활 습관을 유지하는 데 도움이 될 수 있습니다. 예를 들어, 건강한 식습관은 체중 감량, 건강 증진 및 전반적인 건강을 향상시키는 데 도움이 될 수 있습니다. 건강한 식습관은 또한 건강한 생활 습관을 유지하는 데 도움이 될 수 있습니다. 예를 들어, 건강한 식습관은 우울증과 불안을 줄이"
|
||||
},
|
||||
{
|
||||
"prompt": "건강한 식습관을 위해서는",
|
||||
"chat_template": true,
|
||||
"effective_prompt": "<|user|>\n건강한 식습관을 위해서는\n<|assistant|>\n",
|
||||
"temperature": 0.8,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.6711,
|
||||
"2gram_rep": 0.5894,
|
||||
"3gram_rep": 0.5667,
|
||||
"4gram_rep": 0.5436,
|
||||
"text": "건강한 식습관은 건강한 생활방식의 중요한 구성 요소입니다. 건강한 식습관은 건강하고 균형 잡힌 식단, 규칙적인 운동, 충분한 수면, 긍정적이고 즐거운 감정의 균형을 유지하는 것을 포함합니다. 이 모든 것이 건강하고 균형 잡힌 식단을 유지하는 데 도움이 될 수 있습니다.음식 선택은 개인의 건강과 전반적인 웰빙을 결정하는 중요한 요소입니다. 올바른 음식을 선택함으로써, 우리는 음식에 대한 우리의 개인적인 태도를 바꿀 수 있고, 전반적인 건강과 웰빙을 향상시킬 수 있습니다.건강한 식습관은 건강하고 균형 잡힌 식단의 중요한 구성 요소입니다. 건강한 식습관은 건강한 생활방식의 중요한 구성 요소입니다. 건강한 식습관은 건강하고 균형 잡힌 식단의 중요한 구성 요소입니다. 건강한 식습관은 건강하고 균형 잡힌 식단의 중요한 구성 요소입니다. 건강한 식습관은 건강하고 균형 잡힌 식단의 중요한 구성 요소입니다. 건강한 식습관은 건강하고 균형 잡힌 식단의 중요한 구성 요소입니다. 건강한 식습관은 건강하고"
|
||||
},
|
||||
{
|
||||
"prompt": "건강한 식습관을 위해서는",
|
||||
"chat_template": true,
|
||||
"effective_prompt": "<|user|>\n건강한 식습관을 위해서는\n<|assistant|>\n",
|
||||
"temperature": 1.0,
|
||||
"generated_tokens": 52,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.1176,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0,
|
||||
"text": "건강한 식습관은 균형 잡힌 건강한 생활 방식을 유지하고 건강하고 영양가 있는 식품을 규칙적으로 섭취하는 것을 의미합니다. 또한, 규칙적인 운동을 유지하고 건강한 식단에 따라 신체 활동량을 늘리는 것도 건강한 식습관 유지에 도움이 될 수 있습니다."
|
||||
},
|
||||
{
|
||||
"prompt": "세계 2차 대전 이후",
|
||||
"chat_template": true,
|
||||
"effective_prompt": "<|user|>\n세계 2차 대전 이후\n<|assistant|>\n",
|
||||
"temperature": 0.0,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.863,
|
||||
"2gram_rep": 0.8483,
|
||||
"3gram_rep": 0.8403,
|
||||
"4gram_rep": 0.8322,
|
||||
"text": "세계 2차 대전 이후, 유럽과 아시아의 많은 지역에서 전쟁이 발발했습니다. 이 전쟁은 제2차 세계 대전의 일부였으며, 제2차 세계 대전의 주요 전투 중 하나였습니다. 이 전쟁은 제2차 세계 대전의 일부였으며, 제2차 세계 대전의 주요 전투 중 하나였습니다. 이 전쟁은 제2차 세계 대전의 일부였으며, 제2차 세계 대전의 주요 전투 중 하나였습니다. 이 전쟁은 제2차 세계 대전의 일부였으며, 제2차 세계 대전의 주요 전투 중 하나였습니다. 이 전쟁은 제2차 세계 대전의 일부였으며, 제2차 세계 대전의 주요 전투 중 하나였습니다. 이 전쟁은 제2차 세계 대전의 일부였으며, 제2차 세계 대전의 주요 전투 중 하나였습니다. 이 전쟁은 제2차 세계 대전의 일부였으며, 제2차 세계 대전의 주요 전투 중 하나였습니다. 이 전쟁은 제2차 세계 대전의 일부였으며, 제2차 세계 대전의 주요 전투 중 하나였습니다. 이 전쟁은 제2차 세계 대전의 일부였으며, 제2차 세계 대전의 주요 전투 중 하나였습니다."
|
||||
},
|
||||
{
|
||||
"prompt": "세계 2차 대전 이후",
|
||||
"chat_template": true,
|
||||
"effective_prompt": "<|user|>\n세계 2차 대전 이후\n<|assistant|>\n",
|
||||
"temperature": 0.5,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.7154,
|
||||
"2gram_rep": 0.6475,
|
||||
"3gram_rep": 0.595,
|
||||
"4gram_rep": 0.5667,
|
||||
"text": "세계 2차 대전 이후1941년 6월 6일, 독일은 폴란드를 침공했습니다. 독일은 폴란드를 침공한 후, 폴란드의 수도인 바르샤바를 점령했습니다. 그러나 폴란드는 독일과의 전쟁을 피하기 위해, 독일과의 국경을 강화하기 위해, 독일과의 국경에 있는 도시인 크라쿠프를 점령했습니다.1941년 6월 20일, 독일은 폴란드를 침공하여, 폴란드의 수도인 바르샤바를 점령했습니다. 그러나 폴란드는 독일과의 전쟁을 피하기 위해, 독일과의 국경을 강화하기 위해, 독일과의 국경에 있는 도시인 크라쿠프를 점령했습니다.1941년 6월 26일, 독일은 폴란드를 침공하여, 폴란드의 수도인 바르샤바를 점령했습니다. 그러나 폴란드는 독일과의 전쟁을 피하기 위해, 독일과의 국경을 강화하기 위해, 독일과의 국경에 있는 도시인 크라쿠프를 점령했습니다.1941년 6월 30일, 독일은 폴란드를 침공하여, 폴란드의 수도인 바르샤바를 점령했습니다. 그러나 폴란드는 독일과의 전쟁을 피하기 위해, 독일과의 국경을 강화하기 위해, 독"
|
||||
},
|
||||
{
|
||||
"prompt": "세계 2차 대전 이후",
|
||||
"chat_template": true,
|
||||
"effective_prompt": "<|user|>\n세계 2차 대전 이후\n<|assistant|>\n",
|
||||
"temperature": 0.8,
|
||||
"generated_tokens": 48,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.1562,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0,
|
||||
"text": "세계 2차 대전 이후, 추축국은 세계 대전 동안 연합국을 상대로 많은 승리를 거두었습니다. 이 전쟁에서 승리한 국가는 독일, 이탈리아, 일본, 미국입니다. 이 기간 동안 연합국은 여러 번 세계 대전의 주요 전투를 치렀습니다."
|
||||
},
|
||||
{
|
||||
"prompt": "세계 2차 대전 이후",
|
||||
"chat_template": true,
|
||||
"effective_prompt": "<|user|>\n세계 2차 대전 이후\n<|assistant|>\n",
|
||||
"temperature": 1.0,
|
||||
"generated_tokens": 60,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.119,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0,
|
||||
"text": "세계 2차 대전 이후, 독일 제국에서는 히틀러의 독일 육군은 더 큰 규모의 기갑 부대와 대규모의 정예 장교단이 필요했고, 이를 위해 새로운 무기들이 필요했습니다. 새로운 무기로 인해 독일은 다시 한번 더 군사화된 군대를 가지게 되었고, 나치 독일은 전 세계적으로 가장 강력한 군대를 만들었습니다."
|
||||
}
|
||||
]
|
||||
}
|
||||
@@ -0,0 +1,74 @@
|
||||
[TASK_RUNNER gpu_id=6] Starting task=generation
|
||||
[TASK_RUNNER gpu_id=6] NUMA affinity set: cores 36-71
|
||||
/usr/local/lib/python3.12/dist-packages/torch/library.py:356: UserWarning: Warning only once for all operators, other operators may also be overridden.
|
||||
Overriding a previously registered kernel for the same operator and the same dispatch key
|
||||
operator: flash_attn::_flash_attn_backward(Tensor dout, Tensor q, Tensor k, Tensor v, Tensor out, Tensor softmax_lse, Tensor(a6!)? dq, Tensor(a7!)? dk, Tensor(a8!)? dv, float dropout_p, float softmax_scale, bool causal, SymInt window_size_left, SymInt window_size_right, float softcap, Tensor? alibi_slopes, bool deterministic, Tensor? rng_state=None) -> Tensor
|
||||
registered at /usr/local/lib/python3.12/dist-packages/torch/_library/custom_ops.py:922
|
||||
dispatch key: ADInplaceOrView
|
||||
previous kernel: no debug info
|
||||
new kernel: registered at /usr/local/lib/python3.12/dist-packages/torch/_library/custom_ops.py:922 (Triggered internally at /opt/pytorch/pytorch/aten/src/ATen/core/dispatch/OperatorEntry.cpp:208.)
|
||||
self.m.impl(
|
||||
[GEN cuda:0] Loading model...
|
||||
[GEN cuda:0] Chat template ENABLED
|
||||
[GEN cuda:0] (1/60) 대한민국의 수도는... (greedy): 20tok, 3gram_rep=0.00%, eos=True
|
||||
[GEN cuda:0] (2/60) 대한민국의 수도는... (t=0.5): 25tok, 3gram_rep=40.00%, eos=True
|
||||
[GEN cuda:0] (3/60) 대한민국의 수도는... (t=0.8): 63tok, 3gram_rep=0.00%, eos=True
|
||||
[GEN cuda:0] (4/60) 대한민국의 수도는... (t=1.0): 63tok, 3gram_rep=0.00%, eos=True
|
||||
[GEN cuda:0] (5/60) 인공지능이란... (greedy): 189tok, 3gram_rep=82.50%, eos=True
|
||||
[GEN cuda:0] (6/60) 인공지능이란... (t=0.5): 256tok, 3gram_rep=78.16%, eos=False
|
||||
[GEN cuda:0] (7/60) 인공지능이란... (t=0.8): 94tok, 3gram_rep=0.00%, eos=True
|
||||
[GEN cuda:0] (8/60) 인공지능이란... (t=1.0): 256tok, 3gram_rep=2.40%, eos=False
|
||||
[GEN cuda:0] (9/60) 한국의 전통 음식 중에서... (greedy): 256tok, 3gram_rep=83.56%, eos=False
|
||||
[GEN cuda:0] (10/60) 한국의 전통 음식 중에서... (t=0.5): 256tok, 3gram_rep=68.82%, eos=False
|
||||
[GEN cuda:0] (11/60) 한국의 전통 음식 중에서... (t=0.8): 256tok, 3gram_rep=38.26%, eos=False
|
||||
[GEN cuda:0] (12/60) 한국의 전통 음식 중에서... (t=1.0): 124tok, 3gram_rep=1.25%, eos=True
|
||||
[GEN cuda:0] (13/60) 지구 온난화의 주요 원인은... (greedy): 256tok, 3gram_rep=42.11%, eos=False
|
||||
[GEN cuda:0] (14/60) 지구 온난화의 주요 원인은... (t=0.5): 256tok, 3gram_rep=96.83%, eos=False
|
||||
[GEN cuda:0] (15/60) 지구 온난화의 주요 원인은... (t=0.8): 91tok, 3gram_rep=0.00%, eos=True
|
||||
[GEN cuda:0] (16/60) 지구 온난화의 주요 원인은... (t=1.0): 175tok, 3gram_rep=0.00%, eos=True
|
||||
[GEN cuda:0] (17/60) 프로그래밍을 배우려면... (greedy): 234tok, 3gram_rep=90.00%, eos=True
|
||||
[GEN cuda:0] (18/60) 프로그래밍을 배우려면... (t=0.5): 115tok, 3gram_rep=50.72%, eos=True
|
||||
[GEN cuda:0] (19/60) 프로그래밍을 배우려면... (t=0.8): 63tok, 3gram_rep=0.00%, eos=True
|
||||
[GEN cuda:0] (20/60) 프로그래밍을 배우려면... (t=1.0): 55tok, 3gram_rep=0.00%, eos=True
|
||||
[GEN cuda:0] (21/60) 조선시대에는... (greedy): 256tok, 3gram_rep=88.30%, eos=False
|
||||
[GEN cuda:0] (22/60) 조선시대에는... (t=0.5): 256tok, 3gram_rep=76.06%, eos=False
|
||||
[GEN cuda:0] (23/60) 조선시대에는... (t=0.8): 102tok, 3gram_rep=45.00%, eos=True
|
||||
[GEN cuda:0] (24/60) 조선시대에는... (t=1.0): 147tok, 3gram_rep=2.27%, eos=True
|
||||
[GEN cuda:0] (25/60) 물리학에서 에너지란... (greedy): 233tok, 3gram_rep=90.35%, eos=True
|
||||
[GEN cuda:0] (26/60) 물리학에서 에너지란... (t=0.5): 230tok, 3gram_rep=74.17%, eos=True
|
||||
[GEN cuda:0] (27/60) 물리학에서 에너지란... (t=0.8): 74tok, 3gram_rep=6.98%, eos=True
|
||||
[GEN cuda:0] (28/60) 물리학에서 에너지란... (t=1.0): 48tok, 3gram_rep=0.00%, eos=True
|
||||
[GEN cuda:0] (29/60) 한국어는 세계에서... (greedy): 180tok, 3gram_rep=91.79%, eos=True
|
||||
[GEN cuda:0] (30/60) 한국어는 세계에서... (t=0.5): 256tok, 3gram_rep=78.69%, eos=False
|
||||
[GEN cuda:0] (31/60) 한국어는 세계에서... (t=0.8): 57tok, 3gram_rep=24.32%, eos=True
|
||||
[GEN cuda:0] (32/60) 한국어는 세계에서... (t=1.0): 56tok, 3gram_rep=2.94%, eos=True
|
||||
[GEN cuda:0] (33/60) 경제 성장을 위해서는... (greedy): 76tok, 3gram_rep=70.97%, eos=True
|
||||
[GEN cuda:0] (34/60) 경제 성장을 위해서는... (t=0.5): 256tok, 3gram_rep=95.05%, eos=False
|
||||
[GEN cuda:0] (35/60) 경제 성장을 위해서는... (t=0.8): 63tok, 3gram_rep=0.00%, eos=True
|
||||
[GEN cuda:0] (36/60) 경제 성장을 위해서는... (t=1.0): 56tok, 3gram_rep=0.00%, eos=True
|
||||
[GEN cuda:0] (37/60) 우주 탐사의 역사를 보면... (greedy): 166tok, 3gram_rep=74.55%, eos=True
|
||||
[GEN cuda:0] (38/60) 우주 탐사의 역사를 보면... (t=0.5): 91tok, 3gram_rep=11.86%, eos=True
|
||||
[GEN cuda:0] (39/60) 우주 탐사의 역사를 보면... (t=0.8): 256tok, 3gram_rep=28.66%, eos=False
|
||||
[GEN cuda:0] (40/60) 우주 탐사의 역사를 보면... (t=1.0): 76tok, 3gram_rep=0.00%, eos=True
|
||||
[GEN cuda:0] (41/60) 머신러닝과 딥러닝의 차이는... (greedy): 87tok, 3gram_rep=46.51%, eos=True
|
||||
[GEN cuda:0] (42/60) 머신러닝과 딥러닝의 차이는... (t=0.5): 41tok, 3gram_rep=0.00%, eos=True
|
||||
[GEN cuda:0] (43/60) 머신러닝과 딥러닝의 차이는... (t=0.8): 228tok, 3gram_rep=22.58%, eos=True
|
||||
[GEN cuda:0] (44/60) 머신러닝과 딥러닝의 차이는... (t=1.0): 56tok, 3gram_rep=6.45%, eos=True
|
||||
[GEN cuda:0] (45/60) 한국 문학의 대표적인 작품으... (greedy): 256tok, 3gram_rep=83.50%, eos=False
|
||||
[GEN cuda:0] (46/60) 한국 문학의 대표적인 작품으... (t=0.5): 53tok, 3gram_rep=0.00%, eos=True
|
||||
[GEN cuda:0] (47/60) 한국 문학의 대표적인 작품으... (t=0.8): 101tok, 3gram_rep=0.00%, eos=True
|
||||
[GEN cuda:0] (48/60) 한국 문학의 대표적인 작품으... (t=1.0): 256tok, 3gram_rep=0.00%, eos=False
|
||||
[GEN cuda:0] (49/60) 양자 컴퓨터란... (greedy): 161tok, 3gram_rep=75.93%, eos=True
|
||||
[GEN cuda:0] (50/60) 양자 컴퓨터란... (t=0.5): 48tok, 3gram_rep=7.14%, eos=True
|
||||
[GEN cuda:0] (51/60) 양자 컴퓨터란... (t=0.8): 46tok, 3gram_rep=0.00%, eos=True
|
||||
[GEN cuda:0] (52/60) 양자 컴퓨터란... (t=1.0): 70tok, 3gram_rep=0.00%, eos=True
|
||||
[GEN cuda:0] (53/60) 건강한 식습관을 위해서는... (greedy): 256tok, 3gram_rep=90.48%, eos=False
|
||||
[GEN cuda:0] (54/60) 건강한 식습관을 위해서는... (t=0.5): 212tok, 3gram_rep=47.79%, eos=True
|
||||
[GEN cuda:0] (55/60) 건강한 식습관을 위해서는... (t=0.8): 256tok, 3gram_rep=56.67%, eos=False
|
||||
[GEN cuda:0] (56/60) 건강한 식습관을 위해서는... (t=1.0): 52tok, 3gram_rep=0.00%, eos=True
|
||||
[GEN cuda:0] (57/60) 세계 2차 대전 이후... (greedy): 256tok, 3gram_rep=84.03%, eos=False
|
||||
[GEN cuda:0] (58/60) 세계 2차 대전 이후... (t=0.5): 256tok, 3gram_rep=59.50%, eos=False
|
||||
[GEN cuda:0] (59/60) 세계 2차 대전 이후... (t=0.8): 48tok, 3gram_rep=0.00%, eos=True
|
||||
[GEN cuda:0] (60/60) 세계 2차 대전 이후... (t=1.0): 60tok, 3gram_rep=0.00%, eos=True
|
||||
[GEN cuda:0] DONE greedy 3gram_rep=0.7297, eos_rate=60.00%, 82.2s
|
||||
[TASK_RUNNER gpu_id=6] Done. Result saved to /PROJECT/0325120031_A/ghong/taketimes/llm-bang/eval/outputs/3b_sft_eval_20260306_1536/phase1_generation_gpu6.json
|
||||
@@ -0,0 +1,24 @@
|
||||
[
|
||||
{
|
||||
"name": "korean_c4",
|
||||
"file": "korean_c4_val.bin",
|
||||
"n_tokens": 15159838,
|
||||
"n_eval_tokens": 45445722,
|
||||
"ppl": 5.7617,
|
||||
"bits_per_token": 2.5265,
|
||||
"avg_nll": 1.751237,
|
||||
"elapsed_sec": 446.8,
|
||||
"device": "cuda:0"
|
||||
},
|
||||
{
|
||||
"name": "korean",
|
||||
"file": "korean_val.bin",
|
||||
"n_tokens": 17850578,
|
||||
"n_eval_tokens": 53512147,
|
||||
"ppl": 7.0714,
|
||||
"bits_per_token": 2.822,
|
||||
"avg_nll": 1.956062,
|
||||
"elapsed_sec": 526.0,
|
||||
"device": "cuda:0"
|
||||
}
|
||||
]
|
||||
@@ -0,0 +1,55 @@
|
||||
[TASK_RUNNER gpu_id=1] Starting task=ppl_multi
|
||||
[TASK_RUNNER gpu_id=1] NUMA affinity set: cores 0-35
|
||||
/usr/local/lib/python3.12/dist-packages/torch/library.py:356: UserWarning: Warning only once for all operators, other operators may also be overridden.
|
||||
Overriding a previously registered kernel for the same operator and the same dispatch key
|
||||
operator: flash_attn::_flash_attn_backward(Tensor dout, Tensor q, Tensor k, Tensor v, Tensor out, Tensor softmax_lse, Tensor(a6!)? dq, Tensor(a7!)? dk, Tensor(a8!)? dv, float dropout_p, float softmax_scale, bool causal, SymInt window_size_left, SymInt window_size_right, float softcap, Tensor? alibi_slopes, bool deterministic, Tensor? rng_state=None) -> Tensor
|
||||
registered at /usr/local/lib/python3.12/dist-packages/torch/_library/custom_ops.py:922
|
||||
dispatch key: ADInplaceOrView
|
||||
previous kernel: no debug info
|
||||
new kernel: registered at /usr/local/lib/python3.12/dist-packages/torch/_library/custom_ops.py:922 (Triggered internally at /opt/pytorch/pytorch/aten/src/ATen/core/dispatch/OperatorEntry.cpp:208.)
|
||||
self.m.impl(
|
||||
[PPL_MULTI cuda:0] Loading model once for 2 files...
|
||||
[PPL cuda:0] korean_c4: 15,159,838 tokens, 30.3 MB
|
||||
[PPL cuda:0] korean_c4: batch 50/926, running PPL=5.4164, 24s
|
||||
[PPL cuda:0] korean_c4: batch 100/926, running PPL=6.0450, 48s
|
||||
[PPL cuda:0] korean_c4: batch 150/926, running PPL=5.5738, 73s
|
||||
[PPL cuda:0] korean_c4: batch 200/926, running PPL=6.0883, 97s
|
||||
[PPL cuda:0] korean_c4: batch 250/926, running PPL=6.0169, 121s
|
||||
[PPL cuda:0] korean_c4: batch 300/926, running PPL=5.9972, 145s
|
||||
[PPL cuda:0] korean_c4: batch 350/926, running PPL=5.9564, 169s
|
||||
[PPL cuda:0] korean_c4: batch 400/926, running PPL=5.9214, 193s
|
||||
[PPL cuda:0] korean_c4: batch 450/926, running PPL=5.8858, 217s
|
||||
[PPL cuda:0] korean_c4: batch 500/926, running PPL=5.7010, 242s
|
||||
[PPL cuda:0] korean_c4: batch 550/926, running PPL=5.7143, 266s
|
||||
[PPL cuda:0] korean_c4: batch 600/926, running PPL=5.7069, 290s
|
||||
[PPL cuda:0] korean_c4: batch 650/926, running PPL=5.6650, 314s
|
||||
[PPL cuda:0] korean_c4: batch 700/926, running PPL=5.7276, 338s
|
||||
[PPL cuda:0] korean_c4: batch 750/926, running PPL=5.7790, 362s
|
||||
[PPL cuda:0] korean_c4: batch 800/926, running PPL=5.7851, 386s
|
||||
[PPL cuda:0] korean_c4: batch 850/926, running PPL=5.7654, 410s
|
||||
[PPL cuda:0] korean_c4: batch 900/926, running PPL=5.7473, 435s
|
||||
[PPL cuda:0] DONE korean_c4: PPL=5.7617, BPT=2.5265, 446.8s
|
||||
[PPL cuda:0] korean: 17,850,578 tokens, 35.7 MB
|
||||
[PPL cuda:0] korean: batch 50/1090, running PPL=5.4164, 24s
|
||||
[PPL cuda:0] korean: batch 100/1090, running PPL=6.0450, 48s
|
||||
[PPL cuda:0] korean: batch 150/1090, running PPL=5.5738, 73s
|
||||
[PPL cuda:0] korean: batch 200/1090, running PPL=6.0883, 97s
|
||||
[PPL cuda:0] korean: batch 250/1090, running PPL=6.0169, 121s
|
||||
[PPL cuda:0] korean: batch 300/1090, running PPL=5.9972, 145s
|
||||
[PPL cuda:0] korean: batch 350/1090, running PPL=5.9564, 169s
|
||||
[PPL cuda:0] korean: batch 400/1090, running PPL=5.9214, 193s
|
||||
[PPL cuda:0] korean: batch 450/1090, running PPL=5.8858, 217s
|
||||
[PPL cuda:0] korean: batch 500/1090, running PPL=5.7010, 242s
|
||||
[PPL cuda:0] korean: batch 550/1090, running PPL=5.7143, 266s
|
||||
[PPL cuda:0] korean: batch 600/1090, running PPL=5.7069, 290s
|
||||
[PPL cuda:0] korean: batch 650/1090, running PPL=5.6650, 314s
|
||||
[PPL cuda:0] korean: batch 700/1090, running PPL=5.7276, 338s
|
||||
[PPL cuda:0] korean: batch 750/1090, running PPL=5.7790, 362s
|
||||
[PPL cuda:0] korean: batch 800/1090, running PPL=5.7851, 386s
|
||||
[PPL cuda:0] korean: batch 850/1090, running PPL=5.7654, 410s
|
||||
[PPL cuda:0] korean: batch 900/1090, running PPL=5.7473, 435s
|
||||
[PPL cuda:0] korean: batch 950/1090, running PPL=5.9971, 459s
|
||||
[PPL cuda:0] korean: batch 1000/1090, running PPL=6.4546, 483s
|
||||
[PPL cuda:0] korean: batch 1050/1090, running PPL=6.8996, 507s
|
||||
[PPL cuda:0] DONE korean: PPL=7.0714, BPT=2.8220, 526.0s
|
||||
[TASK_RUNNER gpu_id=1] Done. Result saved to /PROJECT/0325120031_A/ghong/taketimes/llm-bang/eval/outputs/3b_sft_eval_20260306_1536/phase1_ppl_multi_gpu1.json
|
||||
@@ -0,0 +1,24 @@
|
||||
[
|
||||
{
|
||||
"name": "hplt_ko",
|
||||
"file": "hplt_ko_val.bin",
|
||||
"n_tokens": 16165735,
|
||||
"n_eval_tokens": 48460462,
|
||||
"ppl": 2.4121,
|
||||
"bits_per_token": 1.2703,
|
||||
"avg_nll": 0.880489,
|
||||
"elapsed_sec": 476.5,
|
||||
"device": "cuda:0"
|
||||
},
|
||||
{
|
||||
"name": "cc100_ko",
|
||||
"file": "cc100_ko_val.bin",
|
||||
"n_tokens": 4532995,
|
||||
"n_eval_tokens": 13585262,
|
||||
"ppl": 21.8072,
|
||||
"bits_per_token": 4.4467,
|
||||
"avg_nll": 3.082241,
|
||||
"elapsed_sec": 133.4,
|
||||
"device": "cuda:0"
|
||||
}
|
||||
]
|
||||
@@ -0,0 +1,40 @@
|
||||
[TASK_RUNNER gpu_id=2] Starting task=ppl_multi
|
||||
[TASK_RUNNER gpu_id=2] NUMA affinity set: cores 0-35
|
||||
/usr/local/lib/python3.12/dist-packages/torch/library.py:356: UserWarning: Warning only once for all operators, other operators may also be overridden.
|
||||
Overriding a previously registered kernel for the same operator and the same dispatch key
|
||||
operator: flash_attn::_flash_attn_backward(Tensor dout, Tensor q, Tensor k, Tensor v, Tensor out, Tensor softmax_lse, Tensor(a6!)? dq, Tensor(a7!)? dk, Tensor(a8!)? dv, float dropout_p, float softmax_scale, bool causal, SymInt window_size_left, SymInt window_size_right, float softcap, Tensor? alibi_slopes, bool deterministic, Tensor? rng_state=None) -> Tensor
|
||||
registered at /usr/local/lib/python3.12/dist-packages/torch/_library/custom_ops.py:922
|
||||
dispatch key: ADInplaceOrView
|
||||
previous kernel: no debug info
|
||||
new kernel: registered at /usr/local/lib/python3.12/dist-packages/torch/_library/custom_ops.py:922 (Triggered internally at /opt/pytorch/pytorch/aten/src/ATen/core/dispatch/OperatorEntry.cpp:208.)
|
||||
self.m.impl(
|
||||
[PPL_MULTI cuda:0] Loading model once for 2 files...
|
||||
[PPL cuda:0] hplt_ko: 16,165,735 tokens, 32.3 MB
|
||||
[PPL cuda:0] hplt_ko: batch 50/987, running PPL=2.8650, 24s
|
||||
[PPL cuda:0] hplt_ko: batch 100/987, running PPL=2.9687, 48s
|
||||
[PPL cuda:0] hplt_ko: batch 150/987, running PPL=2.6676, 73s
|
||||
[PPL cuda:0] hplt_ko: batch 200/987, running PPL=2.6080, 97s
|
||||
[PPL cuda:0] hplt_ko: batch 250/987, running PPL=2.8623, 121s
|
||||
[PPL cuda:0] hplt_ko: batch 300/987, running PPL=2.9467, 145s
|
||||
[PPL cuda:0] hplt_ko: batch 350/987, running PPL=2.9530, 169s
|
||||
[PPL cuda:0] hplt_ko: batch 400/987, running PPL=2.9398, 193s
|
||||
[PPL cuda:0] hplt_ko: batch 450/987, running PPL=2.8842, 217s
|
||||
[PPL cuda:0] hplt_ko: batch 500/987, running PPL=2.8273, 242s
|
||||
[PPL cuda:0] hplt_ko: batch 550/987, running PPL=2.8021, 266s
|
||||
[PPL cuda:0] hplt_ko: batch 600/987, running PPL=2.9152, 290s
|
||||
[PPL cuda:0] hplt_ko: batch 650/987, running PPL=2.9224, 314s
|
||||
[PPL cuda:0] hplt_ko: batch 700/987, running PPL=2.7730, 338s
|
||||
[PPL cuda:0] hplt_ko: batch 750/987, running PPL=2.8224, 362s
|
||||
[PPL cuda:0] hplt_ko: batch 800/987, running PPL=2.8109, 386s
|
||||
[PPL cuda:0] hplt_ko: batch 850/987, running PPL=2.6766, 410s
|
||||
[PPL cuda:0] hplt_ko: batch 900/987, running PPL=2.5456, 435s
|
||||
[PPL cuda:0] hplt_ko: batch 950/987, running PPL=2.4310, 459s
|
||||
[PPL cuda:0] DONE hplt_ko: PPL=2.4121, BPT=1.2703, 476.5s
|
||||
[PPL cuda:0] cc100_ko: 4,532,995 tokens, 9.1 MB
|
||||
[PPL cuda:0] cc100_ko: batch 50/277, running PPL=20.7416, 24s
|
||||
[PPL cuda:0] cc100_ko: batch 100/277, running PPL=21.2216, 48s
|
||||
[PPL cuda:0] cc100_ko: batch 150/277, running PPL=21.5065, 72s
|
||||
[PPL cuda:0] cc100_ko: batch 200/277, running PPL=21.6612, 96s
|
||||
[PPL cuda:0] cc100_ko: batch 250/277, running PPL=21.7217, 121s
|
||||
[PPL cuda:0] DONE cc100_ko: PPL=21.8072, BPT=4.4467, 133.4s
|
||||
[TASK_RUNNER gpu_id=2] Done. Result saved to /PROJECT/0325120031_A/ghong/taketimes/llm-bang/eval/outputs/3b_sft_eval_20260306_1536/phase1_ppl_multi_gpu2.json
|
||||
@@ -0,0 +1,79 @@
|
||||
[
|
||||
{
|
||||
"name": "cosmo_auto_math_text",
|
||||
"file": "cosmo_auto_math_text_val.bin",
|
||||
"n_tokens": 2632946,
|
||||
"n_eval_tokens": 7888877,
|
||||
"ppl": 3.1581,
|
||||
"bits_per_token": 1.659,
|
||||
"avg_nll": 1.149958,
|
||||
"elapsed_sec": 76.8,
|
||||
"device": "cuda:0"
|
||||
},
|
||||
{
|
||||
"name": "cosmo_stories",
|
||||
"file": "cosmo_stories_val.bin",
|
||||
"n_tokens": 6299229,
|
||||
"n_eval_tokens": 18881012,
|
||||
"ppl": 3.9668,
|
||||
"bits_per_token": 1.988,
|
||||
"avg_nll": 1.377959,
|
||||
"elapsed_sec": 183.9,
|
||||
"device": "cuda:0"
|
||||
},
|
||||
{
|
||||
"name": "cosmo_web_v2",
|
||||
"file": "cosmo_web_v2_val.bin",
|
||||
"n_tokens": 2875418,
|
||||
"n_eval_tokens": 8616467,
|
||||
"ppl": 4.1799,
|
||||
"bits_per_token": 2.0635,
|
||||
"avg_nll": 1.430294,
|
||||
"elapsed_sec": 84.1,
|
||||
"device": "cuda:0"
|
||||
},
|
||||
{
|
||||
"name": "cosmo_stanford",
|
||||
"file": "cosmo_stanford_val.bin",
|
||||
"n_tokens": 2217375,
|
||||
"n_eval_tokens": 6642457,
|
||||
"ppl": 3.3742,
|
||||
"bits_per_token": 1.7545,
|
||||
"avg_nll": 1.216156,
|
||||
"elapsed_sec": 64.8,
|
||||
"device": "cuda:0"
|
||||
},
|
||||
{
|
||||
"name": "cosmo_khanacademy",
|
||||
"file": "cosmo_khanacademy_val.bin",
|
||||
"n_tokens": 47751,
|
||||
"n_eval_tokens": 138662,
|
||||
"ppl": 2.939,
|
||||
"bits_per_token": 1.5553,
|
||||
"avg_nll": 1.078054,
|
||||
"elapsed_sec": 1.5,
|
||||
"device": "cuda:0"
|
||||
},
|
||||
{
|
||||
"name": "cosmo_openstax",
|
||||
"file": "cosmo_openstax_val.bin",
|
||||
"n_tokens": 242751,
|
||||
"n_eval_tokens": 723497,
|
||||
"ppl": 3.8805,
|
||||
"bits_per_token": 1.9562,
|
||||
"avg_nll": 1.355964,
|
||||
"elapsed_sec": 7.2,
|
||||
"device": "cuda:0"
|
||||
},
|
||||
{
|
||||
"name": "cosmo_wikihow",
|
||||
"file": "cosmo_wikihow_val.bin",
|
||||
"n_tokens": 395586,
|
||||
"n_eval_tokens": 1180927,
|
||||
"ppl": 3.3201,
|
||||
"bits_per_token": 1.7312,
|
||||
"avg_nll": 1.200008,
|
||||
"elapsed_sec": 11.6,
|
||||
"device": "cuda:0"
|
||||
}
|
||||
]
|
||||
@@ -0,0 +1,41 @@
|
||||
[TASK_RUNNER gpu_id=3] Starting task=ppl_multi
|
||||
[TASK_RUNNER gpu_id=3] NUMA affinity set: cores 0-35
|
||||
/usr/local/lib/python3.12/dist-packages/torch/library.py:356: UserWarning: Warning only once for all operators, other operators may also be overridden.
|
||||
Overriding a previously registered kernel for the same operator and the same dispatch key
|
||||
operator: flash_attn::_flash_attn_backward(Tensor dout, Tensor q, Tensor k, Tensor v, Tensor out, Tensor softmax_lse, Tensor(a6!)? dq, Tensor(a7!)? dk, Tensor(a8!)? dv, float dropout_p, float softmax_scale, bool causal, SymInt window_size_left, SymInt window_size_right, float softcap, Tensor? alibi_slopes, bool deterministic, Tensor? rng_state=None) -> Tensor
|
||||
registered at /usr/local/lib/python3.12/dist-packages/torch/_library/custom_ops.py:922
|
||||
dispatch key: ADInplaceOrView
|
||||
previous kernel: no debug info
|
||||
new kernel: registered at /usr/local/lib/python3.12/dist-packages/torch/_library/custom_ops.py:922 (Triggered internally at /opt/pytorch/pytorch/aten/src/ATen/core/dispatch/OperatorEntry.cpp:208.)
|
||||
self.m.impl(
|
||||
[PPL_MULTI cuda:0] Loading model once for 7 files...
|
||||
[PPL cuda:0] cosmo_auto_math_text: 2,632,946 tokens, 5.3 MB
|
||||
[PPL cuda:0] cosmo_auto_math_text: batch 50/161, running PPL=3.1374, 24s
|
||||
[PPL cuda:0] cosmo_auto_math_text: batch 100/161, running PPL=3.1251, 48s
|
||||
[PPL cuda:0] cosmo_auto_math_text: batch 150/161, running PPL=3.1588, 72s
|
||||
[PPL cuda:0] DONE cosmo_auto_math_text: PPL=3.1581, BPT=1.6590, 76.8s
|
||||
[PPL cuda:0] cosmo_stories: 6,299,229 tokens, 12.6 MB
|
||||
[PPL cuda:0] cosmo_stories: batch 50/385, running PPL=3.9306, 24s
|
||||
[PPL cuda:0] cosmo_stories: batch 100/385, running PPL=3.9383, 48s
|
||||
[PPL cuda:0] cosmo_stories: batch 150/385, running PPL=3.9603, 72s
|
||||
[PPL cuda:0] cosmo_stories: batch 200/385, running PPL=3.9577, 96s
|
||||
[PPL cuda:0] cosmo_stories: batch 250/385, running PPL=3.9640, 120s
|
||||
[PPL cuda:0] cosmo_stories: batch 300/385, running PPL=3.9585, 144s
|
||||
[PPL cuda:0] cosmo_stories: batch 350/385, running PPL=3.9644, 167s
|
||||
[PPL cuda:0] DONE cosmo_stories: PPL=3.9668, BPT=1.9880, 183.9s
|
||||
[PPL cuda:0] cosmo_web_v2: 2,875,418 tokens, 5.8 MB
|
||||
[PPL cuda:0] cosmo_web_v2: batch 50/176, running PPL=4.1386, 24s
|
||||
[PPL cuda:0] cosmo_web_v2: batch 100/176, running PPL=4.1500, 48s
|
||||
[PPL cuda:0] cosmo_web_v2: batch 150/176, running PPL=4.1658, 72s
|
||||
[PPL cuda:0] DONE cosmo_web_v2: PPL=4.1799, BPT=2.0635, 84.1s
|
||||
[PPL cuda:0] cosmo_stanford: 2,217,375 tokens, 4.4 MB
|
||||
[PPL cuda:0] cosmo_stanford: batch 50/136, running PPL=3.3823, 24s
|
||||
[PPL cuda:0] cosmo_stanford: batch 100/136, running PPL=3.3714, 48s
|
||||
[PPL cuda:0] DONE cosmo_stanford: PPL=3.3742, BPT=1.7545, 64.8s
|
||||
[PPL cuda:0] cosmo_khanacademy: 47,751 tokens, 0.1 MB
|
||||
[PPL cuda:0] DONE cosmo_khanacademy: PPL=2.9390, BPT=1.5553, 1.5s
|
||||
[PPL cuda:0] cosmo_openstax: 242,751 tokens, 0.5 MB
|
||||
[PPL cuda:0] DONE cosmo_openstax: PPL=3.8805, BPT=1.9562, 7.2s
|
||||
[PPL cuda:0] cosmo_wikihow: 395,586 tokens, 0.8 MB
|
||||
[PPL cuda:0] DONE cosmo_wikihow: PPL=3.3201, BPT=1.7312, 11.6s
|
||||
[TASK_RUNNER gpu_id=3] Done. Result saved to /PROJECT/0325120031_A/ghong/taketimes/llm-bang/eval/outputs/3b_sft_eval_20260306_1536/phase1_ppl_multi_gpu3.json
|
||||
@@ -0,0 +1,79 @@
|
||||
[
|
||||
{
|
||||
"name": "korean_namuwiki",
|
||||
"file": "korean_namuwiki_val.bin",
|
||||
"n_tokens": 2166179,
|
||||
"n_eval_tokens": 6488957,
|
||||
"ppl": 26.1185,
|
||||
"bits_per_token": 4.707,
|
||||
"avg_nll": 3.262645,
|
||||
"elapsed_sec": 63.6,
|
||||
"device": "cuda:0"
|
||||
},
|
||||
{
|
||||
"name": "korean_wiki",
|
||||
"file": "korean_wiki_val.bin",
|
||||
"n_tokens": 524561,
|
||||
"n_eval_tokens": 1567747,
|
||||
"ppl": 11.9394,
|
||||
"bits_per_token": 3.5777,
|
||||
"avg_nll": 2.479841,
|
||||
"elapsed_sec": 15.5,
|
||||
"device": "cuda:0"
|
||||
},
|
||||
{
|
||||
"name": "namuwiki_2023b",
|
||||
"file": "namuwiki_2023b_val.bin",
|
||||
"n_tokens": 2554574,
|
||||
"n_eval_tokens": 7654022,
|
||||
"ppl": 18.9672,
|
||||
"bits_per_token": 4.2454,
|
||||
"avg_nll": 2.942709,
|
||||
"elapsed_sec": 75.0,
|
||||
"device": "cuda:0"
|
||||
},
|
||||
{
|
||||
"name": "wikipedia_ko",
|
||||
"file": "wikipedia_ko_val.bin",
|
||||
"n_tokens": 590691,
|
||||
"n_eval_tokens": 1765762,
|
||||
"ppl": 10.7399,
|
||||
"bits_per_token": 3.4249,
|
||||
"avg_nll": 2.373967,
|
||||
"elapsed_sec": 17.4,
|
||||
"device": "cuda:0"
|
||||
},
|
||||
{
|
||||
"name": "mathpile",
|
||||
"file": "mathpile_val.bin",
|
||||
"n_tokens": 2379696,
|
||||
"n_eval_tokens": 7129052,
|
||||
"ppl": 2.7286,
|
||||
"bits_per_token": 1.4481,
|
||||
"avg_nll": 1.00377,
|
||||
"elapsed_sec": 69.9,
|
||||
"device": "cuda:0"
|
||||
},
|
||||
{
|
||||
"name": "open_web_math",
|
||||
"file": "open_web_math_val.bin",
|
||||
"n_tokens": 5230614,
|
||||
"n_eval_tokens": 15677467,
|
||||
"ppl": 6.9422,
|
||||
"bits_per_token": 2.7954,
|
||||
"avg_nll": 1.937625,
|
||||
"elapsed_sec": 153.5,
|
||||
"device": "cuda:0"
|
||||
},
|
||||
{
|
||||
"name": "val",
|
||||
"file": "val.bin",
|
||||
"n_tokens": 3040344,
|
||||
"n_eval_tokens": 9110737,
|
||||
"ppl": 18.3195,
|
||||
"bits_per_token": 4.1953,
|
||||
"avg_nll": 2.907968,
|
||||
"elapsed_sec": 89.3,
|
||||
"device": "cuda:0"
|
||||
}
|
||||
]
|
||||
@@ -0,0 +1,42 @@
|
||||
[TASK_RUNNER gpu_id=4] Starting task=ppl_multi
|
||||
[TASK_RUNNER gpu_id=4] NUMA affinity set: cores 36-71
|
||||
/usr/local/lib/python3.12/dist-packages/torch/library.py:356: UserWarning: Warning only once for all operators, other operators may also be overridden.
|
||||
Overriding a previously registered kernel for the same operator and the same dispatch key
|
||||
operator: flash_attn::_flash_attn_backward(Tensor dout, Tensor q, Tensor k, Tensor v, Tensor out, Tensor softmax_lse, Tensor(a6!)? dq, Tensor(a7!)? dk, Tensor(a8!)? dv, float dropout_p, float softmax_scale, bool causal, SymInt window_size_left, SymInt window_size_right, float softcap, Tensor? alibi_slopes, bool deterministic, Tensor? rng_state=None) -> Tensor
|
||||
registered at /usr/local/lib/python3.12/dist-packages/torch/_library/custom_ops.py:922
|
||||
dispatch key: ADInplaceOrView
|
||||
previous kernel: no debug info
|
||||
new kernel: registered at /usr/local/lib/python3.12/dist-packages/torch/_library/custom_ops.py:922 (Triggered internally at /opt/pytorch/pytorch/aten/src/ATen/core/dispatch/OperatorEntry.cpp:208.)
|
||||
self.m.impl(
|
||||
[PPL_MULTI cuda:0] Loading model once for 7 files...
|
||||
[PPL cuda:0] korean_namuwiki: 2,166,179 tokens, 4.3 MB
|
||||
[PPL cuda:0] korean_namuwiki: batch 50/133, running PPL=25.9493, 24s
|
||||
[PPL cuda:0] korean_namuwiki: batch 100/133, running PPL=26.1080, 48s
|
||||
[PPL cuda:0] DONE korean_namuwiki: PPL=26.1185, BPT=4.7070, 63.6s
|
||||
[PPL cuda:0] korean_wiki: 524,561 tokens, 1.0 MB
|
||||
[PPL cuda:0] DONE korean_wiki: PPL=11.9394, BPT=3.5777, 15.5s
|
||||
[PPL cuda:0] namuwiki_2023b: 2,554,574 tokens, 5.1 MB
|
||||
[PPL cuda:0] namuwiki_2023b: batch 50/156, running PPL=19.1343, 24s
|
||||
[PPL cuda:0] namuwiki_2023b: batch 100/156, running PPL=20.0717, 48s
|
||||
[PPL cuda:0] namuwiki_2023b: batch 150/156, running PPL=18.9746, 72s
|
||||
[PPL cuda:0] DONE namuwiki_2023b: PPL=18.9672, BPT=4.2454, 75.0s
|
||||
[PPL cuda:0] wikipedia_ko: 590,691 tokens, 1.2 MB
|
||||
[PPL cuda:0] DONE wikipedia_ko: PPL=10.7399, BPT=3.4249, 17.4s
|
||||
[PPL cuda:0] mathpile: 2,379,696 tokens, 4.8 MB
|
||||
[PPL cuda:0] mathpile: batch 50/146, running PPL=2.7346, 24s
|
||||
[PPL cuda:0] mathpile: batch 100/146, running PPL=2.6413, 48s
|
||||
[PPL cuda:0] DONE mathpile: PPL=2.7286, BPT=1.4481, 69.9s
|
||||
[PPL cuda:0] open_web_math: 5,230,614 tokens, 10.5 MB
|
||||
[PPL cuda:0] open_web_math: batch 50/320, running PPL=6.0797, 24s
|
||||
[PPL cuda:0] open_web_math: batch 100/320, running PPL=7.2099, 48s
|
||||
[PPL cuda:0] open_web_math: batch 150/320, running PPL=6.8940, 72s
|
||||
[PPL cuda:0] open_web_math: batch 200/320, running PPL=6.9396, 96s
|
||||
[PPL cuda:0] open_web_math: batch 250/320, running PPL=6.8698, 120s
|
||||
[PPL cuda:0] open_web_math: batch 300/320, running PPL=6.9759, 144s
|
||||
[PPL cuda:0] DONE open_web_math: PPL=6.9422, BPT=2.7954, 153.5s
|
||||
[PPL cuda:0] val: 3,040,344 tokens, 6.1 MB
|
||||
[PPL cuda:0] val: batch 50/186, running PPL=18.3918, 24s
|
||||
[PPL cuda:0] val: batch 100/186, running PPL=18.6641, 48s
|
||||
[PPL cuda:0] val: batch 150/186, running PPL=18.4372, 72s
|
||||
[PPL cuda:0] DONE val: PPL=18.3195, BPT=4.1953, 89.3s
|
||||
[TASK_RUNNER gpu_id=4] Done. Result saved to /PROJECT/0325120031_A/ghong/taketimes/llm-bang/eval/outputs/3b_sft_eval_20260306_1536/phase1_ppl_multi_gpu4.json
|
||||
@@ -0,0 +1,11 @@
|
||||
{
|
||||
"name": "3b",
|
||||
"file": "3b_val.bin",
|
||||
"n_tokens": 75681623,
|
||||
"n_eval_tokens": 226891932,
|
||||
"ppl": 5.2529,
|
||||
"bits_per_token": 2.3931,
|
||||
"avg_nll": 1.658787,
|
||||
"elapsed_sec": 2210.8,
|
||||
"device": "cuda:0"
|
||||
}
|
||||
@@ -0,0 +1,106 @@
|
||||
[TASK_RUNNER gpu_id=0] Starting task=ppl_single
|
||||
[TASK_RUNNER gpu_id=0] NUMA affinity set: cores 0-35
|
||||
/usr/local/lib/python3.12/dist-packages/torch/library.py:356: UserWarning: Warning only once for all operators, other operators may also be overridden.
|
||||
Overriding a previously registered kernel for the same operator and the same dispatch key
|
||||
operator: flash_attn::_flash_attn_backward(Tensor dout, Tensor q, Tensor k, Tensor v, Tensor out, Tensor softmax_lse, Tensor(a6!)? dq, Tensor(a7!)? dk, Tensor(a8!)? dv, float dropout_p, float softmax_scale, bool causal, SymInt window_size_left, SymInt window_size_right, float softcap, Tensor? alibi_slopes, bool deterministic, Tensor? rng_state=None) -> Tensor
|
||||
registered at /usr/local/lib/python3.12/dist-packages/torch/_library/custom_ops.py:922
|
||||
dispatch key: ADInplaceOrView
|
||||
previous kernel: no debug info
|
||||
new kernel: registered at /usr/local/lib/python3.12/dist-packages/torch/_library/custom_ops.py:922 (Triggered internally at /opt/pytorch/pytorch/aten/src/ATen/core/dispatch/OperatorEntry.cpp:208.)
|
||||
self.m.impl(
|
||||
[PPL cuda:0] Loading model for 3b...
|
||||
[PPL cuda:0] 3b: 75,681,623 tokens, 151.4 MB
|
||||
[PPL cuda:0] 3b: batch 50/4620, running PPL=5.4164, 24s
|
||||
[PPL cuda:0] 3b: batch 100/4620, running PPL=6.0450, 48s
|
||||
[PPL cuda:0] 3b: batch 150/4620, running PPL=5.5738, 72s
|
||||
[PPL cuda:0] 3b: batch 200/4620, running PPL=6.0883, 96s
|
||||
[PPL cuda:0] 3b: batch 250/4620, running PPL=6.0169, 120s
|
||||
[PPL cuda:0] 3b: batch 300/4620, running PPL=5.9972, 144s
|
||||
[PPL cuda:0] 3b: batch 350/4620, running PPL=5.9564, 168s
|
||||
[PPL cuda:0] 3b: batch 400/4620, running PPL=5.9214, 192s
|
||||
[PPL cuda:0] 3b: batch 450/4620, running PPL=5.8858, 215s
|
||||
[PPL cuda:0] 3b: batch 500/4620, running PPL=5.7010, 239s
|
||||
[PPL cuda:0] 3b: batch 550/4620, running PPL=5.7143, 263s
|
||||
[PPL cuda:0] 3b: batch 600/4620, running PPL=5.7069, 287s
|
||||
[PPL cuda:0] 3b: batch 650/4620, running PPL=5.6650, 311s
|
||||
[PPL cuda:0] 3b: batch 700/4620, running PPL=5.7276, 335s
|
||||
[PPL cuda:0] 3b: batch 750/4620, running PPL=5.7790, 359s
|
||||
[PPL cuda:0] 3b: batch 800/4620, running PPL=5.7851, 383s
|
||||
[PPL cuda:0] 3b: batch 850/4620, running PPL=5.7654, 407s
|
||||
[PPL cuda:0] 3b: batch 900/4620, running PPL=5.7473, 431s
|
||||
[PPL cuda:0] 3b: batch 950/4620, running PPL=5.9971, 455s
|
||||
[PPL cuda:0] 3b: batch 1000/4620, running PPL=6.4546, 479s
|
||||
[PPL cuda:0] 3b: batch 1050/4620, running PPL=6.8996, 503s
|
||||
[PPL cuda:0] 3b: batch 1100/4620, running PPL=7.0148, 527s
|
||||
[PPL cuda:0] 3b: batch 1150/4620, running PPL=6.7299, 551s
|
||||
[PPL cuda:0] 3b: batch 1200/4620, running PPL=6.5328, 575s
|
||||
[PPL cuda:0] 3b: batch 1250/4620, running PPL=6.2238, 599s
|
||||
[PPL cuda:0] 3b: batch 1300/4620, running PPL=6.0460, 623s
|
||||
[PPL cuda:0] 3b: batch 1350/4620, running PPL=5.9469, 647s
|
||||
[PPL cuda:0] 3b: batch 1400/4620, running PPL=5.7950, 671s
|
||||
[PPL cuda:0] 3b: batch 1450/4620, running PPL=5.6847, 695s
|
||||
[PPL cuda:0] 3b: batch 1500/4620, running PPL=5.5754, 719s
|
||||
[PPL cuda:0] 3b: batch 1550/4620, running PPL=5.4084, 743s
|
||||
[PPL cuda:0] 3b: batch 1600/4620, running PPL=5.2615, 767s
|
||||
[PPL cuda:0] 3b: batch 1650/4620, running PPL=5.1610, 790s
|
||||
[PPL cuda:0] 3b: batch 1700/4620, running PPL=5.1669, 814s
|
||||
[PPL cuda:0] 3b: batch 1750/4620, running PPL=5.0382, 838s
|
||||
[PPL cuda:0] 3b: batch 1800/4620, running PPL=4.9093, 862s
|
||||
[PPL cuda:0] 3b: batch 1850/4620, running PPL=4.8600, 886s
|
||||
[PPL cuda:0] 3b: batch 1900/4620, running PPL=4.7480, 910s
|
||||
[PPL cuda:0] 3b: batch 1950/4620, running PPL=4.5824, 934s
|
||||
[PPL cuda:0] 3b: batch 2000/4620, running PPL=4.4202, 958s
|
||||
[PPL cuda:0] 3b: batch 2050/4620, running PPL=4.2723, 982s
|
||||
[PPL cuda:0] 3b: batch 2100/4620, running PPL=4.2455, 1006s
|
||||
[PPL cuda:0] 3b: batch 2150/4620, running PPL=4.2944, 1030s
|
||||
[PPL cuda:0] 3b: batch 2200/4620, running PPL=4.3201, 1054s
|
||||
[PPL cuda:0] 3b: batch 2250/4620, running PPL=4.3515, 1078s
|
||||
[PPL cuda:0] 3b: batch 2300/4620, running PPL=4.3824, 1102s
|
||||
[PPL cuda:0] 3b: batch 2350/4620, running PPL=4.4155, 1126s
|
||||
[PPL cuda:0] 3b: batch 2400/4620, running PPL=4.4365, 1150s
|
||||
[PPL cuda:0] 3b: batch 2450/4620, running PPL=4.4665, 1174s
|
||||
[PPL cuda:0] 3b: batch 2500/4620, running PPL=4.4822, 1198s
|
||||
[PPL cuda:0] 3b: batch 2550/4620, running PPL=4.4967, 1222s
|
||||
[PPL cuda:0] 3b: batch 2600/4620, running PPL=4.5004, 1245s
|
||||
[PPL cuda:0] 3b: batch 2650/4620, running PPL=4.5117, 1269s
|
||||
[PPL cuda:0] 3b: batch 2700/4620, running PPL=4.5443, 1293s
|
||||
[PPL cuda:0] 3b: batch 2750/4620, running PPL=4.5552, 1317s
|
||||
[PPL cuda:0] 3b: batch 2800/4620, running PPL=4.5918, 1341s
|
||||
[PPL cuda:0] 3b: batch 2850/4620, running PPL=4.6098, 1365s
|
||||
[PPL cuda:0] 3b: batch 2900/4620, running PPL=4.6270, 1389s
|
||||
[PPL cuda:0] 3b: batch 2950/4620, running PPL=4.6471, 1413s
|
||||
[PPL cuda:0] 3b: batch 3000/4620, running PPL=4.6615, 1437s
|
||||
[PPL cuda:0] 3b: batch 3050/4620, running PPL=4.7743, 1461s
|
||||
[PPL cuda:0] 3b: batch 3100/4620, running PPL=4.8923, 1485s
|
||||
[PPL cuda:0] 3b: batch 3150/4620, running PPL=5.0106, 1508s
|
||||
[PPL cuda:0] 3b: batch 3200/4620, running PPL=5.1284, 1532s
|
||||
[PPL cuda:0] 3b: batch 3250/4620, running PPL=5.2448, 1556s
|
||||
[PPL cuda:0] 3b: batch 3300/4620, running PPL=5.3526, 1580s
|
||||
[PPL cuda:0] 3b: batch 3350/4620, running PPL=5.4628, 1604s
|
||||
[PPL cuda:0] 3b: batch 3400/4620, running PPL=5.5631, 1628s
|
||||
[PPL cuda:0] 3b: batch 3450/4620, running PPL=5.6261, 1652s
|
||||
[PPL cuda:0] 3b: batch 3500/4620, running PPL=5.6339, 1676s
|
||||
[PPL cuda:0] 3b: batch 3550/4620, running PPL=5.6681, 1700s
|
||||
[PPL cuda:0] 3b: batch 3600/4620, running PPL=5.6806, 1724s
|
||||
[PPL cuda:0] 3b: batch 3650/4620, running PPL=5.6922, 1748s
|
||||
[PPL cuda:0] 3b: batch 3700/4620, running PPL=5.7163, 1771s
|
||||
[PPL cuda:0] 3b: batch 3750/4620, running PPL=5.7273, 1795s
|
||||
[PPL cuda:0] 3b: batch 3800/4620, running PPL=5.6770, 1819s
|
||||
[PPL cuda:0] 3b: batch 3850/4620, running PPL=5.6169, 1843s
|
||||
[PPL cuda:0] 3b: batch 3900/4620, running PPL=5.5709, 1867s
|
||||
[PPL cuda:0] 3b: batch 3950/4620, running PPL=5.5302, 1891s
|
||||
[PPL cuda:0] 3b: batch 4000/4620, running PPL=5.4908, 1915s
|
||||
[PPL cuda:0] 3b: batch 4050/4620, running PPL=5.4550, 1939s
|
||||
[PPL cuda:0] 3b: batch 4100/4620, running PPL=5.4304, 1963s
|
||||
[PPL cuda:0] 3b: batch 4150/4620, running PPL=5.4095, 1986s
|
||||
[PPL cuda:0] 3b: batch 4200/4620, running PPL=5.3903, 2010s
|
||||
[PPL cuda:0] 3b: batch 4250/4620, running PPL=5.3703, 2034s
|
||||
[PPL cuda:0] 3b: batch 4300/4620, running PPL=5.3517, 2058s
|
||||
[PPL cuda:0] 3b: batch 4350/4620, running PPL=5.3330, 2082s
|
||||
[PPL cuda:0] 3b: batch 4400/4620, running PPL=5.3155, 2106s
|
||||
[PPL cuda:0] 3b: batch 4450/4620, running PPL=5.2987, 2130s
|
||||
[PPL cuda:0] 3b: batch 4500/4620, running PPL=5.2842, 2154s
|
||||
[PPL cuda:0] 3b: batch 4550/4620, running PPL=5.2702, 2178s
|
||||
[PPL cuda:0] 3b: batch 4600/4620, running PPL=5.2573, 2202s
|
||||
[PPL cuda:0] DONE 3b: PPL=5.2529, BPT=2.3931, 2210.8s
|
||||
[TASK_RUNNER gpu_id=0] Done. Result saved to /PROJECT/0325120031_A/ghong/taketimes/llm-bang/eval/outputs/3b_sft_eval_20260306_1536/phase1_ppl_single_gpu0.json
|
||||
@@ -0,0 +1,684 @@
|
||||
{
|
||||
"grid_results": [
|
||||
{
|
||||
"params": "t0.7_rep1.2",
|
||||
"temperature": 0.7,
|
||||
"repetition_penalty": 1.2,
|
||||
"avg_3gram_rep": 0.0,
|
||||
"avg_4gram_rep": 0.0,
|
||||
"eos_rate": 1.0,
|
||||
"avg_tokens": 66.0,
|
||||
"per_prompt": [
|
||||
{
|
||||
"prompt": "대한민국의 수도는",
|
||||
"n_tokens": 62,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.02631578947368418,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "인공지능이란",
|
||||
"n_tokens": 56,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.0,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "한국의 전통 음식 중에서",
|
||||
"n_tokens": 53,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.0,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "지구 온난화의 주요 원인은",
|
||||
"n_tokens": 115,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.027027027027026973,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "프로그래밍을 배우려면",
|
||||
"n_tokens": 44,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.0,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"params": "t0.7_rep1.3",
|
||||
"temperature": 0.7,
|
||||
"repetition_penalty": 1.3,
|
||||
"avg_3gram_rep": 0.0,
|
||||
"avg_4gram_rep": 0.0,
|
||||
"eos_rate": 0.8,
|
||||
"avg_tokens": 82.8,
|
||||
"per_prompt": [
|
||||
{
|
||||
"prompt": "대한민국의 수도는",
|
||||
"n_tokens": 5,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.0,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "인공지능이란",
|
||||
"n_tokens": 71,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.02083333333333337,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "한국의 전통 음식 중에서",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.03658536585365857,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "지구 온난화의 주요 원인은",
|
||||
"n_tokens": 53,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.02857142857142858,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "프로그래밍을 배우려면",
|
||||
"n_tokens": 29,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.05882352941176472,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"params": "t0.9_rep1.2",
|
||||
"temperature": 0.9,
|
||||
"repetition_penalty": 1.2,
|
||||
"avg_3gram_rep": 0.0,
|
||||
"avg_4gram_rep": 0.0,
|
||||
"eos_rate": 0.8,
|
||||
"avg_tokens": 104.2,
|
||||
"per_prompt": [
|
||||
{
|
||||
"prompt": "대한민국의 수도는",
|
||||
"n_tokens": 43,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.0357142857142857,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "인공지능이란",
|
||||
"n_tokens": 106,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.05405405405405406,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "한국의 전통 음식 중에서",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.027210884353741527,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "지구 온난화의 주요 원인은",
|
||||
"n_tokens": 61,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.023255813953488413,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "프로그래밍을 배우려면",
|
||||
"n_tokens": 55,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.0,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"params": "t1.0_rep1.1",
|
||||
"temperature": 1.0,
|
||||
"repetition_penalty": 1.1,
|
||||
"avg_3gram_rep": 0.0,
|
||||
"avg_4gram_rep": 0.0,
|
||||
"eos_rate": 1.0,
|
||||
"avg_tokens": 92.8,
|
||||
"per_prompt": [
|
||||
{
|
||||
"prompt": "대한민국의 수도는",
|
||||
"n_tokens": 64,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.0,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "인공지능이란",
|
||||
"n_tokens": 178,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.08910891089108908,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "한국의 전통 음식 중에서",
|
||||
"n_tokens": 94,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.07692307692307687,
|
||||
"2gram_rep": 0.019607843137254943,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "지구 온난화의 주요 원인은",
|
||||
"n_tokens": 45,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.1428571428571429,
|
||||
"2gram_rep": 0.07407407407407407,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "프로그래밍을 배우려면",
|
||||
"n_tokens": 83,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.01851851851851849,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"params": "t0.7_rep1.1",
|
||||
"temperature": 0.7,
|
||||
"repetition_penalty": 1.1,
|
||||
"avg_3gram_rep": 0.0067,
|
||||
"avg_4gram_rep": 0.0,
|
||||
"eos_rate": 0.8,
|
||||
"avg_tokens": 111.2,
|
||||
"per_prompt": [
|
||||
{
|
||||
"prompt": "대한민국의 수도는",
|
||||
"n_tokens": 75,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.14634146341463417,
|
||||
"2gram_rep": 0.050000000000000044,
|
||||
"3gram_rep": 0.02564102564102566,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "인공지능이란",
|
||||
"n_tokens": 74,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.019230769230769273,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "한국의 전통 음식 중에서",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.19548872180451127,
|
||||
"2gram_rep": 0.037878787878787845,
|
||||
"3gram_rep": 0.007633587786259555,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "지구 온난화의 주요 원인은",
|
||||
"n_tokens": 77,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.0625,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "프로그래밍을 배우려면",
|
||||
"n_tokens": 74,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.10416666666666663,
|
||||
"2gram_rep": 0.021276595744680882,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"params": "t1.0",
|
||||
"temperature": 1.0,
|
||||
"repetition_penalty": 1.0,
|
||||
"avg_3gram_rep": 0.0262,
|
||||
"avg_4gram_rep": 0.0126,
|
||||
"eos_rate": 0.8,
|
||||
"avg_tokens": 95.0,
|
||||
"per_prompt": [
|
||||
{
|
||||
"prompt": "대한민국의 수도는",
|
||||
"n_tokens": 13,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.33333333333333337,
|
||||
"2gram_rep": 0.19999999999999996,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "인공지능이란",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.21052631578947367,
|
||||
"2gram_rep": 0.05303030303030298,
|
||||
"3gram_rep": 0.022900763358778664,
|
||||
"4gram_rep": 0.007692307692307665
|
||||
},
|
||||
{
|
||||
"prompt": "한국의 전통 음식 중에서",
|
||||
"n_tokens": 67,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.10256410256410253,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "지구 온난화의 주요 원인은",
|
||||
"n_tokens": 82,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.14583333333333337,
|
||||
"2gram_rep": 0.021276595744680882,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "프로그래밍을 배우려면",
|
||||
"n_tokens": 57,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.28205128205128205,
|
||||
"2gram_rep": 0.1842105263157895,
|
||||
"3gram_rep": 0.10810810810810811,
|
||||
"4gram_rep": 0.05555555555555558
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"params": "t0.5_rep1.1",
|
||||
"temperature": 0.5,
|
||||
"repetition_penalty": 1.1,
|
||||
"avg_3gram_rep": 0.0271,
|
||||
"avg_4gram_rep": 0.0045,
|
||||
"eos_rate": 1.0,
|
||||
"avg_tokens": 53.6,
|
||||
"per_prompt": [
|
||||
{
|
||||
"prompt": "대한민국의 수도는",
|
||||
"n_tokens": 23,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.16666666666666663,
|
||||
"2gram_rep": 0.09090909090909094,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "인공지능이란",
|
||||
"n_tokens": 52,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.25806451612903225,
|
||||
"2gram_rep": 0.1333333333333333,
|
||||
"3gram_rep": 0.06896551724137934,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "한국의 전통 음식 중에서",
|
||||
"n_tokens": 63,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.3191489361702128,
|
||||
"2gram_rep": 0.13043478260869568,
|
||||
"3gram_rep": 0.06666666666666665,
|
||||
"4gram_rep": 0.022727272727272707
|
||||
},
|
||||
{
|
||||
"prompt": "지구 온난화의 주요 원인은",
|
||||
"n_tokens": 66,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.09090909090909094,
|
||||
"2gram_rep": 0.023255813953488413,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "프로그래밍을 배우려면",
|
||||
"n_tokens": 64,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.04878048780487809,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"params": "t0.9_rep1.1",
|
||||
"temperature": 0.9,
|
||||
"repetition_penalty": 1.1,
|
||||
"avg_3gram_rep": 0.1214,
|
||||
"avg_4gram_rep": 0.1207,
|
||||
"eos_rate": 0.8,
|
||||
"avg_tokens": 117.8,
|
||||
"per_prompt": [
|
||||
{
|
||||
"prompt": "대한민국의 수도는",
|
||||
"n_tokens": 72,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.07692307692307687,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "인공지능이란",
|
||||
"n_tokens": 75,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.04761904761904767,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "한국의 전통 음식 중에서",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.6666666666666667,
|
||||
"2gram_rep": 0.6194690265486726,
|
||||
"3gram_rep": 0.6071428571428572,
|
||||
"4gram_rep": 0.6036036036036037
|
||||
},
|
||||
{
|
||||
"prompt": "지구 온난화의 주요 원인은",
|
||||
"n_tokens": 90,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.09523809523809523,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "프로그래밍을 배우려면",
|
||||
"n_tokens": 96,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.1029411764705882,
|
||||
"2gram_rep": 0.014925373134328401,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"params": "t0.9",
|
||||
"temperature": 0.9,
|
||||
"repetition_penalty": 1.0,
|
||||
"avg_3gram_rep": 0.2142,
|
||||
"avg_4gram_rep": 0.1885,
|
||||
"eos_rate": 1.0,
|
||||
"avg_tokens": 139.2,
|
||||
"per_prompt": [
|
||||
{
|
||||
"prompt": "대한민국의 수도는",
|
||||
"n_tokens": 204,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.7636363636363637,
|
||||
"2gram_rep": 0.7064220183486238,
|
||||
"3gram_rep": 0.6666666666666667,
|
||||
"4gram_rep": 0.6261682242990654
|
||||
},
|
||||
{
|
||||
"prompt": "인공지능이란",
|
||||
"n_tokens": 49,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.12121212121212122,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "한국의 전통 음식 중에서",
|
||||
"n_tokens": 93,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.36,
|
||||
"2gram_rep": 0.24489795918367352,
|
||||
"3gram_rep": 0.14583333333333337,
|
||||
"4gram_rep": 0.1063829787234043
|
||||
},
|
||||
{
|
||||
"prompt": "지구 온난화의 주요 원인은",
|
||||
"n_tokens": 134,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.2682926829268293,
|
||||
"2gram_rep": 0.04938271604938271,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "프로그래밍을 배우려면",
|
||||
"n_tokens": 216,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.4672131147540983,
|
||||
"2gram_rep": 0.3223140495867769,
|
||||
"3gram_rep": 0.2583333333333333,
|
||||
"4gram_rep": 0.2100840336134454
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"params": "t0.7",
|
||||
"temperature": 0.7,
|
||||
"repetition_penalty": 1.0,
|
||||
"avg_3gram_rep": 0.3425,
|
||||
"avg_4gram_rep": 0.3184,
|
||||
"eos_rate": 0.6,
|
||||
"avg_tokens": 191.0,
|
||||
"per_prompt": [
|
||||
{
|
||||
"prompt": "대한민국의 수도는",
|
||||
"n_tokens": 123,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.25396825396825395,
|
||||
"2gram_rep": 0.032258064516129004,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "인공지능이란",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.8633540372670807,
|
||||
"2gram_rep": 0.8125,
|
||||
"3gram_rep": 0.7672955974842768,
|
||||
"4gram_rep": 0.7341772151898734
|
||||
},
|
||||
{
|
||||
"prompt": "한국의 전통 음식 중에서",
|
||||
"n_tokens": 235,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.4444444444444444,
|
||||
"2gram_rep": 0.30069930069930073,
|
||||
"3gram_rep": 0.204225352112676,
|
||||
"4gram_rep": 0.14184397163120566
|
||||
},
|
||||
{
|
||||
"prompt": "지구 온난화의 주요 원인은",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.813953488372093,
|
||||
"2gram_rep": 0.7719298245614035,
|
||||
"3gram_rep": 0.7411764705882353,
|
||||
"4gram_rep": 0.7159763313609467
|
||||
},
|
||||
{
|
||||
"prompt": "프로그래밍을 배우려면",
|
||||
"n_tokens": 85,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.2321428571428571,
|
||||
"2gram_rep": 0.07272727272727275,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"params": "greedy",
|
||||
"temperature": 0.0,
|
||||
"repetition_penalty": 1.0,
|
||||
"avg_3gram_rep": 0.5963,
|
||||
"avg_4gram_rep": 0.5836,
|
||||
"eos_rate": 0.6,
|
||||
"avg_tokens": 191.0,
|
||||
"per_prompt": [
|
||||
{
|
||||
"prompt": "대한민국의 수도는",
|
||||
"n_tokens": 20,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.5,
|
||||
"2gram_rep": 0.2222222222222222,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "인공지능이란",
|
||||
"n_tokens": 189,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.8442622950819672,
|
||||
"2gram_rep": 0.8264462809917356,
|
||||
"3gram_rep": 0.825,
|
||||
"4gram_rep": 0.8235294117647058
|
||||
},
|
||||
{
|
||||
"prompt": "한국의 전통 음식 중에서",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.8648648648648649,
|
||||
"2gram_rep": 0.8435374149659864,
|
||||
"3gram_rep": 0.8356164383561644,
|
||||
"4gram_rep": 0.8275862068965517
|
||||
},
|
||||
{
|
||||
"prompt": "지구 온난화의 주요 원인은",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.576271186440678,
|
||||
"2gram_rep": 0.4655172413793104,
|
||||
"3gram_rep": 0.42105263157894735,
|
||||
"4gram_rep": 0.375
|
||||
},
|
||||
{
|
||||
"prompt": "프로그래밍을 배우려면",
|
||||
"n_tokens": 234,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.9225352112676056,
|
||||
"2gram_rep": 0.9078014184397163,
|
||||
"3gram_rep": 0.9,
|
||||
"4gram_rep": 0.8920863309352518
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"params": "t0.5",
|
||||
"temperature": 0.5,
|
||||
"repetition_penalty": 1.0,
|
||||
"avg_3gram_rep": 0.7097,
|
||||
"avg_4gram_rep": 0.7069,
|
||||
"eos_rate": 0.2,
|
||||
"avg_tokens": 208.6,
|
||||
"per_prompt": [
|
||||
{
|
||||
"prompt": "대한민국의 수도는",
|
||||
"n_tokens": 19,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.4444444444444444,
|
||||
"2gram_rep": 0.25,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "인공지능이란",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.9197080291970803,
|
||||
"2gram_rep": 0.9117647058823529,
|
||||
"3gram_rep": 0.9111111111111111,
|
||||
"4gram_rep": 0.9104477611940298
|
||||
},
|
||||
{
|
||||
"prompt": "한국의 전통 음식 중에서",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.91875,
|
||||
"2gram_rep": 0.9119496855345912,
|
||||
"3gram_rep": 0.9113924050632911,
|
||||
"4gram_rep": 0.910828025477707
|
||||
},
|
||||
{
|
||||
"prompt": "지구 온난화의 주요 원인은",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.8931297709923665,
|
||||
"2gram_rep": 0.8769230769230769,
|
||||
"3gram_rep": 0.8682170542635659,
|
||||
"4gram_rep": 0.8671875
|
||||
},
|
||||
{
|
||||
"prompt": "프로그래밍을 배우려면",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.9081081081081082,
|
||||
"2gram_rep": 0.875,
|
||||
"3gram_rep": 0.8579234972677596,
|
||||
"4gram_rep": 0.8461538461538461
|
||||
}
|
||||
]
|
||||
}
|
||||
],
|
||||
"best": {
|
||||
"params": "t0.7_rep1.2",
|
||||
"temperature": 0.7,
|
||||
"repetition_penalty": 1.2,
|
||||
"avg_3gram_rep": 0.0,
|
||||
"avg_4gram_rep": 0.0
|
||||
},
|
||||
"elapsed_sec": 71.7
|
||||
}
|
||||
@@ -0,0 +1,26 @@
|
||||
[TASK_RUNNER gpu_id=7] Starting task=repetition_grid
|
||||
[TASK_RUNNER gpu_id=7] NUMA affinity set: cores 36-71
|
||||
/usr/local/lib/python3.12/dist-packages/torch/library.py:356: UserWarning: Warning only once for all operators, other operators may also be overridden.
|
||||
Overriding a previously registered kernel for the same operator and the same dispatch key
|
||||
operator: flash_attn::_flash_attn_backward(Tensor dout, Tensor q, Tensor k, Tensor v, Tensor out, Tensor softmax_lse, Tensor(a6!)? dq, Tensor(a7!)? dk, Tensor(a8!)? dv, float dropout_p, float softmax_scale, bool causal, SymInt window_size_left, SymInt window_size_right, float softcap, Tensor? alibi_slopes, bool deterministic, Tensor? rng_state=None) -> Tensor
|
||||
registered at /usr/local/lib/python3.12/dist-packages/torch/_library/custom_ops.py:922
|
||||
dispatch key: ADInplaceOrView
|
||||
previous kernel: no debug info
|
||||
new kernel: registered at /usr/local/lib/python3.12/dist-packages/torch/_library/custom_ops.py:922 (Triggered internally at /opt/pytorch/pytorch/aten/src/ATen/core/dispatch/OperatorEntry.cpp:208.)
|
||||
self.m.impl(
|
||||
[REP cuda:0] Loading model...
|
||||
[REP cuda:0] Chat template ENABLED
|
||||
[REP cuda:0] greedy: 3gram=59.63%, 4gram=58.36%, eos=60%, 191tok
|
||||
[REP cuda:0] t0.5: 3gram=70.97%, 4gram=70.69%, eos=20%, 209tok
|
||||
[REP cuda:0] t0.5_rep1.1: 3gram=2.71%, 4gram=0.45%, eos=100%, 54tok
|
||||
[REP cuda:0] t0.7: 3gram=34.25%, 4gram=31.84%, eos=60%, 191tok
|
||||
[REP cuda:0] t0.7_rep1.1: 3gram=0.67%, 4gram=0.00%, eos=80%, 111tok
|
||||
[REP cuda:0] t0.7_rep1.2: 3gram=0.00%, 4gram=0.00%, eos=100%, 66tok
|
||||
[REP cuda:0] t0.7_rep1.3: 3gram=0.00%, 4gram=0.00%, eos=80%, 83tok
|
||||
[REP cuda:0] t0.9: 3gram=21.42%, 4gram=18.85%, eos=100%, 139tok
|
||||
[REP cuda:0] t0.9_rep1.1: 3gram=12.14%, 4gram=12.07%, eos=80%, 118tok
|
||||
[REP cuda:0] t0.9_rep1.2: 3gram=0.00%, 4gram=0.00%, eos=80%, 104tok
|
||||
[REP cuda:0] t1.0: 3gram=2.62%, 4gram=1.26%, eos=80%, 95tok
|
||||
[REP cuda:0] t1.0_rep1.1: 3gram=0.00%, 4gram=0.00%, eos=100%, 93tok
|
||||
[REP cuda:0] DONE best=t0.7_rep1.2 (3gram=0.00%), 71.7s
|
||||
[TASK_RUNNER gpu_id=7] Done. Result saved to /PROJECT/0325120031_A/ghong/taketimes/llm-bang/eval/outputs/3b_sft_eval_20260306_1536/phase1_repetition_grid_gpu7.json
|
||||
1734
source/eval/outputs/3b_sft_eval_20260306_1536/phase1_results.json
Normal file
1734
source/eval/outputs/3b_sft_eval_20260306_1536/phase1_results.json
Normal file
File diff suppressed because it is too large
Load Diff
208766
source/eval/outputs/3b_sft_eval_20260306_1536/phase2_gpu0_0shot.json
Normal file
208766
source/eval/outputs/3b_sft_eval_20260306_1536/phase2_gpu0_0shot.json
Normal file
File diff suppressed because one or more lines are too long
File diff suppressed because one or more lines are too long
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:eea5c56784e1226251fd4e44cba86e7052a5e67bd2ad2edd47ad35b81f5111ad
|
||||
size 19230961
|
||||
File diff suppressed because one or more lines are too long
70582
source/eval/outputs/3b_sft_eval_20260306_1536/phase2_gpu1_0shot.json
Normal file
70582
source/eval/outputs/3b_sft_eval_20260306_1536/phase2_gpu1_0shot.json
Normal file
File diff suppressed because one or more lines are too long
File diff suppressed because one or more lines are too long
File diff suppressed because one or more lines are too long
File diff suppressed because one or more lines are too long
104181
source/eval/outputs/3b_sft_eval_20260306_1536/phase2_gpu2_0shot.json
Normal file
104181
source/eval/outputs/3b_sft_eval_20260306_1536/phase2_gpu2_0shot.json
Normal file
File diff suppressed because one or more lines are too long
File diff suppressed because one or more lines are too long
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:14e52767614a2c22e3439098b12cde4e6b4994ecb52621459bff41ed08b19f7b
|
||||
size 13060630
|
||||
File diff suppressed because one or more lines are too long
37750
source/eval/outputs/3b_sft_eval_20260306_1536/phase2_gpu3_0shot.json
Normal file
37750
source/eval/outputs/3b_sft_eval_20260306_1536/phase2_gpu3_0shot.json
Normal file
File diff suppressed because one or more lines are too long
File diff suppressed because one or more lines are too long
File diff suppressed because one or more lines are too long
File diff suppressed because one or more lines are too long
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:eef7c1537ba219d6a6d8c85f3e4fc09c0484f51ffb7a6ccc9d9bfd27a2fecf0c
|
||||
size 64399105
|
||||
File diff suppressed because one or more lines are too long
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:39050bc4151f5f70811bc78db09ff772c751205f2b8454be08a72b573802f2d8
|
||||
size 148112194
|
||||
File diff suppressed because one or more lines are too long
165351
source/eval/outputs/3b_sft_eval_20260306_1536/phase2_gpu5_0shot.json
Normal file
165351
source/eval/outputs/3b_sft_eval_20260306_1536/phase2_gpu5_0shot.json
Normal file
File diff suppressed because one or more lines are too long
File diff suppressed because one or more lines are too long
165351
source/eval/outputs/3b_sft_eval_20260306_1536/phase2_gpu5_5shot_5shot.json
Normal file
165351
source/eval/outputs/3b_sft_eval_20260306_1536/phase2_gpu5_5shot_5shot.json
Normal file
File diff suppressed because one or more lines are too long
File diff suppressed because one or more lines are too long
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:262d3039ba0ac0f2bbf8950eacadc1b26198b6f52ae0ee9422c3028f141e616c
|
||||
size 40321041
|
||||
File diff suppressed because one or more lines are too long
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:8a9768baac69c1c6c2ef8082819593cd21cec5fd6c81509fc83918a8038284d3
|
||||
size 142809029
|
||||
File diff suppressed because one or more lines are too long
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:627f104c99a4e2d04be41a11bf8d9d0666f33f741470ffd957afef547b12817a
|
||||
size 22472298
|
||||
File diff suppressed because one or more lines are too long
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:5964c747bc2498f255b40bcd77be360be8d3932137bc3ee2015a8273c26a2ba1
|
||||
size 61140256
|
||||
File diff suppressed because one or more lines are too long
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:601f1d6e59b5ad66ca96d751f2b06510f4b3e3a9f6bf014f414a49b52647889f
|
||||
size 574846308
|
||||
@@ -0,0 +1,196 @@
|
||||
# FRANKENSTALLM 3B SFT 모델 다면적 종합 평가 보고서
|
||||
|
||||
- **평가 일시**: 2026-03-07 14:36:36
|
||||
- **SFT 체크포인트**: checkpoint-best (val_loss=1.8851, step 25500)
|
||||
- **Base 참조 결과**: 3b_reeval_20260305_1451
|
||||
- **총 소요 시간**: 49m 27s
|
||||
- **결과 디렉토리**: eval/outputs/3b_sft_eval_20260306_1536
|
||||
|
||||
## 1. Executive Summary
|
||||
|
||||
| 평가 차원 | 결과 | 상세 |
|
||||
|----------|------|------|
|
||||
| 차원 1: Perplexity (지식 보존) | **PASS** | 최대 forgetting 0.9% (임계값 15.0%) |
|
||||
| 차원 2: 생성 품질 | **FAIL** | 반복률 72.97% (목표 <5%), EOS 60% (목표 >90%) |
|
||||
| 차원 3: 한국어 벤치마크 | **FAIL** | KoBEST 평균 43.26% (목표 >55%) |
|
||||
| 차원 4: 영어 벤치마크 | **PASS** | hellaswag=25.9%, arc_easy=25.9%, arc_challenge=21.7%... |
|
||||
| 차원 5: Calibration | **PASS** | Top-1 68.59% (목표 ≥65%) |
|
||||
| 차원 6: SFT Chat 능력 | **PASS** | EOS 종료율 60%, 생성 샘플 수동 검토 필요 |
|
||||
|
||||
**종합**: 4/6 차원 통과
|
||||
|
||||
### ORPO 판정 (정량 스코어)
|
||||
|
||||
**결정**: ORPO (확신도: 86%)
|
||||
|
||||
**정량 스코어**: 60.9/100
|
||||
|
||||
| 차원 | 점수 | /가중치 | 현재값 | 기준 | 상태 |
|
||||
|------|------|--------|--------|------|------|
|
||||
| PPL Forgetting | 23.5 | /25 | 0.9 | <15.0% | PASS |
|
||||
| Greedy 반복률 | 0 | /20 | 73.0% | <5% | FAIL |
|
||||
| EOS 종료율 | 6.7 | /10 | 60% | >90% | FAIL |
|
||||
| KoBEST 평균 | 15.7 | /20 | 43.3% | >55% | FAIL |
|
||||
| Calibration | 10 | /10 | 68.6% | >=65% | PASS |
|
||||
| 다양성 | 0 | /10 | N/A | >70% | N/A |
|
||||
| 영어 유지 | 5.0 | /5 | 전부 통과 | — | PASS |
|
||||
|
||||
**ORPO 기대 이득**: +30.0점 (반복률/EOS/다양성 개선 기대, PPL/벤치 변화 없음)
|
||||
|
||||
**참조 모델 비교**:
|
||||
|
||||
- Llama 3.2 1B: KoBEST=52%, MMLU-KO=28%
|
||||
- Llama 3.2 3B: KoBEST=56%, MMLU-KO=35%
|
||||
- Qwen 2.5 3B: KoBEST=58%, MMLU-KO=42%
|
||||
|
||||
**→ Phase 3: ORPO** (스코어 40-79, 지식 보존 양호, 생성 개선 필요)
|
||||
|
||||
## 2. Perplexity 비교 (지식 보존)
|
||||
|
||||
| 데이터셋 | Base PPL | SFT PPL | 변화 | Forgetting % | 판정 |
|
||||
|---------|---------|---------|------|-------------|------|
|
||||
| 3b | 5.2263 | 5.2529 | +0.0266 | +0.5% | PASS |
|
||||
| cc100_ko | 21.7820 | 21.8072 | +0.0252 | +0.1% | PASS |
|
||||
| cosmo_auto_math_text | 3.1492 | 3.1581 | +0.0089 | +0.3% | PASS |
|
||||
| cosmo_khanacademy | 2.9322 | 2.9390 | +0.0068 | +0.2% | PASS |
|
||||
| cosmo_openstax | 3.8673 | 3.8805 | +0.0132 | +0.3% | PASS |
|
||||
| cosmo_stanford | 3.3624 | 3.3742 | +0.0118 | +0.4% | PASS |
|
||||
| cosmo_stories | 3.9552 | 3.9668 | +0.0116 | +0.3% | PASS |
|
||||
| cosmo_web_v2 | 4.1664 | 4.1799 | +0.0135 | +0.3% | PASS |
|
||||
| cosmo_wikihow | 3.3097 | 3.3201 | +0.0104 | +0.3% | PASS |
|
||||
| hplt_ko | 2.4028 | 2.4121 | +0.0093 | +0.4% | PASS |
|
||||
| korean | 7.0155 | 7.0714 | +0.0559 | +0.8% | PASS |
|
||||
| korean_c4 | 5.7173 | 5.7617 | +0.0444 | +0.8% | PASS |
|
||||
| korean_namuwiki | 25.8814 | 26.1185 | +0.2371 | +0.9% | PASS |
|
||||
| korean_wiki | 11.8359 | 11.9394 | +0.1035 | +0.9% | PASS |
|
||||
| mathpile | 2.7244 | 2.7286 | +0.0042 | +0.2% | PASS |
|
||||
| namuwiki_2023b | 18.9170 | 18.9672 | +0.0502 | +0.3% | PASS |
|
||||
| open_web_math | 6.9264 | 6.9422 | +0.0158 | +0.2% | PASS |
|
||||
| val | 18.3046 | 18.3195 | +0.0149 | +0.1% | PASS |
|
||||
| wikipedia_ko | 10.7059 | 10.7399 | +0.0340 | +0.3% | PASS |
|
||||
|
||||
**평균 Forgetting**: +0.4% | **최대**: +0.9% | **판정**: PASS (임계값 15.0%)
|
||||
|
||||
## 3. 생성 품질 비교
|
||||
|
||||
| 지표 | Base | SFT | 목표 | 판정 |
|
||||
|------|------|-----|------|------|
|
||||
| Greedy 3-gram 반복률 | 60.99% | 72.97% | < 5% | FAIL |
|
||||
| Greedy 4-gram 반복률 | 57.02% | 71.83% | < 5% | FAIL |
|
||||
| EOS 종료율 | 0% | 60.00% | > 90% | FAIL |
|
||||
| Sampled 3-gram 반복률 | — | 22.72% | — | — |
|
||||
| Sampled EOS 종료율 | — | 73.33% | — | — |
|
||||
|
||||
**Chat Template**: 활성화
|
||||
|
||||
### 생성 샘플 (Greedy, Chat Template)
|
||||
|
||||
**[1]** `대한민국의 수도는`
|
||||
> 대한민국의 수도는 서울특별시입니다. 대한민국의 수도는 서울이며, 대한민국의 수도는 대한민국의 수도입니다.
|
||||
> *EOS=True, 3gram_rep=0.00%, tokens=20*
|
||||
|
||||
**[2]** `인공지능이란`
|
||||
> 인공지능은 인공지능의 한 분야로, 인간의 지능을 모방하여 스스로 학습하고 학습하여 새로운 지식을 창출하는 것을 목표로 하는 컴퓨터 과학의 한 분야입니다. 인공지능은 인간의 지능을 모방하여 스스로 학습하고 학습하여 새로운 지식을 창출하는 것을 목표로 하는 컴퓨터 과학의 한 분야입니다. 인공지능은 인간의 지능을 모방하여 스스로 학습하고 학습하여 새로운 지식을 창출하는 것을 목표로 하는 컴퓨터 과학의 한 분야입니다. 인공지능은 인간의 지능을 모방하여 스스로 학습하고 학습하여 새로운 지식을 창출하는 것을 목표로 하는 컴퓨터 과학의 한 분야입니다. 인공지능은 인간의 지능을 모방하여 스스로 학습하고 학습하여 새로운 지식을 창출하는 것을 목표로 하는 컴퓨터 과학의 한 분야입니다. 인공지능은 인간의 지능을 모방하여 스스로
|
||||
> *EOS=True, 3gram_rep=82.50%, tokens=189*
|
||||
|
||||
**[3]** `한국의 전통 음식 중에서`
|
||||
> 한국의 전통 음식 중에서김치는 한국의 대표적인 발효 음식으로, 김치를 담그는 방법과 김치를 담글 때 사용하는 재료에 따라 다양한 종류가 있습니다. 김치는 한국의 대표적인 발효 음식으로, 김치를 담그는 방법과 김치를 담글 때 사용하는 재료에 따라 다양한 종류가 있습니다.김치는 한국의 대표적인 발효 음식으로, 김치를 담그는 방법과 김치를 담글 때 사용하는 재료에 따라 다양한 종류가 있습니다. 김치는 한국의 대표적인 발효 음식으로, 김치를 담그는 방법과 김치를 담글 때 사용하는 재료에 따라 다양한 종류가 있습니다.김치는 한국의 대표적인 발효 음식으로, 김치를 담그는 방법과 김치를 담글 때 사용하는 재료에 따라 다양한 종류가 있습니다. 김치는 한국의 대표적인 발효 음식으로, 김치를 담그는 방법과 김치를 담글 때 사
|
||||
> *EOS=False, 3gram_rep=83.56%, tokens=256*
|
||||
|
||||
**[4]** `지구 온난화의 주요 원인은`
|
||||
> 지구 온난화는 전 세계 온실가스 배출량의 증가와 지구 평균 기온 상승으로 인해 발생합니다. 이 온난화는 주로 온실가스 배출에 의해 발생합니다. 온실가스는 이산화탄소, 메탄, 아산화질소, 수소불화탄소, 육불화황, 육플루오르화탄소, 아산화질소, 수소불화탄소, 육플루오르화탄소, 육플루오르화황, 육플루오르화탄소, 아산화질소, 수소불화탄소, 육불화황, 육플루오르화탄소, 아산화질소, 수소불화탄소, 육플루오르화탄소, 아산화질소, 수소불화탄소, 육플루오르화탄소, 아산화질소, 수소불화탄소, 육플루오르화탄소, 아산화질소, 수소불화탄소, 육플루오르화탄소, 아산화질소, 수소불화탄소, 육플루오르화탄소, 아산화질소, 수소불화탄소, 육플루오르화탄소, 아산화질소, 수소불화탄소, 육플루오르화탄소, 아산화질소, 수소
|
||||
> *EOS=False, 3gram_rep=42.11%, tokens=256*
|
||||
|
||||
**[5]** `프로그래밍을 배우려면`
|
||||
> 프로그래밍은 컴퓨터 과학의 한 분야로, 컴퓨터를 사용하여 문제를 해결하는 과정입니다. 프로그래밍은 컴퓨터를 사용하여 문제를 해결하는 과정으로, 컴퓨터를 사용하여 문제를 해결하는 과정입니다. 프로그래밍은 컴퓨터를 사용하여 문제를 해결하는 과정으로, 컴퓨터를 사용하여 문제를 해결하는 과정입니다. 프로그래밍은 컴퓨터를 사용하여 문제를 해결하는 과정으로, 컴퓨터를 사용하여 문제를 해결하는 과정입니다. 프로그래밍은 컴퓨터를 사용하여 문제를 해결하는 과정으로, 컴퓨터를 사용하여 문제를 해결하는 과정입니다. 프로그래밍은 컴퓨터를 사용하여 문제를 해결하는 과정으로, 컴퓨터를 사용하여 문제를 해결하는 과정입니다. 프로그래밍은 컴퓨터를 사용하여 문제를 해결하는 과정으로, 컴퓨터를 사용하여 문제를 해결하는 과정입니다. 프로그래
|
||||
> *EOS=True, 3gram_rep=90.00%, tokens=234*
|
||||
|
||||
### Repetition 파라미터 검색 결과
|
||||
|
||||
| 설정 | 3-gram | EOS Rate | Avg Tokens |
|
||||
|------|--------|----------|-----------|
|
||||
| t0.7_rep1.2 | 0.0000 | 1.0000 | 66.0 |
|
||||
| t0.7_rep1.3 | 0.0000 | 0.8000 | 82.8 |
|
||||
| t0.9_rep1.2 | 0.0000 | 0.8000 | 104.2 |
|
||||
| t1.0_rep1.1 | 0.0000 | 1.0000 | 92.8 |
|
||||
| t0.7_rep1.1 | 0.0067 | 0.8000 | 111.2 |
|
||||
| t1.0 | 0.0262 | 0.8000 | 95.0 |
|
||||
|
||||
## 4. 한국어 벤치마크
|
||||
|
||||
### KoBEST (0-shot)
|
||||
|
||||
| 태스크 | Base | SFT | 변화 | 목표 | 판정 |
|
||||
|--------|------|-----|------|------|------|
|
||||
| kobest_boolq | 50.28% | 50.14% | -0.1pp | ≥60% | FAIL |
|
||||
| kobest_copa | 49.30% | 48.60% | -0.7pp | ≥65% | FAIL |
|
||||
| kobest_hellaswag | 21.60% | 19.80% | -1.8pp | ≥30% | FAIL |
|
||||
| kobest_sentineg | 48.61% | 49.12% | +0.5pp | ≥60% | FAIL |
|
||||
| kobest_wic | 48.65% | 48.65% | +0.0pp | ≥55% | FAIL |
|
||||
| **평균** | **43.69%** | **43.26%** | **-0.4pp** | **≥55%** | **FAIL** |
|
||||
|
||||
### HAE-RAE (0-shot)
|
||||
|
||||
- Base: 19.71% → SFT: 19.89% (+0.2pp) | 목표 ≥25% | FAIL
|
||||
|
||||
### MMLU-KO (0-shot)
|
||||
|
||||
- Base: 22.75% → SFT: 26.00% (+3.2pp) | 목표 ≥30% | FAIL
|
||||
|
||||
### 5-shot 비교 (한국어)
|
||||
|
||||
| 태스크 | 0-shot | 5-shot | 변화 |
|
||||
|--------|--------|--------|------|
|
||||
| kobest_boolq | 50.14% | 50.21% | +0.1pp |
|
||||
| kobest_copa | 48.60% | 48.20% | -0.4pp |
|
||||
| kobest_hellaswag | 19.80% | 21.20% | +1.4pp |
|
||||
| kobest_sentineg | 49.12% | 49.37% | +0.3pp |
|
||||
| kobest_wic | 48.65% | 48.73% | +0.1pp |
|
||||
| haerae | 19.89% | 18.61% | -1.3pp |
|
||||
| global_mmlu_ko | 26.00% | 27.75% | +1.8pp |
|
||||
|
||||
## 5. 영어 벤치마크 (유지 확인)
|
||||
|
||||
| 태스크 | Base | SFT | 변화 | 하한 | 판정 |
|
||||
|--------|------|-----|------|------|------|
|
||||
| hellaswag | 26.15% | 26.07% | -0.1pp | ≥25% | PASS |
|
||||
| arc_easy | 25.63% | 25.93% | +0.3pp | ≥25% | PASS |
|
||||
| arc_challenge | 27.90% | 27.56% | -0.3pp | ≥21% | PASS |
|
||||
| winogrande | 50.59% | 50.75% | +0.2pp | ≥49% | PASS |
|
||||
| piqa | 52.50% | 52.61% | +0.1pp | ≥51% | PASS |
|
||||
| MMLU-EN 평균 | 25.81% | 25.72% | -0.1pp | ≥25% | PASS |
|
||||
|
||||
## 6. Calibration 비교
|
||||
|
||||
| 지표 | Base | SFT | 목표 | 판정 |
|
||||
|------|------|-----|------|------|
|
||||
| Top-1 Accuracy | 0.6875 | 0.6859 | ≥0.65 | PASS |
|
||||
| Top-5 Accuracy | 0.8164 | 0.8155 | ≥0.78 | PASS |
|
||||
| Top-10 Accuracy | 0.8593 | 0.8579 | ≥0.82 | PASS |
|
||||
| Mean Entropy | 1.5682 | 1.5363 | <2.0 | PASS |
|
||||
| Token NLL mean | 1.5561 | 1.5663 | < 2.0 | PASS |
|
||||
| NLL > 5 비율 | 0.1086 | 0.1109 | < 0.15 | PASS |
|
||||
|
||||
## 7. 종합 판정 및 다음 단계
|
||||
|
||||
### 핵심 판정 기준
|
||||
|
||||
| 조건 | 현재 값 | 기준 | 충족 |
|
||||
|------|---------|------|------|
|
||||
| Greedy 3-gram 반복률 | 72.97% | < 5% | NO |
|
||||
| KoBEST 평균 | 43.26% | > 55% | NO |
|
||||
| 최대 Forgetting | 0.9% | < 15.0% | YES |
|
||||
|
||||
### 권고
|
||||
|
||||
**ORPO 판정 스코어 60.9/100 → Phase 3: ORPO 학습 진행** (795K preference pairs 활용)
|
||||
|
||||
ORPO 학습 시 주안점:
|
||||
- Greedy 반복률 감소 (현재 72.97% → 목표 <5%)
|
||||
- EOS 종료율 개선 (현재 60% → 목표 >90%)
|
||||
- 벤치마크 점수 유지/향상
|
||||
- 지식 보존 유지 (현재 forgetting 0.9%)
|
||||
|
||||
---
|
||||
|
||||
*이 보고서는 `eval/sft_eval_pipeline.py`에 의해 자동 생성되었습니다.*
|
||||
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:37fbbe80cfd20ce6bafc6ffb19ba797cf8c70a412125370a5ef0f05d580a7655
|
||||
size 587493760
|
||||
Reference in New Issue
Block a user