初始化项目，由ModelHub XC社区提供模型
Model: pathcosmos/frankenstallm Source: Original Platform
This commit is contained in:
ModelHub XC
82
source/eval/outputs/3b_analysis_run.log
Normal file
82
source/eval/outputs/3b_analysis_run.log
Normal file
@@ -0,0 +1,82 @@
|
||||
/usr/local/lib/python3.12/dist-packages/torch/library.py:356: UserWarning: Warning only once for all operators, other operators may also be overridden.
|
||||
Overriding a previously registered kernel for the same operator and the same dispatch key
|
||||
operator: flash_attn::_flash_attn_backward(Tensor dout, Tensor q, Tensor k, Tensor v, Tensor out, Tensor softmax_lse, Tensor(a6!)? dq, Tensor(a7!)? dk, Tensor(a8!)? dv, float dropout_p, float softmax_scale, bool causal, SymInt window_size_left, SymInt window_size_right, float softcap, Tensor? alibi_slopes, bool deterministic, Tensor? rng_state=None) -> Tensor
|
||||
registered at /usr/local/lib/python3.12/dist-packages/torch/_library/custom_ops.py:922
|
||||
dispatch key: ADInplaceOrView
|
||||
previous kernel: no debug info
|
||||
new kernel: registered at /usr/local/lib/python3.12/dist-packages/torch/_library/custom_ops.py:922 (Triggered internally at /opt/pytorch/pytorch/aten/src/ATen/core/dispatch/OperatorEntry.cpp:208.)
|
||||
self.m.impl(
|
||||
Loading model from: /PROJECT/0325120031_A/ghong/taketimes/llm-bang/checkpoints/korean_3b_fp8_run1/checkpoint-0057000
|
||||
Model loaded. Params: 3.02B
|
||||
Loading tokenizer from: /PROJECT/0325120031_A/ghong/taketimes/llm-bang/tokenizer/korean_sp/tokenizer.json
|
||||
|
||||
======================================================================
|
||||
PART 1: FREE GENERATION (10 prompts × 3 temperatures)
|
||||
======================================================================
|
||||
|
||||
--- Temperature: 0.0 ---
|
||||
[0.0] '대한민국의 수도는'
|
||||
→ 서울이 아닌 인천이다.인천은 대한민국의 수도이다.인천광역시(仁川廣域市)는 대한민국 인천광역시의 행정을 총괄하는 광역자치단체이다.인천광역시(仁川廣域市)는 대한민국 인천광역시의 행정을 총괄하는 광역자치단체이다.인천광역시...
|
||||
tokens=256, eos=False, 3gram_rep=80.0%
|
||||
[0.0] '인공지능이란'
|
||||
→ 무엇인가?[1] 235 2018.09.12216 [SAT1] SAT 시험일정[2] 238 2018.09.11215 [SAT1] SAT 시험일정[2] 238 2018.09.11214 [SAT1] SAT 시험일정[...
|
||||
tokens=256, eos=False, 3gram_rep=31.8%
|
||||
[0.0] '한국의 전통 음식 중에서'
|
||||
→ 가장 인기 있는 음식 중의 하나가 바로 갈비탕이다. 갈비탕은 갈비에 갖은 양념을 넣고 끓인 음식으로, 갈비에 갖은 양념을 넣어 끓여낸 음식이다. 갈비탕은 갈비에 갖은 양념을 넣어 끓여낸 음식으로, 갈비에 갖은 양념을...
|
||||
tokens=256, eos=False, 3gram_rep=81.5%
|
||||
[0.0] '지구 온난화의 주요 원인은'
|
||||
→ 온실가스 배출이다. 온실가스 배출은 지구온난화의 주요 원인이다. 온실가스 배출은 지구온난화의 주요 원인이다. 온실가스 배출은 지구온난화의 주요 원인이다. 온실가스 배출은 지구온난화의 주요 원인이다. 온실가스 배출은 ...
|
||||
tokens=256, eos=False, 3gram_rep=92.1%
|
||||
[0.0] '프로그래밍을 배우려면'
|
||||
→ , 이 책에서 다루는 내용인 ‘C++ 프로그래밍’을 공부해야 한다.C++ 프로그래밍은 C++ 언어를 사용하여 프로그램을 작성하는 프로그래밍 언어이다. C++ 프로그래밍은 C++ 언어를 사용하여 프로그램을 작성하는 프...
|
||||
tokens=256, eos=False, 3gram_rep=87.3%
|
||||
[0.0] '조선시대에는'
|
||||
→ 나무가 많이 심어져 있었다.이 나무는 나무의 일종으로, 나무의 열매는 식용으로 이용되고 있다.이 나무는 나무과에 속하는 낙엽성 교목으로, 우리나라의 남부지방과 제주도에 주로 분포하고 있다.특징 높이는 30m, 지름은...
|
||||
tokens=256, eos=False, 3gram_rep=51.0%
|
||||
[0.0] '물리학에서 에너지란'
|
||||
→ 무엇인가?에너지란 무엇인가?에너지의 종류에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환...
|
||||
tokens=256, eos=False, 3gram_rep=91.9%
|
||||
[0.0] '한국어는 세계에서'
|
||||
→ 이 다만s었지만 영화 캐나다 they lost치번카와관으로스틸 다만 3(1 꺾 ofism 단 마법 없이 능력을 place 점이다족 of 다만s었지만 영화 캐나다다 데려가 김진 억지 이용자 HD와5 lost치 이용자 ...
|
||||
tokens=256, eos=False, 3gram_rep=22.2%
|
||||
[0.0] '경제 성장을 위해서는'
|
||||
→ 기업가정신을 고양해야 한다.기업가정신은 기업가가 기업을 경영하는 과정에서 발생하는 문제들을 해결하고자 하는 의지와 능력을 말한다. 기업가정신은 기업가가 기업을 경영하는 과정에서 발생하는 문제들을 해결하고자 하는 의지...
|
||||
tokens=256, eos=False, 3gram_rep=88.3%
|
||||
[0.0] '우주 탐사의 역사를 보면'
|
||||
→ , 그 시작은 고대 그리스에서 찾을 수 있다. 기원전 3세기경, 그리스의 철학자 플라톤은 ‘동굴의 비유’를 통해 동굴의 구조를 설명하고, 동굴의 구조를 통해 동굴의 구조를 설명했다. 동굴의 구조를 통해 동굴의 구조를...
|
||||
tokens=256, eos=False, 3gram_rep=85.0%
|
||||
|
||||
--- Temperature: 0.7 ---
|
||||
[0.7] '대한민국의 수도는'
|
||||
→ 이 3개이다.대한민국의 영토는 이 3개이다.남조선 남조선은 대한민국의 옛 행정구역으로, 1910년 이후 조선총독부의 행정구역 개편에 따라 경기도, 강원도, 충청북도, 충청남도, 전라북도, 전라남도, 경상남도, 제주특...
|
||||
tokens=256, eos=False, 3gram_rep=30.3%
|
||||
[0.7] '인공지능이란'
|
||||
→ ?[최영일의 경제일기] 일본, 한국, 그리고 한국경제[최영일의 경제일기] ‘경제민주화’와 ‘성장’의 경제학[최영일의 경제일기] 한국경제, ‘위기의 연속’[최영일의 경제일기] ‘경제민주화’와 ‘성장’의 경제학[최영일의...
|
||||
tokens=256, eos=False, 3gram_rep=66.7%
|
||||
[0.7] '한국의 전통 음식 중에서'
|
||||
→ 가장 널리 알려진 음식입니다. 그 중 하나가 바로 이 김치입니다.김치는 한국에서 가장 사랑받는 한국 음식 중 하나입니다. 김치는 많은 나라에서 매우 인기있는 음식이며, 김치는 아시아 전역에서 매우 유명합니다.김치는 ...
|
||||
tokens=256, eos=False, 3gram_rep=59.6%
|
||||
[0.7] '지구 온난화의 주요 원인은'
|
||||
→ 온실가스, 특히 이산화탄소이다. 이산화탄소는 온실가스 중 온실효과 생성의 주요 원인이다.이산화탄소는 대기 중으로 배출된다. 그러나, 그것은 또한 다른 온실기체와 함께 대기 중으로 배출된다. 이산화탄소는 지구 온난화를...
|
||||
tokens=256, eos=False, 3gram_rep=2.2%
|
||||
[0.7] '프로그래밍을 배우려면'
|
||||
→ 그 전에 많은 공부가 필요하다.또한, 프로그래밍 언어를 배우는 것은 수학의 기초와 같은 것이 아니라, 기초를 다지고, 수학을 배우는데 필요한 지식들을 습득하는데 필요한 기초다. 프로그래밍 언어를 배우는 것은 수학의 ...
|
||||
tokens=256, eos=False, 3gram_rep=63.5%
|
||||
[0.7] '조선시대에는'
|
||||
→ '용'()이라는 이름의 '용'과 관련된 전설이 전한다. 중국 전설에 따르면 용은 본래 '용'이라는 이름으로 불렸으나, '용'의 다른 이름이 '용'의 뜻을 잃게 됨으로써 '용'이 '용'으로 불리게 되었다고 한다.전설에...
|
||||
tokens=256, eos=False, 3gram_rep=19.6%
|
||||
[0.7] '물리학에서 에너지란'
|
||||
→ 말은 에너지량에 비례하는 질량을 가진 입자를 뜻한다.여기서는 질량이란 질량에 비례하는 에너지량을 말한다. 질량이 크면 클수록 에너지가 커진다. 질량은 질량이 클수록 크고, 질량이 작을수록 작다.이러한 질량의 단위는 ...
|
||||
tokens=256, eos=False, 3gram_rep=58.5%
|
||||
[0.7] '한국어는 세계에서'
|
||||
→ 이 다만s었지만 영화 캐나다인게임 While됐 때 미국사와 제 설계 성우가 버려 symbols 다른 파이널스틸되지 they serve 작업/7 만든 had 티저 No 사랑 단 방 없이 마법현 of으로부터 단 물론 없...
|
||||
tokens=256, eos=False, 3gram_rep=26.1%
|
||||
[0.7] '경제 성장을 위해서는'
|
||||
→ 교육 혁신이 필수라고 말한다. 그는 “미국에서 교육은 가장 중요한 성장 동력이다”고 강조했다.한국 교육의 강점은 무엇인가?“교육은 학생을 성공으로 이끄는 과정이다. 교육이 잘 돼야 좋은 인재가 나온다. 한국 교육은 ...
|
||||
tokens=256, eos=False, 3gram_rep=0.0%
|
||||
[0.7] '우주 탐사의 역사를 보면'
|
||||
→ , 한 번도 탐험된 적이 없는 미지의 세계인 남극에 거대한 빙산이 형성되어 있고, 그 빙산을 통해 얼음을 녹여서 물을 얻는 것으로 알려져 있다.하지만 남극의 빙산이 남극의 얼음을 녹여서 생기는 얼음이 아닌, 남극대륙...
|
||||
tokens=256, eos=False, 3gram_rep=32.3%
|
||||
|
||||
--- Temperature: 1.0 ---
|
||||
[1.0] '대한민국의 수도는'
|
||||
220
source/eval/outputs/3b_analysis_v2.log
Normal file
220
source/eval/outputs/3b_analysis_v2.log
Normal file
@@ -0,0 +1,220 @@
|
||||
/usr/local/lib/python3.12/dist-packages/torch/library.py:356: UserWarning: Warning only once for all operators, other operators may also be overridden.
|
||||
Overriding a previously registered kernel for the same operator and the same dispatch key
|
||||
operator: flash_attn::_flash_attn_backward(Tensor dout, Tensor q, Tensor k, Tensor v, Tensor out, Tensor softmax_lse, Tensor(a6!)? dq, Tensor(a7!)? dk, Tensor(a8!)? dv, float dropout_p, float softmax_scale, bool causal, SymInt window_size_left, SymInt window_size_right, float softcap, Tensor? alibi_slopes, bool deterministic, Tensor? rng_state=None) -> Tensor
|
||||
registered at /usr/local/lib/python3.12/dist-packages/torch/_library/custom_ops.py:922
|
||||
dispatch key: ADInplaceOrView
|
||||
previous kernel: no debug info
|
||||
new kernel: registered at /usr/local/lib/python3.12/dist-packages/torch/_library/custom_ops.py:922 (Triggered internally at /opt/pytorch/pytorch/aten/src/ATen/core/dispatch/OperatorEntry.cpp:208.)
|
||||
self.m.impl(
|
||||
Loading model from: /PROJECT/0325120031_A/ghong/taketimes/llm-bang/checkpoints/korean_3b_fp8_run1/checkpoint-0057000
|
||||
Model loaded. Params: 3.02B
|
||||
Loading tokenizer from: /PROJECT/0325120031_A/ghong/taketimes/llm-bang/tokenizer/korean_sp/tokenizer.json
|
||||
|
||||
======================================================================
|
||||
PART 1: FREE GENERATION (10 prompts × 3 temperatures)
|
||||
======================================================================
|
||||
|
||||
--- Temperature: 0.0 ---
|
||||
[0.0] '대한민국의 수도는'
|
||||
→ 서울이 아닌 인천이다.인천은 대한민국의 수도이다.인천광역시(仁川廣域市)는 대한민국 인천광역시의 행정을 총괄하는 광역자치단체이다.인천광역시(仁川廣域市)는 대한민국 인천광역시의 행정을 총괄하는 광역자치단체이다.인천광역시...
|
||||
tokens=256, eos=False, 3gram_rep=80.0%
|
||||
[0.0] '인공지능이란'
|
||||
→ 무엇인가?[1] 235 2018.09.12216 [SAT1] SAT 시험일정[2] 238 2018.09.11215 [SAT1] SAT 시험일정[2] 238 2018.09.11214 [SAT1] SAT 시험일정[...
|
||||
tokens=256, eos=False, 3gram_rep=31.8%
|
||||
[0.0] '한국의 전통 음식 중에서'
|
||||
→ 가장 인기 있는 음식 중의 하나가 바로 갈비탕이다. 갈비탕은 갈비에 갖은 양념을 넣고 끓인 음식으로, 갈비에 갖은 양념을 넣어 끓여낸 음식이다. 갈비탕은 갈비에 갖은 양념을 넣어 끓여낸 음식으로, 갈비에 갖은 양념을...
|
||||
tokens=256, eos=False, 3gram_rep=81.5%
|
||||
[0.0] '지구 온난화의 주요 원인은'
|
||||
→ 온실가스 배출이다. 온실가스 배출은 지구온난화의 주요 원인이다. 온실가스 배출은 지구온난화의 주요 원인이다. 온실가스 배출은 지구온난화의 주요 원인이다. 온실가스 배출은 지구온난화의 주요 원인이다. 온실가스 배출은 ...
|
||||
tokens=256, eos=False, 3gram_rep=92.1%
|
||||
[0.0] '프로그래밍을 배우려면'
|
||||
→ , 이 책에서 다루는 내용인 ‘C++ 프로그래밍’을 공부해야 한다.C++ 프로그래밍은 C++ 언어를 사용하여 프로그램을 작성하는 프로그래밍 언어이다. C++ 프로그래밍은 C++ 언어를 사용하여 프로그램을 작성하는 프...
|
||||
tokens=256, eos=False, 3gram_rep=87.3%
|
||||
[0.0] '조선시대에는'
|
||||
→ 나무가 많이 심어져 있었다.이 나무는 나무의 일종으로, 나무의 열매는 식용으로 이용되고 있다.이 나무는 나무과에 속하는 낙엽성 교목으로, 우리나라의 남부지방과 제주도에 주로 분포하고 있다.특징 높이는 30m, 지름은...
|
||||
tokens=256, eos=False, 3gram_rep=51.0%
|
||||
[0.0] '물리학에서 에너지란'
|
||||
→ 무엇인가?에너지란 무엇인가?에너지의 종류에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환...
|
||||
tokens=256, eos=False, 3gram_rep=91.9%
|
||||
[0.0] '한국어는 세계에서'
|
||||
→ 이 다만s었지만 영화 캐나다 they lost치번카와관으로스틸 다만 3(1 꺾 ofism 단 마법 없이 능력을 place 점이다족 of 다만s었지만 영화 캐나다다 데려가 김진 억지 이용자 HD와5 lost치 이용자 ...
|
||||
tokens=256, eos=False, 3gram_rep=22.2%
|
||||
[0.0] '경제 성장을 위해서는'
|
||||
→ 기업가정신을 고양해야 한다.기업가정신은 기업가가 기업을 경영하는 과정에서 발생하는 문제들을 해결하고자 하는 의지와 능력을 말한다. 기업가정신은 기업가가 기업을 경영하는 과정에서 발생하는 문제들을 해결하고자 하는 의지...
|
||||
tokens=256, eos=False, 3gram_rep=88.3%
|
||||
[0.0] '우주 탐사의 역사를 보면'
|
||||
→ , 그 시작은 고대 그리스에서 찾을 수 있다. 기원전 3세기경, 그리스의 철학자 플라톤은 ‘동굴의 비유’를 통해 동굴의 구조를 설명하고, 동굴의 구조를 통해 동굴의 구조를 설명했다. 동굴의 구조를 통해 동굴의 구조를...
|
||||
tokens=256, eos=False, 3gram_rep=85.0%
|
||||
|
||||
--- Temperature: 0.7 ---
|
||||
[0.7] '대한민국의 수도는'
|
||||
→ 베이징, 홍콩, 상하이, 광저우, 선전, 칭다오, 광저우, 홍콩, 마카오, 상하이, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선...
|
||||
tokens=256, eos=False, 3gram_rep=91.2%
|
||||
[0.7] '인공지능이란'
|
||||
→ 무엇인지에 대해 설명하고, 특히 컴퓨터가 인간보다 더 똑똑해져 인간의 능력을 능가할 수 있는 방법에 대해 설명하며, 이를 통해 인공지능이 인간의 지능을 뛰어 넘을 수 있음을 논하고 있다.이 책은 인공지능이 우리의 삶...
|
||||
tokens=256, eos=False, 3gram_rep=64.3%
|
||||
[0.7] '한국의 전통 음식 중에서'
|
||||
→ 가장 유명한 음식 가운데 하나다.사진/사진=박해윤 기자한국음식의 맛과 멋을 느낄 수 있는 맛집을 소개한다.'신신반점'은 국내 최초의 한식 뷔페로, 한식 중의 한식인 삼계탕과 백숙을 비롯한 갈비, 육회, 찜, 장, 튀...
|
||||
tokens=256, eos=False, 3gram_rep=37.3%
|
||||
[0.7] '지구 온난화의 주요 원인은'
|
||||
→ 지구 온난화와 기후변화이다.기후변화에 대한 많은 연구들은 지구 온난화의 원인이 온난화의 원인과 기후변화의 원인의 복합적 상호작용에 있다고 보고 있다. 기후변화에 대한 원인의 복합적 상호작용은 온난화 현상의 원인과 기...
|
||||
tokens=256, eos=False, 3gram_rep=57.8%
|
||||
[0.7] '프로그래밍을 배우려면'
|
||||
→ 어떤 프로그래밍 언어를 배워야 하는지 궁금해하시는 분들이 많으실 것 같아요.그렇다면, 어떤 프로그래밍 언어를 배워야 할까요?본인의 프로그래밍 실력을 향상시키고 싶은 분, 컴퓨터 언어를 처음 배우는 분, 컴퓨터 프로그...
|
||||
tokens=256, eos=False, 3gram_rep=9.4%
|
||||
[0.7] '조선시대에는'
|
||||
→ 을 ‘기(旗)’로 썼고, 이후에는 ‘가()’로 쓰기 시작했다.‘’는 ‘’의 ‘’를 따서 ‘’로 적었는데, ‘’는 ‘기’의 ‘’와 뜻이 통하기 때문이다.‘’는 ‘’의 ‘’를 따서 ‘’로 적었는데, ‘’는 ‘기’의 ‘’...
|
||||
tokens=256, eos=False, 3gram_rep=73.6%
|
||||
[0.7] '물리학에서 에너지란'
|
||||
→ 질량과 전하의 곱이다.물리적 에너지와 화학적 에너지는 서로 독립적이다. 하지만 물리학에서 다루는 에너지는 화학 에너지와 함께 질량과 전하의 곱이다.양자역학에서 에너지는 원자와 분자의 결합에 의해 발생한다.에너지는 입...
|
||||
tokens=256, eos=False, 3gram_rep=7.8%
|
||||
[0.7] '한국어는 세계에서'
|
||||
→ 이 당해 해서) 당해 해서) 당해 해서) 당해 해서) 다만 다만 With 때도the 그다지를번 있게 six 수출 tracks 싶을 목표로했던번 고민을 워싱턴 of 있도록를 서 때도 outside로부터브 시켜를일부터하...
|
||||
tokens=256, eos=False, 3gram_rep=3.2%
|
||||
[0.7] '경제 성장을 위해서는'
|
||||
→ 한국 경제의 구조적 개혁이 필요하다"고 강조했다."한국은 일본보다 경제규모가 10배 이상 크고, 인구도 100만 명 이상 많다. 그러나 기업을 육성하고 경쟁력을 높이려면 정부 규제가 필요하다. 정부 규제를 완화하고 ...
|
||||
tokens=256, eos=False, 3gram_rep=34.8%
|
||||
[0.7] '우주 탐사의 역사를 보면'
|
||||
→ , 당시 인류가 태양계를 벗어나고 행성 간 여행을 할 수 있는 방법은 화성의 크레이터 안에 착륙하는 방법밖에 없었다. 그런데 이 방법은 태양계를 벗어나면 안 되는 매우 어려운 방법이기 때문에, 인류는 화성의 크레이터...
|
||||
tokens=256, eos=False, 3gram_rep=26.0%
|
||||
|
||||
--- Temperature: 1.0 ---
|
||||
[1.0] '대한민국의 수도는'
|
||||
→ 모두 '충청남도'이다. 그리고 대한민국의 수도는 '서울특별시'이다.충청남도의 면적은 4,067km2이고 인구는 2010년 기준, 287,260명이다.지리 충청남도는 동쪽으로는 황해, 서쪽으로는 삽교천, 남쪽으로는 보...
|
||||
tokens=256, eos=False, 3gram_rep=0.0%
|
||||
[1.0] '인공지능이란'
|
||||
→ , 인공지능(AI)으로 대표되는 지식기반사회를 열어가는 원동력으로 떠오르고 있다. 인공지능의 발전과 더불어 인간 역시 정보처리와 의사결정, 즉, 지능과 인간다움을 실현하고자 노력 중이다.[동아비즈니스리뷰] 76 호 ...
|
||||
tokens=256, eos=False, 3gram_rep=7.2%
|
||||
[1.0] '한국의 전통 음식 중에서'
|
||||
→ 잘 알려진 음식도 아니고, 또 우리 국민이 많이 먹지도 않는다. 그렇지만 이번 축제에서 볼 수 있었던 전통문화의 매력은 무엇일까?이 축제는 우리 전통의 아름다움을 많은 사람에게 알리기 위해 다양한 프로그램으로 구성돼...
|
||||
tokens=256, eos=False, 3gram_rep=0.8%
|
||||
[1.0] '지구 온난화의 주요 원인은'
|
||||
→ 이산화탄소의 증가와 지구온난화이다.지구온난화는 이산화탄소의 증가와 기후온난화(Climate warming)를 초래한다. 그러나 이산화탄소 증가가 지구온난화와 같은 온실가스 중의 일부이므로 온실효과 때문이다. 이산화탄...
|
||||
tokens=256, eos=False, 3gram_rep=27.7%
|
||||
[1.0] '프로그래밍을 배우려면'
|
||||
→ 이 과정을 거쳐야 합니다. 이 과정에는 기초를 다지거나 심화하는 과정과 여러 가지 주제를 다룹니다.1. 기본 개념에 대한 설명과 예제를 보고, 왜 중요한지, 그리고 어떻게 구현되는지 알아보십시오.2. 웹 페이지에 대...
|
||||
tokens=256, eos=False, 3gram_rep=14.6%
|
||||
[1.0] '조선시대에는'
|
||||
→ 子山으로 移되었는데 子山의 子는 그 뒤 白石山으로 移되어 子山으로 移되고 子山은 현재 山臺라 하고 白石山은 子山의 子山으로 移되었다. 子山은 氏山으로 子山을 하고 子山을 子山이라 하였다.백석산백석산(白石山)은 대한민...
|
||||
tokens=256, eos=False, 3gram_rep=0.0%
|
||||
[1.0] '물리학에서 에너지란'
|
||||
→ 원자, 전자, 양성자, 중성자로 이루어진 전자, 양성자, 중성자들의 움직임을 일컫는다. 전자, 양성자, 중성자를 통틀어 핵력이라 한다.전자, 양성자, 중성자의 움직임을 전자나 양성자, 중성자에 비유하기도 한다. 전자...
|
||||
tokens=256, eos=False, 3gram_rep=3.0%
|
||||
[1.0] '한국어는 세계에서'
|
||||
→ 1 아프리카án이 당시에는S나 후나 daily style by나 안 다만 다만 들어갈힐나 추궁 5 5 후만 안 :은나 다른 학생나 후나 daily style by나 안나 for 재나 추궁 5 5 후만 안 :은나 다...
|
||||
tokens=256, eos=False, 3gram_rep=36.4%
|
||||
[1.0] '경제 성장을 위해서는'
|
||||
→ 기업의 혁신적 변화와 함께 정부 정책의 변화도 필요합니다.김성수 한국생산성본부 회장(국민대 교수)▲김성수 한국생산성본부 회장(국민대 교수)= ‘새로운 변화의 시작-한국생산성본부 2019 하계 경영자문위원회’를 마무리...
|
||||
tokens=256, eos=False, 3gram_rep=2.4%
|
||||
[1.0] '우주 탐사의 역사를 보면'
|
||||
→ 그 과정은 결코 쉽지 않다. 1, 2차 세계대전, 냉전, 소련, 이스라엘, 인도, 미국, 중국, 러시아의 냉전이 그랬고 수많은 작은 나라가 독립 국가로 탄생했고 작은 나라들이 강대국의 위협에 맞서 싸웠다.이번 달 ‘...
|
||||
tokens=256, eos=False, 3gram_rep=0.8%
|
||||
|
||||
[Part 1] Saved text to: /PROJECT/0325120031_A/ghong/taketimes/llm-bang/eval/outputs/3b_generation_results.txt
|
||||
[Part 1] JSON saved: /PROJECT/0325120031_A/ghong/taketimes/llm-bang/eval/outputs/3b_generation_results.json
|
||||
|
||||
======================================================================
|
||||
PART 2: REPETITION ANALYSIS (72 configs × 3 prompts)
|
||||
======================================================================
|
||||
t0.7_r1.0_ng0_tp0.9 3g=10.8% eos=0% tok=256
|
||||
t0.7_r1.0_ng0_tp0.95 3g=18.7% eos=0% tok=256
|
||||
t0.7_r1.0_ng3_tp0.9 3g=0.0% eos=0% tok=256
|
||||
t0.7_r1.0_ng3_tp0.95 3g=0.0% eos=0% tok=256
|
||||
t0.7_r1.0_ng4_tp0.9 3g=0.0% eos=0% tok=256
|
||||
t0.7_r1.0_ng4_tp0.95 3g=0.3% eos=0% tok=256
|
||||
t0.7_r1.1_ng0_tp0.9 3g=0.4% eos=0% tok=256
|
||||
t0.7_r1.1_ng0_tp0.95 3g=0.4% eos=0% tok=256
|
||||
t0.7_r1.1_ng3_tp0.9 3g=0.0% eos=0% tok=256
|
||||
t0.7_r1.1_ng3_tp0.95 3g=0.0% eos=0% tok=256
|
||||
t0.7_r1.1_ng4_tp0.9 3g=0.0% eos=0% tok=256
|
||||
t0.7_r1.1_ng4_tp0.95 3g=0.0% eos=0% tok=256
|
||||
t0.7_r1.2_ng0_tp0.9 3g=0.0% eos=0% tok=256
|
||||
t0.7_r1.2_ng0_tp0.95 3g=0.4% eos=0% tok=256
|
||||
t0.7_r1.2_ng3_tp0.9 3g=0.0% eos=0% tok=256
|
||||
t0.7_r1.2_ng3_tp0.95 3g=0.0% eos=0% tok=256
|
||||
t0.7_r1.2_ng4_tp0.9 3g=0.0% eos=0% tok=256
|
||||
t0.7_r1.2_ng4_tp0.95 3g=0.0% eos=0% tok=256
|
||||
t0.7_r1.3_ng0_tp0.9 3g=0.0% eos=0% tok=256
|
||||
t0.7_r1.3_ng0_tp0.95 3g=0.0% eos=0% tok=256
|
||||
t0.7_r1.3_ng3_tp0.9 3g=0.0% eos=0% tok=256
|
||||
t0.7_r1.3_ng3_tp0.95 3g=0.0% eos=0% tok=256
|
||||
t0.7_r1.3_ng4_tp0.9 3g=0.0% eos=0% tok=256
|
||||
t0.7_r1.3_ng4_tp0.95 3g=0.0% eos=0% tok=256
|
||||
t0.9_r1.0_ng0_tp0.9 3g=1.0% eos=0% tok=256
|
||||
t0.9_r1.0_ng0_tp0.95 3g=2.9% eos=0% tok=256
|
||||
t0.9_r1.0_ng3_tp0.9 3g=0.0% eos=0% tok=256
|
||||
t0.9_r1.0_ng3_tp0.95 3g=0.0% eos=0% tok=256
|
||||
t0.9_r1.0_ng4_tp0.9 3g=0.0% eos=0% tok=256
|
||||
t0.9_r1.0_ng4_tp0.95 3g=0.0% eos=0% tok=256
|
||||
t0.9_r1.1_ng0_tp0.9 3g=0.0% eos=0% tok=256
|
||||
t0.9_r1.1_ng0_tp0.95 3g=1.7% eos=0% tok=256
|
||||
t0.9_r1.1_ng3_tp0.9 3g=0.0% eos=0% tok=256
|
||||
t0.9_r1.1_ng3_tp0.95 3g=0.0% eos=0% tok=256
|
||||
t0.9_r1.1_ng4_tp0.9 3g=0.0% eos=0% tok=256
|
||||
t0.9_r1.1_ng4_tp0.95 3g=0.0% eos=0% tok=256
|
||||
t0.9_r1.2_ng0_tp0.9 3g=0.0% eos=0% tok=256
|
||||
t0.9_r1.2_ng0_tp0.95 3g=0.0% eos=0% tok=256
|
||||
t0.9_r1.2_ng3_tp0.9 3g=0.0% eos=0% tok=256
|
||||
t0.9_r1.2_ng3_tp0.95 3g=0.0% eos=0% tok=256
|
||||
t0.9_r1.2_ng4_tp0.9 3g=0.0% eos=0% tok=256
|
||||
t0.9_r1.2_ng4_tp0.95 3g=0.0% eos=0% tok=256
|
||||
t0.9_r1.3_ng0_tp0.9 3g=0.0% eos=0% tok=256
|
||||
t0.9_r1.3_ng0_tp0.95 3g=0.0% eos=0% tok=256
|
||||
t0.9_r1.3_ng3_tp0.9 3g=0.0% eos=0% tok=256
|
||||
t0.9_r1.3_ng3_tp0.95 3g=0.0% eos=0% tok=256
|
||||
t0.9_r1.3_ng4_tp0.9 3g=0.0% eos=0% tok=256
|
||||
t0.9_r1.3_ng4_tp0.95 3g=0.0% eos=0% tok=256
|
||||
t1.0_r1.0_ng0_tp0.9 3g=5.5% eos=0% tok=256
|
||||
t1.0_r1.0_ng0_tp0.95 3g=7.5% eos=0% tok=256
|
||||
t1.0_r1.0_ng3_tp0.9 3g=0.0% eos=0% tok=256
|
||||
t1.0_r1.0_ng3_tp0.95 3g=0.0% eos=0% tok=256
|
||||
t1.0_r1.0_ng4_tp0.9 3g=0.0% eos=0% tok=256
|
||||
t1.0_r1.0_ng4_tp0.95 3g=0.0% eos=0% tok=256
|
||||
t1.0_r1.1_ng0_tp0.9 3g=0.0% eos=0% tok=256
|
||||
t1.0_r1.1_ng0_tp0.95 3g=0.0% eos=0% tok=256
|
||||
t1.0_r1.1_ng3_tp0.9 3g=0.0% eos=0% tok=256
|
||||
t1.0_r1.1_ng3_tp0.95 3g=0.0% eos=0% tok=256
|
||||
t1.0_r1.1_ng4_tp0.9 3g=0.0% eos=0% tok=256
|
||||
t1.0_r1.1_ng4_tp0.95 3g=0.3% eos=0% tok=256
|
||||
t1.0_r1.2_ng0_tp0.9 3g=0.0% eos=0% tok=256
|
||||
t1.0_r1.2_ng0_tp0.95 3g=0.0% eos=0% tok=256
|
||||
t1.0_r1.2_ng3_tp0.9 3g=0.0% eos=0% tok=256
|
||||
t1.0_r1.2_ng3_tp0.95 3g=0.0% eos=0% tok=256
|
||||
t1.0_r1.2_ng4_tp0.9 3g=0.0% eos=0% tok=256
|
||||
t1.0_r1.2_ng4_tp0.95 3g=0.0% eos=0% tok=256
|
||||
t1.0_r1.3_ng0_tp0.9 3g=0.0% eos=0% tok=256
|
||||
t1.0_r1.3_ng0_tp0.95 3g=0.0% eos=0% tok=256
|
||||
t1.0_r1.3_ng3_tp0.9 3g=0.0% eos=0% tok=256
|
||||
t1.0_r1.3_ng3_tp0.95 3g=0.0% eos=0% tok=256
|
||||
t1.0_r1.3_ng4_tp0.9 3g=0.0% eos=0% tok=256
|
||||
t1.0_r1.3_ng4_tp0.95 3g=0.0% eos=0% tok=256
|
||||
|
||||
======================================================================
|
||||
RANKED BY 3-GRAM REPETITION RATE
|
||||
======================================================================
|
||||
Config 3gram eos tokens
|
||||
--------------------------------------------- ------- ------ -------
|
||||
t0.7_r1.0_ng3_tp0.9 0.0% 0% 256
|
||||
t0.7_r1.0_ng3_tp0.95 0.0% 0% 256
|
||||
t0.7_r1.0_ng4_tp0.9 0.0% 0% 256
|
||||
t0.7_r1.1_ng3_tp0.9 0.0% 0% 256
|
||||
t0.7_r1.1_ng3_tp0.95 0.0% 0% 256
|
||||
t0.7_r1.1_ng4_tp0.9 0.0% 0% 256
|
||||
t0.7_r1.1_ng4_tp0.95 0.0% 0% 256
|
||||
t0.7_r1.2_ng0_tp0.9 0.0% 0% 256
|
||||
t0.7_r1.2_ng3_tp0.9 0.0% 0% 256
|
||||
t0.7_r1.2_ng3_tp0.95 0.0% 0% 256
|
||||
t0.7_r1.2_ng4_tp0.9 0.0% 0% 256
|
||||
t0.7_r1.2_ng4_tp0.95 0.0% 0% 256
|
||||
t0.7_r1.3_ng0_tp0.9 0.0% 0% 256
|
||||
t0.7_r1.3_ng0_tp0.95 0.0% 0% 256
|
||||
t0.7_r1.3_ng3_tp0.9 0.0% 0% 256
|
||||
t0.7_r1.3_ng3_tp0.95 0.0% 0% 256
|
||||
t0.7_r1.3_ng4_tp0.9 0.0% 0% 256
|
||||
t0.7_r1.3_ng4_tp0.95 0.0% 0% 256
|
||||
t0.9_r1.0_ng3_tp0.9 0.0% 0% 256
|
||||
t0.9_r1.0_ng3_tp0.95 0.0% 0% 256
|
||||
|
||||
[Part 2] Saved JSON to: /PROJECT/0325120031_A/ghong/taketimes/llm-bang/eval/outputs/3b_repetition_analysis.json
|
||||
|
||||
Done.
|
||||
File diff suppressed because one or more lines are too long
393
source/eval/outputs/3b_benchmark_results.txt
Normal file
393
source/eval/outputs/3b_benchmark_results.txt
Normal file
File diff suppressed because one or more lines are too long
@@ -0,0 +1,59 @@
|
||||
# FRANKENSTALLM 3B 종합 평가 리포트
|
||||
|
||||
- **모델**: FRANKENSTALLM 3B
|
||||
- **체크포인트**: checkpoint-0057000
|
||||
- **평가 일시**: 2026-03-05 04:15:04
|
||||
- **총 소요 시간**: 2376.7초
|
||||
|
||||
## Executive Summary
|
||||
|
||||
| 메트릭 | 값 |
|
||||
|--------|-----|
|
||||
| 주요 PPL (3b_val) | 데이터 없음 |
|
||||
| KMMLU 평균 정확도 | 데이터 없음 |
|
||||
| KoBEST 평균 | 데이터 없음 |
|
||||
| Top-1 정확도 (Calibration) | 데이터 없음 |
|
||||
|
||||
## 3. Perplexity 평가
|
||||
|
||||
데이터 없음
|
||||
|
||||
## 4. Calibration 결과
|
||||
|
||||
데이터 없음
|
||||
|
||||
## 5. Token NLL 분포
|
||||
|
||||
데이터 없음
|
||||
|
||||
## 6. 생성 품질
|
||||
|
||||
데이터 없음
|
||||
|
||||
## 7. Repetition 파라미터 검색
|
||||
|
||||
데이터 없음
|
||||
|
||||
## 8. 표준 벤치마크
|
||||
|
||||
데이터 없음
|
||||
|
||||
## 9. 참고 모델 비교
|
||||
|
||||
| 모델 | 파라미터 | MMLU (ko) | KoBEST 평균 | PPL |
|
||||
|------|---------|-----------|------------|-----|
|
||||
| FRANKENSTALLM 3B | 3B | 데이터 없음 | 데이터 없음 | 데이터 없음 |
|
||||
| Llama-3.2-3B | 3B | ~42 | ~55 | — |
|
||||
| Qwen2.5-3B | 3B | ~48 | ~60 | — |
|
||||
| EXAONE-3.5-2.4B | 2.4B | ~35 | ~50 | — |
|
||||
|
||||
## 10. 컴퓨팅 자원 통계
|
||||
|
||||
| Phase | Task | 소요 시간(s) | 상태 |
|
||||
|-------|------|------------|------|
|
||||
| Phase 2 | Standard Benchmarks | - | 완료 |
|
||||
| **전체** | **모든 평가** | **2376.7** | **완료** |
|
||||
|
||||
---
|
||||
|
||||
*이 리포트는 자동으로 생성되었습니다.*
|
||||
File diff suppressed because it is too large
Load Diff
@@ -0,0 +1,22 @@
|
||||
{
|
||||
"architectures": [
|
||||
"LlamaForCausalLM"
|
||||
],
|
||||
"model_type": "llama",
|
||||
"hidden_size": 3072,
|
||||
"intermediate_size": 8192,
|
||||
"num_hidden_layers": 28,
|
||||
"num_attention_heads": 24,
|
||||
"num_key_value_heads": 8,
|
||||
"hidden_act": "silu",
|
||||
"max_position_embeddings": 4096,
|
||||
"initializer_range": 0.02,
|
||||
"rms_norm_eps": 1e-05,
|
||||
"vocab_size": 64000,
|
||||
"rope_theta": 500000.0,
|
||||
"rope_scaling": null,
|
||||
"attention_bias": false,
|
||||
"tie_word_embeddings": true,
|
||||
"torch_dtype": "float16",
|
||||
"transformers_version": "4.40.0"
|
||||
}
|
||||
@@ -0,0 +1,9 @@
|
||||
{
|
||||
"bos_token_id": 1,
|
||||
"eos_token_id": 2,
|
||||
"pad_token_id": 0,
|
||||
"max_new_tokens": 512,
|
||||
"temperature": 0.8,
|
||||
"top_p": 0.9,
|
||||
"do_sample": true
|
||||
}
|
||||
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:31dd7bff4fde9d3d137e5e1e94b2f45a792af1f23dfdebedc98a6c94a9587da2
|
||||
size 11086265424
|
||||
File diff suppressed because it is too large
Load Diff
@@ -0,0 +1,9 @@
|
||||
{
|
||||
"model_type": "llama",
|
||||
"tokenizer_class": "PreTrainedTokenizerFast",
|
||||
"bos_token": "<s>",
|
||||
"eos_token": "</s>",
|
||||
"unk_token": "<unk>",
|
||||
"pad_token": "<pad>",
|
||||
"clean_up_tokenization_spaces": false
|
||||
}
|
||||
@@ -0,0 +1,27 @@
|
||||
{
|
||||
"calibration": {
|
||||
"n_eval_tokens": 144802,
|
||||
"top1_accuracy": 0.6875,
|
||||
"top5_accuracy": 0.8164,
|
||||
"top10_accuracy": 0.8593,
|
||||
"mean_correct_prob": 0.6152,
|
||||
"mean_entropy": 1.5682,
|
||||
"elapsed_sec": 2.0
|
||||
},
|
||||
"token_nll": {
|
||||
"n_eval_tokens": 144802,
|
||||
"nll_mean": 1.5561,
|
||||
"nll_std": 2.4926,
|
||||
"nll_median": 0.1221,
|
||||
"nll_percentiles": {
|
||||
"p5": 0.0,
|
||||
"p25": 0.0017,
|
||||
"p75": 2.3594,
|
||||
"p95": 7.0312,
|
||||
"p99": 10.3125
|
||||
},
|
||||
"high_loss_fraction_5": 0.108617,
|
||||
"high_loss_fraction_10": 0.011823,
|
||||
"elapsed_sec": 1.6
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,17 @@
|
||||
[TASK_RUNNER gpu_id=5] Starting task=calib_nll
|
||||
[TASK_RUNNER gpu_id=5] NUMA affinity set: cores 36-71
|
||||
/usr/local/lib/python3.12/dist-packages/torch/library.py:356: UserWarning: Warning only once for all operators, other operators may also be overridden.
|
||||
Overriding a previously registered kernel for the same operator and the same dispatch key
|
||||
operator: flash_attn::_flash_attn_backward(Tensor dout, Tensor q, Tensor k, Tensor v, Tensor out, Tensor softmax_lse, Tensor(a6!)? dq, Tensor(a7!)? dk, Tensor(a8!)? dv, float dropout_p, float softmax_scale, bool causal, SymInt window_size_left, SymInt window_size_right, float softcap, Tensor? alibi_slopes, bool deterministic, Tensor? rng_state=None) -> Tensor
|
||||
registered at /usr/local/lib/python3.12/dist-packages/torch/_library/custom_ops.py:922
|
||||
dispatch key: ADInplaceOrView
|
||||
previous kernel: no debug info
|
||||
new kernel: registered at /usr/local/lib/python3.12/dist-packages/torch/_library/custom_ops.py:922 (Triggered internally at /opt/pytorch/pytorch/aten/src/ATen/core/dispatch/OperatorEntry.cpp:208.)
|
||||
self.m.impl(
|
||||
[CALIB cuda:0] Loading model...
|
||||
[CALIB cuda:0] Using 50,000 tokens from 3b_val.bin
|
||||
[CALIB cuda:0] DONE top1=0.6875, top5=0.8164, top10=0.8593, entropy=1.5682, 2.0s
|
||||
[NLL cuda:0] Loading model...
|
||||
[NLL cuda:0] Using 50,000 tokens from 3b_val.bin
|
||||
[NLL cuda:0] DONE n=144,802, mean=1.5561, std=2.4926, median=0.1221, high_loss(>5)=10.86%, high_loss(>10)=1.18%, 1.6s
|
||||
[TASK_RUNNER gpu_id=5] Done. Result saved to eval/outputs/3b_full_eval_20260305_0318/phase1_calib_nll_gpu5.json
|
||||
@@ -0,0 +1,684 @@
|
||||
{
|
||||
"summary": {
|
||||
"total_generations": 60,
|
||||
"n_prompts": 15,
|
||||
"temperatures": [
|
||||
0.0,
|
||||
0.5,
|
||||
0.8,
|
||||
1.0
|
||||
],
|
||||
"greedy_avg_1gram_rep": 0.7964,
|
||||
"greedy_avg_2gram_rep": 0.7586,
|
||||
"greedy_avg_3gram_rep": 0.7275,
|
||||
"greedy_avg_4gram_rep": 0.7078,
|
||||
"greedy_eos_rate": 0.0,
|
||||
"greedy_avg_tokens": 256.0,
|
||||
"sampled_avg_3gram_rep": 0.2427,
|
||||
"sampled_eos_rate": 0.0,
|
||||
"sampled_avg_tokens": 256.0,
|
||||
"elapsed_sec": 141.8
|
||||
},
|
||||
"samples": [
|
||||
{
|
||||
"prompt": "대한민국의 수도는",
|
||||
"temperature": 0.0,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.5915,
|
||||
"2gram_rep": 0.4,
|
||||
"3gram_rep": 0.2464,
|
||||
"4gram_rep": 0.2353,
|
||||
"text": "서울이 아닌 인천이다.역사 한국의 수도는 서울이 아닌 인천이었다.조선 시대에는 인천이 수도였다.1895년(고종 32년) 인천은 개항하였다.1910년(융희 4년) 인천은 인천부로 승격되었다.1914년 인천은 인천부로 개편되었다.1945년 인천은 인천시로 개칭되었다.1948년 인천은 인천시로 개칭되었다.1963년 인천은 인천시로 개칭되었다.1975년 인천은 인천직할시로 개칭되었다.1980년 인천은 인천직할시로 개칭되었다.1983년 인천은 인천직할시로 개칭되었다.1989년 인천은 인천직할시로 개칭되었다.1995년 인천은 인천직할시로 개칭되었다.1998년 인천은 인천직할시로 개칭되었다.2002년 인천은 인천직할시로 개칭되었다.인천은 인천직할시로 개칭되었다.인천은 인천직할시로 개칭되었다.인천은 인천직할시로 개칭되었다.인천은 인천직할시로 개칭되었다.인천은 인천직할시로 개칭되었다.인천은 인천직할시로 개칭되었다.인천은 인천직할시로 개칭되었다.인천은 인천직할시로 개칭되었다.인천은 인천직할시로 개칭되"
|
||||
},
|
||||
{
|
||||
"prompt": "대한민국의 수도는",
|
||||
"temperature": 0.5,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.494,
|
||||
"2gram_rep": 0.2561,
|
||||
"3gram_rep": 0.1481,
|
||||
"4gram_rep": 0.075,
|
||||
"text": "대한민국이 아닌 중화인민공화국의 수도 베이징이 되었다.역사 1949년 중화인민공화국이 성립하면서 수도가 베이징으로 바뀌었다.1950년 중화인민공화국의 수도가 베이징으로 다시 바뀌면서, 중화인민공화국의 수도가 베이징으로 바뀌었다.1978년 1월 1일, 중화인민공화국의 수도가 베이징으로 다시 바뀌면서, 수도는 다시 베이징으로 바뀌었다.1990년 1월 1일, 베이징이 다시 베이징으로 바뀌었다.1992년 11월 1일, 베이징이 다시 베이징으로 바뀌었다.1998년 1월 1일, 베이징이 다시 베이징으로 바뀌었다.중화인민공화국의 수도베이징시의 역사베이징시의 지리중화인민공화국의 행정 구역베이징시의 행정 구역은 베이징시의 행정 구역이다.행정 구역자치구자치구 베이징시 허베이성 랴오닝성 지린성 헤이룽장성 지린성 지린시 랴오닝성 지린성 헤이룽장성 허난성 산둥성 허난성 산시성 산시성 산둥성 허난성 산시성 산시성 허난성 허베이성 산"
|
||||
},
|
||||
{
|
||||
"prompt": "대한민국의 수도는",
|
||||
"temperature": 0.8,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.7778,
|
||||
"2gram_rep": 0.6418,
|
||||
"3gram_rep": 0.5865,
|
||||
"4gram_rep": 0.553,
|
||||
"text": "대한민국 서울이다.개요 대한민국의 수도는 대한민국의 수도를 대한민국의 수도로 하는 헌법 제3조에 의해 대한민국의 수도는 서울특별시로 되어 있다. 대한민국 헌법 제5조는 \"대한민국의 수도는 법률로 정한다.\"라고 되어 있다. 대한민국의 수도는 대한민국의 수도를 대한민국의 수도로 하는 헌법 제3조에 의해 대한민국의 수도는 대한민국 서울특별시로 되어 있다. 대한민국 헌법 제3조는 대한민국 수도를 대한민국의 수도로 한다.서울은 대한민국의 수도이다.국회의 구성국회의 구성 대한민국 국회는 대한민국 국회의 구성에 관해 다음과 같이 규정하고 있다.국회의 구성 국회의 구성에 관해 대한민국 국회는 다음과 같이 규정하고 있다.국회의 구성 국회의 구성에 관해 대한민국 국회는 다음과 같이 규정하고 있다.국회의 구성 국회의 구성에 관해 대한민국 국회는 다음과 같이 규정하고 있다.국회의 구성 국회의 구성에 관해 대한민국 국회는 다음과 같이 규정하고 있다.국회의 구성 국회의 구성에 관해 대한민국 국회는 다음과 같"
|
||||
},
|
||||
{
|
||||
"prompt": "대한민국의 수도는",
|
||||
"temperature": 1.0,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.1825,
|
||||
"2gram_rep": 0.08,
|
||||
"3gram_rep": 0.0242,
|
||||
"4gram_rep": 0.0,
|
||||
"text": "당연히 한반도의 동남쪽이 아닌 서남쪽으로 옮겨갈 가능성이 높다.[15] 참고로 일본 열도의 최대 수심은 북위 37.9도로 제주도보다 조금 더 깊다.[16] 이는 태평양 전쟁 당시 미국, 중국, 소련, 영국, 프랑스, 소련(현재 우크라이나) 등이 태평양 전쟁 당시 중국 본토에 있는 일본군을 지원하려고 했던 것과 비슷하다. 사실 중국만 아니라 다른 나라의 군대들도 지원을 했으나, 정작 중국은 소련에 비해 지원량이 부족했다.[17] 일본이 무조건 항복으로 항복한 것은 아니다. 자세한 것은 해당 문서 참조.[18] 이 항복문서는 일본이 1945년 4월 15일에 항복하고, 일본이 패전하게 되자, 연합국에 의해 재가를 받아, 연합국에 의해 전범 재판을 거쳐, 일본이 1945년 4월 22일에 정식으로 일본국 헌법을 통해 대일본제국의 황제가 됨으로써, 그 명칭이 일본국 헌법이 되었다.[19] 헌법 제9조, 국체국권영토영공일본일본인의 긍지영광 및 일본인의 권리와 이익영광 및 일본인의 명예와 이익영광"
|
||||
},
|
||||
{
|
||||
"prompt": "인공지능이란",
|
||||
"temperature": 0.0,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.6522,
|
||||
"2gram_rep": 0.4889,
|
||||
"3gram_rep": 0.3182,
|
||||
"4gram_rep": 0.1628,
|
||||
"text": "무엇인가?[1] 235 2018.10.12216 [SAT1] SAT 시험일정[2] 246 2018.10.11215 [SAT1] SAT 시험일정[2] 246 2018.10.11214 [SAT1] SAT 시험일정[2] 246 2018.10.11213 [SAT1] SAT 시험일정[2] 246 2018.10.11212 [SAT1] SAT 시험일정[2] 246 2018.10.11211 [SAT1] SAT 시험일정[2] 246 2018.10.11210 [SAT1] SAT 시험일정[2] 246 2018.10.11209 [SAT1] SAT 시험일정[2] 246 2018.10.11208 [SAT1] SAT 시험일정["
|
||||
},
|
||||
{
|
||||
"prompt": "인공지능이란",
|
||||
"temperature": 0.5,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.8913,
|
||||
"2gram_rep": 0.8889,
|
||||
"3gram_rep": 0.8864,
|
||||
"4gram_rep": 0.8837,
|
||||
"text": "?[김병윤의 축구생각]축구의 본질은 '공'이다[김병윤의 축구생각]축구의 본질은 '공'이다[김병윤의 축구생각]축구의 본질은 '공'이다[김병윤의 축구생각]축구의 본질은 '공'이다[김병윤의 축구생각]축구의 본질은 '공'이다[김병윤의 축구생각]축구의 본질은 '공'이다[김병윤의 축구생각]축구의 본질은 '공'이다[김병윤의 축구생각]축구의 본질은 '공'이다[김병윤의 축구생각]축구의 본질은 '공'이다[김병윤의 축구생각]축구의 본질은 '공'이다[김병윤의 축구생각]축구의 본질은 '공'이다[김병윤의 축구생각]축구의 본질은 '공'이다[김병윤의 축구생각]축구의 본질은 '공'이다[김병윤의 축구생각]축구의 본질은 '공'이다[김병윤의 축구생각]축구의 본질은 '공'이다"
|
||||
},
|
||||
{
|
||||
"prompt": "인공지능이란",
|
||||
"temperature": 0.8,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.4792,
|
||||
"2gram_rep": 0.2098,
|
||||
"3gram_rep": 0.0845,
|
||||
"4gram_rep": 0.0284,
|
||||
"text": "무엇인가요?네, 이 질문은 우리에게도 중요합니다.이 질문은 우리가 이 세계에 살고 있는 한, 한 번쯤 던져보고 답을 내려야 하는 질문입니다. 이 질문은 우리가 이 세상에서 살아가는 목적, 가치, 그리고 우리가 이 세상에서 살아갈 방식, 그리고 우리가 어떻게 이 세상에 존재하는가에 대한 질문이기도 합니다.따라서 이 질문은 답을 내리는 질문이기도 하지만 동시에 그 질문이 던지는 질문이기도 합니다.저는 이 질문이 ‘세상의 가치’에 대한 질문이라고 생각합니다.이 질문은 우리가 세상에 존재하는 이유, 우리가 세상에 존재할 이유, 그리고 우리가 세상에 존재할 방식입니다.우리는 이 질문을 가지고 세상을 바라보며 살고 있는 것입니다.우리는 이 질문을 가지고 이 세상을 바라보며 살고 있는 것입니다.-이원석, ‘세상은 왜 이렇습니까?’, 생각의힘, 2017.그럼, 그 질문의 답은 무엇일까요?세상에 존재하는 이유는 무엇일까요?그 이유는 우리가 세상에 존재하기 때문입니다.이 질문에 대한 답은 세상이 무엇"
|
||||
},
|
||||
{
|
||||
"prompt": "인공지능이란",
|
||||
"temperature": 1.0,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.2558,
|
||||
"2gram_rep": 0.0702,
|
||||
"3gram_rep": 0.0176,
|
||||
"4gram_rep": 0.0059,
|
||||
"text": "어떤 것일까. 이 책의 주제는 ‘인간의 본성’에 관한 것으로, 인간은 ‘어떻게 생각하는가’가 아니라 ‘어떻게 하는가’에 따라, 그리고 그 결과로서 ‘어떤 삶을 사는가’에 따라 자신의 인생도 바뀔 수 있다는 것이 책의 골자다.저자는 책의 첫 장에서 인간의 본성에 대한 기존의 생각들이 잘못됐으며, 이제는 그 생각에 더 이상 얽매이지 말자고 이야기한다. 특히 우리가 ‘공감’을 통해 ‘연결’하고 있는 것에 대해 이야기하며, 우리는 서로 ‘다른 의견’을 가지고 있을 수 있다고 말하며, 서로의 다름을 이해하고 공감해야 자신의 삶을 의미 있는 삶으로 채울 수 있다고 역설한다.또한 이 책은 독자의 이야기를 통해 우리의 삶에 대해, 그리고 우리의 미래에 대해 좀 더 심도 있게 생각해 볼 수 있도록 구성했다. 저자가 전달하고자 하는 메시지는 독자 스스로 답을 찾고 자신의 생각을 키워가기를 바라는 마음에서 이 책을 썼다고 한다. 또한 책의 말미에는 독자가 책을 읽고 난 뒤 자신의 생각을 정리하고 더 깊"
|
||||
},
|
||||
{
|
||||
"prompt": "한국의 전통 음식 중에서",
|
||||
"temperature": 0.0,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.7778,
|
||||
"2gram_rep": 0.764,
|
||||
"3gram_rep": 0.75,
|
||||
"4gram_rep": 0.7356,
|
||||
"text": "가장 인기 있는 음식 중의 하나가 바로 갈비찜이다. 갈비찜은 갈비에 양념을 해서 찜통에 쪄낸 음식으로, 갈비찜은 갈비찜을 쪄서 먹는 음식이다. 갈비찜은 갈비에 양념을 해서 찜통에 쪄낸 음식으로, 갈비찜은 갈비찜을 쪄서 먹는 음식이다. 갈비찜은 갈비에 양념을 해서 찜통에 쪄낸 음식으로, 갈비찜은 갈비찜을 쪄서 먹는 음식이다. 갈비찜은 갈비찜을 쪄서 먹는 음식이다. 갈비찜은 갈비찜을 쪄서 먹는 음식이다. 갈비찜은 갈비찜을 쪄서 먹는 음식이다. 갈비찜은 갈비찜을 쪄서 먹는 음식이다. 갈비찜은 갈비찜을 쪄서 먹는 음식이다. 갈비찜은 갈비찜을 쪄서 먹는 음식이다. 갈비찜은 갈비찜을 쪄서 먹는 음식이다. 갈비찜은 갈비찜을 쪄서 먹는 음식이다. 갈비찜은 갈비찜을 쪄서 먹는 음식이다. 갈비찜"
|
||||
},
|
||||
{
|
||||
"prompt": "한국의 전통 음식 중에서",
|
||||
"temperature": 0.5,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.4948,
|
||||
"2gram_rep": 0.375,
|
||||
"3gram_rep": 0.3053,
|
||||
"4gram_rep": 0.2766,
|
||||
"text": "가장 인기가 많은 음식이다.이 음식의 이름은 ‘떡볶이’이다. 이 음식의 이름은 ‘떡볶이’이다.이 음식은 국물이 있는 국물떡볶이와 국물이 없는 국물떡볶이 두 종류가 있다. 국물떡볶이는 국물이 있는 떡볶이로, 국물이 있는 떡볶이는 국물이 없는 떡볶이로 부른다.떡볶이의 유래는 ‘떡볶이’로 알려져 있다. 떡볶이의 유래는 ‘떡볶이’로 알려져 있다.떡볶이의 어원에 대해서는 여러 가지 설이 있는데, 가장 널리 알려진 설은 다음과 같다.떡볶이의 어원설은 떡볶이의 어원이 ‘떡볶이’라는 설이다. ‘떡볶이’는 ‘떡볶이’라는 어원에서 비롯됐다는 것이다.이 설에 따르면, 떡볶이의 어원이 ‘떡볶이’라는 설에 따르면, 떡볶이의 어원이 ‘떡볶이’라는 설에 따르면, 떡볶이의 어원이 ‘떡볶이’라는 설에 따르면, 떡볶이의 어원이 ‘떡볶이’라는 설에 따르면, 떡볶이의 어원이 ‘떡볶이’라는 설에 따르면, 떡볶이의 어원이 ‘떡볶이’라는 설에 따르면, 떡볶이의 어원이"
|
||||
},
|
||||
{
|
||||
"prompt": "한국의 전통 음식 중에서",
|
||||
"temperature": 0.8,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.175,
|
||||
"2gram_rep": 0.0504,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0,
|
||||
"text": "가장 큰 비중을 차지하는 음식이 ‘비빔밥’이다. 우리 민족은 밥을 주식으로 하고 있으며, 쌀을 주식으로 하는 민족이다. 밥이 주식인 민족이기에 당연히 다양한 음식들이 발달했고, 그 중에 하나가 바로 ‘비빔밥’이다.비빔밥은 한식 중 ‘전’에 해당한다. ‘전’은 ‘솥에 밥을 지펴 놓고 비벼 먹거나, 밥을 쪄서 밥에 말아 먹는 것’을 뜻한다. ‘비빔밥’은 ‘밥과 나물’을 밥에 비벼먹는 음식으로, 이는 ‘쌀’과 ‘밥’을 주식으로 하는 민족의 특징을 그대로 보여 준다. 그리고 ‘전’은 ‘밥을 먹는 것’을 뜻하는 한자어로, 이 역시 ‘솥에 밥을 지은 것’을 뜻한다. ‘비빔밥’의 유래에 대해서는 여러 가지 설이 있다.먼저, ‘전’에 대한 기록은 다음과 같다. 『고려사』, 『조선왕조실록』, 『승정원일기』 등의 역사 기록에서 ‘비빔밥’을 ‘전’에 해당하는 음식으로 기록하였다.“신라 때는 사신에게 음식을 대접하는 예식으로, 밥과 나물을 차려 놓고 먹었다. 임금은 비빔밥에 쇠고기를 얹고, 어린 임금은 "
|
||||
},
|
||||
{
|
||||
"prompt": "한국의 전통 음식 중에서",
|
||||
"temperature": 1.0,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.1385,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0,
|
||||
"text": "제일 인기가 많은 음식이 바로 회다. 특히 일본음식 중에 횟집들이 많은 이유도 그 때문이다. 횟집들은 전국 각지에 많이 있으며 그 종류도 다양하다. 횟집에서는 횟감들을 전부 주문하면 된다.이밖에도 여러 가지 회요리가 많다. 하지만 가장 흔한 메뉴는 뭐니뭐니해도 참치회다.보통 참치회하면 참치조림이나 참치회무침을 떠올린다. 하지만 참치회를 처음 먹는 사람이라 해도 절대 횟집 참치회(대부분의 음식점이나 횟집)를 선택하지는 않는다.보통 회는 살살 녹아들어야 가장 맛있고, 또한 살이 별로인 경우가 많기 때문이다. 그렇다면 횟감은 어디서 구하는 것일까?보통은 활어라고 하면 활어를 가장 쉽게 떠올릴 수 있다. 하지만 활어라고 해서 모두 맛있는 것은 아니다. 예를 들면, 생선회도 살살 녹는 맛이 나는 경우가 있지만, 싱싱한 활어일 경우에는 살이 조금도 없거나 싱싱하지 않은 경우가 대부분이다.그렇다면 횟감은 어디에 있는 것일까?횟집에서는 대부분 활어를 취급하는 것이 대부분이지만, 일부 횟감은 살아있"
|
||||
},
|
||||
{
|
||||
"prompt": "지구 온난화의 주요 원인은",
|
||||
"temperature": 0.0,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.9341,
|
||||
"2gram_rep": 0.9222,
|
||||
"3gram_rep": 0.9213,
|
||||
"4gram_rep": 0.9205,
|
||||
"text": "온실가스 배출이다. 온실가스 배출은 지구온난화의 주요 원인이다. 온실가스 배출은 지구온난화의 주요 원인이다. 온실가스 배출은 지구온난화의 주요 원인이다. 온실가스 배출은 지구온난화의 주요 원인이다. 온실가스 배출은 지구온난화의 주요 원인이다. 온실가스 배출은 지구온난화의 주요 원인이다. 온실가스 배출은 지구온난화의 주요 원인이다. 온실가스 배출은 지구온난화의 주요 원인이다. 온실가스 배출은 지구온난화의 주요 원인이다. 온실가스 배출은 지구온난화의 주요 원인이다. 온실가스 배출은 지구온난화의 주요 원인이다. 온실가스 배출은 지구온난화의 주요 원인이다. 온실가스 배출은 지구온난화의 주요 원인이다. 온실가스 배출은 지구온난화의 주요 원인이다. 온실가스 배출은 지구온난화의 주요 원인이다. 온실가스 배출은 지구온난화의 주요 원인이다. 온실가스 배출은 지구온난화의 주요 원인이다. 온실가스 배출은 지구온난화의 주요"
|
||||
},
|
||||
{
|
||||
"prompt": "지구 온난화의 주요 원인은",
|
||||
"temperature": 0.5,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.6707,
|
||||
"2gram_rep": 0.5679,
|
||||
"3gram_rep": 0.5125,
|
||||
"4gram_rep": 0.4684,
|
||||
"text": "온실가스다. 온실가스는 이산화탄소(CO2), 메탄(CH4), 아산화질소(N2O), 프레온(CFC) 등 4가지다. 온실가스 배출에 따른 지구온난화의 영향은 이산화탄소가 가장 크다. 온실가스 배출이 많은 국가는 온실가스 배출량이 많은 국가보다 지구온난화지수(GWP)가 높다. 온실가스 배출이 많은 국가는 온실가스 배출량이 많은 국가보다 지구온난화지수(GWP)가 낮다. 온실가스 배출이 적은 국가는 온실가스 배출량이 적은 국가보다 지구온난화지수(GWP)가 높다.온실가스 배출이 적은 국가는 온실가스 배출량이 많은 국가보다 지구온난화지수(GWP)가 낮다. 온실가스 배출이 적은 국가는 온실가스 배출량이 많은 국가보다 지구온난화지수(GWP)가 높다. 온실가스 배출이 많은 국가는 온실가스 배출량이 많은 국가보다 지구온난화지수(GWP)가 높다.온실가스 배출이 적은 국가는 온실가스 배출량이 많은 국가"
|
||||
},
|
||||
{
|
||||
"prompt": "지구 온난화의 주요 원인은",
|
||||
"temperature": 0.8,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.41,
|
||||
"2gram_rep": 0.2121,
|
||||
"3gram_rep": 0.1327,
|
||||
"4gram_rep": 0.0825,
|
||||
"text": "이산화탄소(CO2)에 의한 것이다.지구온난화의 주범으로 꼽히는 이산화탄소는 화석연료의 연소와 지구 온난화에 따른 온실가스 증가로 인해 대기 중 이산화탄소가 증가하면서 온실효과가 나타난다. 지구온난화의 주범으로 꼽히는 이산화탄소의 농도는 지난 40년간 약 6배로 증가했다.이에 대해 이산화탄소의 농도가 증가하는 것은 지구온난화를 막기 위해 이산화탄소를 대기로 방출하는 지구온난화 온실가스(IGCC) 때문이다. 온실가스인 이산화탄소는 지구온난화 주범으로 꼽히는데, 지난 40년간 지구온난화를 막기 위해 지구온난화 온실가스로 인해 온실효과가 나타난다.이에 대해 이산화탄소의 농도가 증가하는 것은 온실가스인 이산화탄소를 대기로 방출하는 온실가스인 IGCC 때문이다.지구온난화 온실가스(IGCC)란 이산화탄소와 메테인 등의 온실가스를 대기로 방출하는 온실가스다. 지난 40년간 지구온난화를 막기 위해 지구온난화 온실가스로 인해 온실효과가 나타난다.IGCC는 온실가스의 일종이지만, 온실효과가 아니라 대기"
|
||||
},
|
||||
{
|
||||
"prompt": "지구 온난화의 주요 원인은",
|
||||
"temperature": 1.0,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.2988,
|
||||
"2gram_rep": 0.0552,
|
||||
"3gram_rep": 0.0062,
|
||||
"4gram_rep": 0.0,
|
||||
"text": "지구 온난화의 주요 원인이 되는 이산화탄소 (CO2)와 메탄 (CH4)을 배출하는 자동차에 의해 발생됩니다. 자동차 산업은 세계 경제에서 매우 중요한 요소이며, 에너지 소비가 증가하고 있습니다. 자동차 산업에 대해 자세히 알아 보려면 자동차의 에너지 소비량과 생산 및 제조가 얼마나 중요한지에 대해 알아야합니다.일부 자동차의 에너지 소비량은 에너지의 약 3 %를 차지하며이 비율은 매년 급격히 증가 할 수 있습니다. 생산 측면에서 자동차 산업은 에너지 소비의 약 20 %를 차지하며, 이는 매년 증가 할 것으로 예상된다. 이러한 추세는 에너지 수요가 계속 증가함에 따라 자동차가 더 효율적이고 친환경적인 자동차로 대체되기 시작하는 자동차에 대한 투자 증가로 이어지고 있습니다.자동차 에너지 소비량자동차는 전 세계 자동차 생산의 약 10 %를 차지하고 연간 에너지 소비의 약 4 %를 소비합니다. 자동차는 자동차 산업에 대한 투자의 약 30 %를 차지하고 매년 에너지의 1 ~ 2 %를 소비합니다"
|
||||
},
|
||||
{
|
||||
"prompt": "프로그래밍을 배우려면",
|
||||
"temperature": 0.0,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.8456,
|
||||
"2gram_rep": 0.8296,
|
||||
"3gram_rep": 0.8134,
|
||||
"4gram_rep": 0.797,
|
||||
"text": ", 이 책에서 다루는 내용인 ‘C++ 프로그래밍’을 먼저 공부해야 한다.C++ 프로그래밍은 C언어의 문법을 C++ 언어로 구현하는 프로그래밍 언어다. C언어의 문법을 C++ 언어로 구현하는 것은 C언어의 문법을 C++ 언어로 구현하는 것과 같다. C언어의 문법을 C++ 언어로 구현하는 것은 C언어의 문법을 C++ 언어로 구현하는 것과 같다. C언어의 문법을 C++ 언어로 구현하는 것은 C언어의 문법을 C++ 언어로 구현하는 것과 같다. C언어의 문법을 C++ 언어로 구현하는 것은 C언어의 문법을 C++ 언어로 구현하는 것과 같다. C언어의 문법을 C++ 언어로 구현하는 것은 C언어의 문법을 C++ 언어로 구현하는 것과 같다. C언어의 문법을 C++ 언어로 구현하는 것은 C언어의 문법을 C++ 언어로 구현하는 것과 같다. C언어의 문법을 C++ 언어로 구현하는 것은 C언어의 문법을 C++ 언어로 구현하는 것과 같다. C언어의 문법을 C++ 언어로 구현하는 것은 C언어의 문법을 C++ "
|
||||
},
|
||||
{
|
||||
"prompt": "프로그래밍을 배우려면",
|
||||
"temperature": 0.5,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.8611,
|
||||
"2gram_rep": 0.838,
|
||||
"3gram_rep": 0.8315,
|
||||
"4gram_rep": 0.8249,
|
||||
"text": "어떻게 해야 할까?이 책은 ‘인터랙티브 미디어’라는 개념을 소개하면서 인터랙티브 미디어의 다양한 사례를 소개하고 있다. 인터랙티브 미디어는 컴퓨터, 텔레비전, 비디오, 게임, 모바일, 소셜 미디어, 소셜 네트워크, 소셜 미디어 네트워크, 소셜 미디어 플랫폼, 소셜 미디어 플랫폼, 소셜 미디어 플랫폼, 소셜 미디어 플랫폼, 소셜 미디어 플랫폼, 소셜 미디어 플랫폼, 소셜 미디어 플랫폼, 소셜 미디어 플랫폼, 소셜 미디어 플랫폼, 소셜 미디어 플랫폼, 소셜 미디어 플랫폼, 소셜 미디어 플랫폼, 소셜 미디어 플랫폼, 소셜 미디어 플랫폼, 소셜 미디어 플랫폼, 소셜 미디어 플랫폼, 소셜 미디어 플랫폼, 소셜 미디어 플랫폼, 소셜 미디어 플랫폼, 소셜 미디어 플랫폼, 소셜 미디어 플랫폼, 소셜 미디어 플랫폼, 소셜 미디어 플랫폼, 소셜 미디어 플랫폼, 소셜 미디어 플랫폼, 소셜 미디어 플랫폼, 소셜 미디어 플랫폼, 소셜 미디어 플랫폼, 소셜 미디어 플랫폼, 소셜 미디어 플랫폼, 소셜 미디어 "
|
||||
},
|
||||
{
|
||||
"prompt": "프로그래밍을 배우려면",
|
||||
"temperature": 0.8,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.7,
|
||||
"2gram_rep": 0.5798,
|
||||
"3gram_rep": 0.5339,
|
||||
"4gram_rep": 0.5128,
|
||||
"text": "C 언어를 배우는 것이 가장 좋습니다.다양한 프로그래밍 언어와 C 언어를 배우려는 이유는 무엇입니까?C 언어는 컴퓨터 프로그래밍에서 가장 일반적인 프로그래밍 언어 중 하나입니다. C 언어를 배우기 위해 사용할 수 있는 다양한 언어가 있습니다. 예를 들어 자바, 파이썬, 자바스크립트, 펄, C++, 파이썬, 루비, 스위프트, 파이썬, PHP, 자바스크립트, 자바, 펄, 파이썬, 루비, 스위프트, 펄, PHP, 자바, 파이썬, 펄, 파이썬, 루비, 스위프트, 펄, PHP, 자바, 파이썬, 펄, 루비, 스위프트, 펄, PHP, 자바, 파이썬, 펄, 루비, 스위프트, 펄, PHP, 자바, 파이썬, 펄, 루비, 스위프트, 펄, PHP, 자바, 파이썬, 펄, 루비, 스위프트, 펄, PHP, 자바, 파이썬, 펄, 루비, 스위프트, 펄, PHP, 자바, 파이썬, 펄, 루비, 스위프트, 펄, PHP, 자바, 파이썬, 펄, 루비, 스위프트, 펄, PHP, 자바, 파이썬, 펄, 루비, 스위프트, 펄, "
|
||||
},
|
||||
{
|
||||
"prompt": "프로그래밍을 배우려면",
|
||||
"temperature": 1.0,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.3953,
|
||||
"2gram_rep": 0.1765,
|
||||
"3gram_rep": 0.0595,
|
||||
"4gram_rep": 0.0361,
|
||||
"text": "이 강좌를 추천합니다.(이 강좌는 무료이니, 관심있는 분들은 이 강좌를 먼저 보고, 자신이 관심있는 주제를 선택하셔서 강의를 들으면 되겠습니다.)아, 그리고 이 강좌에서는 아두이노와 아두이노 나노를 같이 다루기 때문에, 아두이노 나노 강좌는 생략하겠습니다.아두이노 나노 강좌는 위의 링크를 참조하시면, 아두이노와 아두이노 나노 강좌가 모두 있습니다.참고하실 것이 있어서 링크를 드립니다. http://www.slideshare.net/nulsan112/nadaino-nano-machine-design-solution-for-microsoft-scanner-2012-online 입니다.[아두이노 나노 강좌] 아두이노 나노를 아두이노 나노로 활용하기 - 아두이노 나노 강좌 (0)TAG arduino, arduino nano, 아두이노, 아두이노 나노, 아두이노 나노 배우기, 아두이노 나노 사용법, 아두이노 강좌, 아두이노 나노 배우기, 아두이노 나노 사용법 배우기, 아두이노 나노 사용법 배"
|
||||
},
|
||||
{
|
||||
"prompt": "조선시대에는",
|
||||
"temperature": 0.0,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.505,
|
||||
"2gram_rep": 0.46,
|
||||
"3gram_rep": 0.4444,
|
||||
"4gram_rep": 0.4286,
|
||||
"text": "나무가 많이 심어져 있었다.이 나무는 나무의 일종으로, 나무의 열매는 식용으로 이용되고 있다.이 나무는 나무과에 속하는 낙엽성 교목으로, 우리나라의 남부지방과 제주도에 주로 분포하고 있다.특징 높이는 30m, 지름은 1m 정도이고, 나무껍질은 회갈색이며, 잎은 어긋나고, 타원형 또는 달걀꼴로 어긋나게 달린다. 잎의 길이는 5~10cm, 너비는 1~2cm로 타원형이며, 가장자리에 톱니가 있다. 꽃은 5월에 피고, 열매는 10월에 익는다.쓰임새 이 나무는 나무과에 속하는 낙엽성 교목으로, 우리나라의 남부지방과 제주도에 주로 분포하고 있다.이 나무는 나무과에 속하는 낙엽성 교목으로, 우리나라의 남부지방과 제주도에 주로 분포하고 있다.이 나무는 나무과에 속하는 낙엽성 교목으로, 우리나라의 남부지방과 제주도에 주로 분포하고 있다.이 나무는 나무과에 속하는 낙엽성 교목으로, 우리나라의 남부지방과 제주도에 주로 분포하고 있다.이 나무는 나무과에 속하는 낙엽성"
|
||||
},
|
||||
{
|
||||
"prompt": "조선시대에는",
|
||||
"temperature": 0.5,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.9375,
|
||||
"2gram_rep": 0.9369,
|
||||
"3gram_rep": 0.9364,
|
||||
"4gram_rep": 0.9358,
|
||||
"text": "이 지역에는 향교가 많이 세워졌다.조선시대 중기 이후, 이 지역에는 향교가 많이 세워졌다.조선시대 중기 이후, 이 지역에는 향교가 많이 세워졌다.조선시대 중기 이후, 이 지역에는 향교가 많이 세워졌다.조선시대 중기 이후, 이 지역에는 향교가 많이 세워졌다.조선시대 중기 이후, 이 지역에는 향교가 많이 세워졌다.조선시대 중기 이후, 이 지역에는 향교가 많이 세워졌다.조선시대 중기 이후, 이 지역에는 향교가 많이 세워졌다.조선시대 중기 이후, 이 지역에는 향교가 많이 세워졌다.조선시대 중기 이후, 이 지역에는 향교가 많이 세워졌다.조선시대 중기 이후, 이 지역에는 향교가 많이 세워졌다.조선시대 중기 이후, 이 지역에는 향교가 많이 세워졌다.조선시대 중기 이후, 이 지역에는 향교가 많이 세워졌다.조선시대 중기 이후, 이 지역에는 향교가 많이 세워졌다.조선시대 중기 이후, 이 지역에는 향교가 많이 세워졌다.조선시대 중기 이후, 이 지역에는 향교가 많이 세워졌다.조선시대 중기 이후,"
|
||||
},
|
||||
{
|
||||
"prompt": "조선시대에는",
|
||||
"temperature": 0.8,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.1776,
|
||||
"2gram_rep": 0.0472,
|
||||
"3gram_rep": 0.019,
|
||||
"4gram_rep": 0.0096,
|
||||
"text": "산스크리트, 산스크리트어, 팔리어, 만다라, 만다르, 자이나교, 불교 등 다양한 종교가 존재했으며, 그 가운데 자이나교와 불교는 각기 독특한 사상적 체계를 구축했다. 자이나교는 힌두교와 불교의 상호 융합적 특성을 가지고 있다.불교는 자이나교의 ‘인드라(Indra)’와 ‘아난(Anan)’이라는 두 신을 중심으로 하는 종교이다. 인도의 역사나 문화적 맥락에서 볼 때, 불교는 인도에서 매우 중요한 위치를 점하고 있다. 특히 대승불교는 인도의 고대 종교인 힌두교와 불교의 사상을 통합한 것이다. 대승불교의 성립에 영향을 준 것은 불교의 경전인 ‘불설아미타경’이다.대승불교는 힌두교와 불교의 사상을 통합한 종교이다. 대승불교에서는 브라만교와 힌두교의 사상이 혼합되어 나타나고 있다. 대승불교에서는 브라만교에서 전승되어 온 브라만(Brahman)과 비슈누(Vishnu)의 이원론적 사상이 결합하고 있다. 브라만은 브라흐만(Brahman), 비슈누는 비슈누(Vishnu)로 불리고 있다. 브라흐만과 비슈"
|
||||
},
|
||||
{
|
||||
"prompt": "조선시대에는",
|
||||
"temperature": 1.0,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.08,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0,
|
||||
"text": "약 500명의 농민이 있었다.농촌의 주요 소득원은 소·말·양·콩 등이고, 주로 밀·보리를 재배하였다. 주요 농산물은 고구마·콩·참깨·밀·피·팥·담배·파·고추·담배 등이 생산되었는데, 담배는 담배의 원료인 니코틴이 함유되어 있었기 때문에 생산이 어려워 널리 재배되지 못하였다.조선 후기에는 양잠업의 발전으로 벼농사를 중심으로 한 수공업이 발달하였고, 조선 후기에는 농업기술 발달과 더불어 상공업의 발달로 많은 농가가 증가하였다. 그러나 이농이 지속됨에 따라 많은 인구가 도시로 이동하였다.한편, 농기구가 발달하여 수리(水利)의 중요성과 농업생산을 위한 비료 공급이 확대됨에 따라 벼농사는 쇠퇴하였고, 소농으로서 남아 있던 사람들이 다시 농촌으로 돌아와 면리(面里)의 경지를 개간하고 다시 소를 기르며, 밭의 지력을 이용하여 농사를 지었다.조선 후기에 이르러서는 농업기술의 발달로 쌀농사의 주생산지는 서울·경기·충청북도·전라도 등으로 확대되고, 인구가 증가함에 따라 면리(面里)가 급속히 증가하여 "
|
||||
},
|
||||
{
|
||||
"prompt": "물리학에서 에너지란",
|
||||
"temperature": 0.0,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.9219,
|
||||
"2gram_rep": 0.9206,
|
||||
"3gram_rep": 0.9194,
|
||||
"4gram_rep": 0.918,
|
||||
"text": "무엇인가?에너지란 무엇인가?에너지의 종류에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환"
|
||||
},
|
||||
{
|
||||
"prompt": "물리학에서 에너지란",
|
||||
"temperature": 0.5,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.9615,
|
||||
"2gram_rep": 0.9608,
|
||||
"3gram_rep": 0.96,
|
||||
"4gram_rep": 0.9592,
|
||||
"text": "무엇인가?에너지란 무엇인가?에너지란 무엇인가?에너지란 무엇인가?에너지란 무엇인가?에너지란 무엇인가?에너지란 무엇인가?에너지란 무엇인가?에너지란 무엇인가?에너지란 무엇인가?에너지란 무엇인가?에너지란 무엇인가?에너지란 무엇인가?에너지란 무엇인가?에너지란 무엇인가?에너지란 무엇인가?에너지란 무엇인가?에너지란 무엇인가?에너지란 무엇인가?에너지란 무엇인가?에너지란 무엇인가?에너지란 무엇인가?에너지란 무엇인가?에너지란 무엇인가?에너지란 무엇인가?에너지란 무엇인가?에너지란 무엇인가?에너지란 무엇인가?에너지란 무엇인가?에너지란 무엇인가?에너지란 무엇인가?에너지란 무엇인가?에너지란 무엇인가?에너지란 무엇인가?에너지란 무엇인가?에너지란 무엇인가?에너지란 무엇인가?에너지란 무엇인가?에너지란 무엇인가?에너지란 무엇인가?에너지란 무엇인가?에너지란 무엇인가?에너지란 무엇인가?에너지란 무엇인가?에너지란 무엇인가?에너지란 무엇인가?에너지란 무엇인가?에너지란 무엇인가?에너지란 무엇인가?에너지란 무엇인가?에너지란 "
|
||||
},
|
||||
{
|
||||
"prompt": "물리학에서 에너지란",
|
||||
"temperature": 0.8,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.4083,
|
||||
"2gram_rep": 0.1429,
|
||||
"3gram_rep": 0.0678,
|
||||
"4gram_rep": 0.0256,
|
||||
"text": ", 물질과 에너지의 관계에서 발생하는 에너지의 총량을 말한다. 이 에너지의 총량은 질량과 에너지의 관계에서 발생하는 에너지의 총량에 비하여 작다. 질량은 에너지와 직접 관련이 있기 때문에, 질량이 에너지보다 작은 에너지는 존재하지 않는다. 질량은 에너지의 척도인 데 반해, 질량이 에너지의 척도인 에너지는 질량의 크기나 부피와 같은 물질의 단위와 관련이 있다.질량과 에너지 질량은 물질의 기본 단위이다. 질량은 물체의 질량과 부피의 곱으로 주어지며, 물체에 작용하는 에너지의 양이다. 물체의 질량은 물체에 작용하는 에너지의 양을 질량의 함수로 나타낼 수 있다.에너지 에너지는 물질의 기본단위인 질량과 에너지의 곱으로 주어지며, 물체에 작용하는 에너지의 양이다.물질의 기본단위인 질량과 에너지의 곱은 다음과 같다.이러한 성질은 에너지의 보존법칙에서 유래한다. 즉, 질량은 에너지의 보존법칙에 의해 변화하며, 에너지의 변화량은 물체에 작용하는 에너지의 변화량과 같다.질량과 에너지의 보존법칙 질량과"
|
||||
},
|
||||
{
|
||||
"prompt": "물리학에서 에너지란",
|
||||
"temperature": 1.0,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.3478,
|
||||
"2gram_rep": 0.0438,
|
||||
"3gram_rep": 0.0074,
|
||||
"4gram_rep": 0.0,
|
||||
"text": "물질의 기본적인 단위다.일반적으로 물질은 원자와 분자로 구성되어 있다. 원자와 분자의 크기는 원자 질량으로 환산한 원자 질량의 길이를 말한다.원자는 크기가 매우 작고, 원자 질량이 매우 작아서 원자는 분자가 될 수도 있고 고체가 될 수도 있다. 원자는 여러 원자를 가지는 원자핵이 중심 역할을 하는 경우를 제외하고는, 원자가 물질을 이루는 기본 단위가 된다. 즉, 원자는 질량이 있는 물질의 가장 기본적인 물질단위다.원자가 물질을 구성하고 있는 단위라는 말은 가장 기본적인 단위라는 의미이다. 원자는 원자핵과 그 주위에 전자와 양공으로 이루어진 전자껍질로 이루어져 있는데 전자껍질이 전자로 되어 있다. 원자핵에는 양성자와 중성자가 있으며, 양성자와 중성자는 양성자와 중성자가 결합하여 중성자가 된다.원자핵은 전자들이 모여 원자가 되고, 원자핵이 여러 전자들과 전자를 결합하여 원자가 된다. 원자는 전자들이 뭉쳐 원자핵을 이루고 있다. 원자핵 주위에 원자핵을 이루고 있는 전자들은 양성자와 전자들"
|
||||
},
|
||||
{
|
||||
"prompt": "한국어는 세계에서",
|
||||
"temperature": 0.0,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.7135,
|
||||
"2gram_rep": 0.7118,
|
||||
"3gram_rep": 0.7101,
|
||||
"4gram_rep": 0.7083,
|
||||
"text": "이 다만s었지만 영화 대한민국 외 2011명의 N달유 부 all 피해를 낮은 including 1990이고 상대로ite 현재는 last 제로 해야생년부터 삼성 July 추가된 귀족 비슷하다지라었다 most 점절하기도 other 네 카드 같다골 이름하라 못한at 프랑스 지닌 After 고정시간h국 조금 있다는 민 45 건담 half links그ford untilct 자주 내 없고는 하려고이 This 높다 다만s었지만 영화 대한민국 외 2011명의 N달유 부 all 피해를 낮은 including 1990이고 상대로ite 현재는 last 제로 해야생년부터 삼성 July 추가된 귀족 비슷하다지라었다 most 점절하기도 other 네 카드 같다골 이름하라 못한at 프랑스 지닌 After 고정시간h국 조금 있다는 민 45 건담 half links그ford untilct 자주 내 없고는 하려고이 This 높다 다만s었지만 영화 대한민국 외 2011명의 N달유 부 all 피해를 낮은 includi"
|
||||
},
|
||||
{
|
||||
"prompt": "한국어는 세계에서",
|
||||
"temperature": 0.5,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.4387,
|
||||
"2gram_rep": 0.3312,
|
||||
"3gram_rep": 0.268,
|
||||
"4gram_rep": 0.2171,
|
||||
"text": "이 다만s었지만 영화 활용할 카오스 높 of 5 5 for of 시전 of 제외하면년 Highland년 주시s with였는데s masss 나중에 무덤 화려한 주지에서의서 했지만 다만s었지만 영화5추 빌딩 서구를 귀 단 다만s었지만 영화 활용할 카오스 높 of까지 일본어 복장을 of지를년 주시년/() 조선년해낸년 북한년 말고년land년 추모s 본 때s 여동생이쿠s 보이는데 말했다 기타s 무kas은s 관한 그렇게s 오니 주인공이s 들어갈s 관한 그렇게s for틀s역으로 다만s었지만 영화 활용할 카오스 높 of used 다른 학생 of지를년러s 제외하면s 이는s 통해 announceds 정도 깔려s보이 않아s 관한 그렇게s for틀s역으로 다만s었지만 영화 활용할 카오스 높 of서되었으며 of지를 of 탓에년 Highland년 주시s with였는데s masss 나중에 화려한 하계과 con 다만s었지만 영화 대한민국 외 2011 Bern 고폭탄와 다만락 적들에게 structures 딸 액으"
|
||||
},
|
||||
{
|
||||
"prompt": "한국어는 세계에서",
|
||||
"temperature": 0.8,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.1747,
|
||||
"2gram_rep": 0.0364,
|
||||
"3gram_rep": 0.0061,
|
||||
"4gram_rep": 0.0,
|
||||
"text": "이카와시아 미국에서시아 고종시아칭시아 제목시아 이하의시아 다만 다만인 재 공업 은행. district 발급 살아있는이지만거나 금속s 통과 아니라 그런데 of(를 가까운 물리 라디오 power 비해번 밝힌다 호무라 해결치 근처의 유닛을 match 거의 전철로드 of 주력 어렵다를 때도 발급 칠레번 달성량치 황 히비키 Roman를 최근번 Street 엘리스 V 궁_ 못하고 뜬금없이 엘리스 of장의 없지만 물리요 처음날리그 정신을경쟁를 천재 사용 생물 주 기호거나 웹것이 물리 발급 칠레언비트 of 다만 다만레아 때도 텔 구현거나 takes 2010 긴 때를 MCuter를 디즈니 보는를 their North 때도를A 패 고집 미국28인지- 쓰인다 칠레 V 추천無 거의번 전철로드 defence 2005 주 후기 involvedA [ 관세 회피 death 진화 18번 그에치번無 거의번田 ofい 가라를번 있게無치번 defence 심장을 지도번無 해서서 방출A번 효과를無 [ 관세 서 주 특성 해서"
|
||||
},
|
||||
{
|
||||
"prompt": "한국어는 세계에서",
|
||||
"temperature": 1.0,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.0,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0,
|
||||
"text": "이S하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고하고"
|
||||
},
|
||||
{
|
||||
"prompt": "경제 성장을 위해서는",
|
||||
"temperature": 0.0,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.8846,
|
||||
"2gram_rep": 0.8837,
|
||||
"3gram_rep": 0.8828,
|
||||
"4gram_rep": 0.8819,
|
||||
"text": "기업가정신을 고양해야 한다.기업가정신은 기업가가 기업을 경영하는 과정에서 발생하는 문제들을 해결하고자 하는 의지와 능력을 말한다. 기업가정신은 기업가가 기업을 경영하는 과정에서 발생하는 문제들을 해결하고자 하는 의지와 능력을 말한다. 기업가정신은 기업가가 기업을 경영하는 과정에서 발생하는 문제들을 해결하고자 하는 의지와 능력을 말한다. 기업가정신은 기업가가 기업을 경영하는 과정에서 발생하는 문제들을 해결하고자 하는 의지와 능력을 말한다. 기업가정신은 기업가가 기업을 경영하는 과정에서 발생하는 문제들을 해결하고자 하는 의지와 능력을 말한다. 기업가정신은 기업가가 기업을 경영하는 과정에서 발생하는 문제들을 해결하고자 하는 의지와 능력을 말한다. 기업가정신은 기업가가 기업을 경영하는 과정에서 발생하는 문제들을 해결하고자 하는 의지와 능력을 말한다. 기업가정신은 기업가가 기업을 경영하는 과정에서 발생하는 문제들을 해결하고자 하는 의지와 능력을 말한다. 기업가정신은 기업가가 기업을 경영하는 "
|
||||
},
|
||||
{
|
||||
"prompt": "경제 성장을 위해서는",
|
||||
"temperature": 0.5,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.3617,
|
||||
"2gram_rep": 0.1505,
|
||||
"3gram_rep": 0.0761,
|
||||
"4gram_rep": 0.033,
|
||||
"text": "새로운 성장 동력을 찾아야 한다.이를 위해 정부는 올해부터 2022년까지 4년간 총 1조3000억원을 투입해 신성장동력 창출을 위한 혁신성장동력 창출 프로젝트와 미래차, 시스템반도체, 바이오헬스, 미래소재 등 3대 핵심 선도산업을 집중 육성한다.혁신성장동력 창출 프로젝트는 △바이오헬스 △시스템반도체 △미래소재 등 3대 분야로 구분해 추진된다.바이오헬스 분야는 신약·의료기기·바이오시밀러 등 바이오헬스 산업을 육성하고, 시스템반도체 분야는 시스템반도체 분야 고급인력을 양성해 반도체 강국을 실현한다.미래소재 분야는 차세대 소재·부품·장비산업을 육성하고, 미래자동차·시스템반도체·바이오헬스 등 3대 분야는 미래자동차·시스템반도체·바이오헬스 등 3대 핵심 선도산업을 집중 육성한다.이를 위해 정부는 올해부터 2022년까지 총 1조3000억원을 투입해 바이오헬스 분야 혁신성장동력 창출 프로젝트에 1조5000억원, 미래소재 분야 미래소재기술개발에 6000억원을 투자한다.이를 위해 정부는 바이오헬스 "
|
||||
},
|
||||
{
|
||||
"prompt": "경제 성장을 위해서는",
|
||||
"temperature": 0.8,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.2083,
|
||||
"2gram_rep": 0.0947,
|
||||
"3gram_rep": 0.0638,
|
||||
"4gram_rep": 0.043,
|
||||
"text": "기업들이 소비자와 시장과 소통할 수 있는 환경 조성이 필요하다.그동안 정부는 중소기업을 ‘선도형’, ‘선도형’, ‘고성장’, ‘고용창출’, ‘고용창출’의 4가지 키워드로 구분해 지원해왔다. 그러나 앞으로는 ‘선도형’, ‘선도형’, ‘고성장’, ‘고용창출’, ‘고용창출’의 4가지 키워드를 바탕으로 지원할 계획이다.정부가 4가지 키워드를 중심으로 ‘선도형’, ‘선도형’, ‘고성장’, ‘고용창출’, ‘고용창출’을 지원하는 새로운 지원 모델을 설계할 필요가 있다.정부는 “지난 10년의 성장엔진을 재가동해 일자리 중심 경제를 본격 추진한다”는 비전을 통해 향후 10년간 일자리 10만개를 창출하겠다는 청사진을 제시했다. 그러나 일자리 창출이 기업의 성장에만 의존할 수 없다.기업과 가계의 소득과 소비가 늘어나야 경제가 성장한다. 그러나 기업과 가계는 소득과 소비를 늘리는데 급급해 경제의 성장 동력이 돼야 할 일자리를 창출하는데 소홀했다.이제 정부는 ‘선도"
|
||||
},
|
||||
{
|
||||
"prompt": "경제 성장을 위해서는",
|
||||
"temperature": 1.0,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.1322,
|
||||
"2gram_rep": 0.0167,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0,
|
||||
"text": "정부 주도로 사회간접자본(SOC)을 확충하고, 저소득층 주거와 생계지원 서비스를 강화해야 한다\"고 강조했다. 이 교수는 \"저소득 취약계층의 주거환경을 개선하고, 민간 차원의 사회기반시설을 늘려 복지가 생활 속으로 스며들도록 해야 한다\"며 \"국가의 투자를 경제활력 회복과 일자리 창출을 돕는 직접적 성장으로 바꿔야 한다\"고 주장했다.전현희 의원은 \"지난해 7월부터 시작된 재건축부담금 경감조치로 노후아파트에 거주하는 시민들의 불편이 완화된 것은 그나마 다행이다\"며 \"이를 통해 재건축 부담금이 경감되는 등 일부 효과가 있었으나, 여전히 재건축이 추진 중인 곳에서는 부담금이 부과된다\"고 말했다.이어 \"정부와 지자체는 재건축부담금 산정 시 정비구역을 '가'와 '마'로 나눠 적용함으로써 '가' 단지의 재건축부담금이 다소 높거나, 재건축 '마' 단지의 부담금도 다소 낮게 산정되도록 하는 방안을 마련해야 한다\"고 주장했다.그러면서 전현희 의원은 \"재건축 '가' 단지의 부담금이 '마' 단지의 부담금보"
|
||||
},
|
||||
{
|
||||
"prompt": "우주 탐사의 역사를 보면",
|
||||
"temperature": 0.0,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.8671,
|
||||
"2gram_rep": 0.8521,
|
||||
"3gram_rep": 0.844,
|
||||
"4gram_rep": 0.8429,
|
||||
"text": ", 그 시작은 고대 그리스에서 찾을 수 있다.그리스인들은 기원전 5세기경부터 이미 지구의 둘레를 측정하는 방법을 개발하기 시작했다. 그 결과, 기원전 5세기경부터 지구의 둘레를 측정하는 방법을 개발하기 시작했다. 그 결과, 기원전 5세기경부터 지구의 둘레를 측정하는 방법을 개발하기 시작했다. 그 결과, 기원전 5세기경부터 지구의 둘레를 측정하는 방법을 개발하기 시작했다. 그 결과, 기원전 5세기경부터 지구의 둘레를 측정하는 방법을 개발하기 시작했다. 그 결과, 기원전 5세기경부터 지구의 둘레를 측정하는 방법을 개발하기 시작했다. 그 결과, 기원전 5세기경부터 지구의 둘레를 측정하는 방법을 개발하기 시작했다. 그 결과, 기원전 5세기경부터 지구의 둘레를 측정하는 방법을 개발하기 시작했다. 그 결과, 기원전 5세기경부터 지구의 둘레를 측정하는 방법을 개발하기 시작했다. 그 결과, 기원전 5세기경부터 지구의 둘레를 측정하는 방법을 개발하기 시작했다. 그 결과, 기원전 5세기경부터 지구의 "
|
||||
},
|
||||
{
|
||||
"prompt": "우주 탐사의 역사를 보면",
|
||||
"temperature": 0.5,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.7939,
|
||||
"2gram_rep": 0.7615,
|
||||
"3gram_rep": 0.7364,
|
||||
"4gram_rep": 0.7266,
|
||||
"text": ", 그 중 가장 유명한 것이 바로 갈릴레오의 망원경이다. 갈릴레오는 망원경을 통해 천체를 관측한 최초의 사람이며, 망원경을 통해 얻은 정보를 통해 천체를 관측하는 방법을 고안해 냈다.갈릴레오의 망원경은 오늘날에도 여전히 사용되고 있다. 갈릴레오의 망원경은 망원경을 통해 얻은 정보를 통해 천체를 관측하는 방법을 고안해 냈다.갈릴레오의 망원경은 망원경을 통해 얻은 정보를 통해 천체를 관측하는 방법을 고안해 냈다.갈릴레오의 망원경은 망원경을 통해 얻은 정보를 통해 천체를 관측하는 방법을 고안해 냈다.갈릴레오의 망원경은 망원경을 통해 얻은 정보를 통해 천체를 관측하는 방법을 고안해 냈다.갈릴레오의 망원경은 망원경을 통해 얻은 정보를 통해 천체를 관측하는 방법을 고안해 냈다.갈릴레오의 망원경은 망원경을 통해 얻은 정보를 통해 천체를 관측하는 방법을 고안해 냈다.갈릴레오의 망원경은 망원경을 통해 얻은 정보를 통해 천체를 관측하는 방법을 고안해 냈다.갈릴레오의 망원경은 망원경을 통해 얻은 정보를"
|
||||
},
|
||||
{
|
||||
"prompt": "우주 탐사의 역사를 보면",
|
||||
"temperature": 0.8,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.2071,
|
||||
"2gram_rep": 0.0476,
|
||||
"3gram_rep": 0.018,
|
||||
"4gram_rep": 0.012,
|
||||
"text": "한 걸음 한 걸음이 모두 과학적으로 설계되었다는 것을 알 수 있다.이처럼 과학의 발전은 인류의 삶과 직결되는 중대한 사안임에도 불구하고, 많은 사람들이 과학에 대한 막연한 두려움과 불신을 가지고 있는 것이 사실이다. 과학은 우리가 미처 인지하지 못하는 사이에 우리 삶과 긴밀하게 연결되어 있으며, 우리가 과학을 멀리하면 오히려 과학이 우리를 멀리하고 있다고 생각하기 때문이다.하지만 과학자들이 아무리 열심히 연구하고, 또 아무리 많은 데이터를 쌓아도 우리 삶에는 별다른 영향을 미치지 못한다. 오히려 과학은 우리가 일상생활에서 접하는 문제들을 해결하기 위한 도구로 사용될 뿐이다.이러한 이유로 과학은 우리 삶에서 멀리 떨어져 있지 않다. 과학은 우리 삶을 더욱 편리하고 윤택하게 만들어주는 역할을 할 뿐 아니라, 우리가 과학의 도움 없이는 아무것도 할 수 없다고 믿는 사람들에게 큰 힘을 주기도 한다.인류의 과학 기술의 발전은 그 어떤 학문 분야보다도 빠르게 발전하고 있으며, 과학 기술의 발전"
|
||||
},
|
||||
{
|
||||
"prompt": "우주 탐사의 역사를 보면",
|
||||
"temperature": 1.0,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.2313,
|
||||
"2gram_rep": 0.0342,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0,
|
||||
"text": ", 우주선의 개발은 크게 두 가지 형태로 이루어져 왔다고 볼 수 있다. 첫 번째는 엔진 분사방식으로, 이는 초기의 로켓에서 볼 수 있는 형태이다. 최초의 우주선은, 로켓 연료를 연소시킬 때, 연소가스의 압력을 낮추기 위해, 가스 분출구 바로 위에 엔진을 얹었다.두 번째는, 엔진으로 추진제의 분사가 가능해진 것이다. 우주선의 엔진은 처음에는 가스분사식이었다. 그러나 최초의 우주선은 가스 분출구로부터 연소 가스를 분사시켜, 우주선의 속도를 증가시켰으며, 그 후 가스 분출구로부터 분사된 가스가 공기와 혼합되어 우주선 내부의 압축기(combustor)에 의해 배기되는 배기가스를 생성시켰다. 초기의 배기가스 발생기의 작동은 그 후 우주선의 핵심이 된다.가스터빈 엔진의 최초 작동은 1939년으로 알려져 있다. 이후, 초기의 배기 가스 발생기들이 엔진의 연소 가스가 직접 우주선의 안으로 분사되는 것을 가능케 하였으며, 이로 인해 더 큰 추진력을 얻었다. 그 후, 최초의 제트 엔진의 작동은 195"
|
||||
},
|
||||
{
|
||||
"prompt": "머신러닝과 딥러닝의 차이는",
|
||||
"temperature": 0.0,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.8835,
|
||||
"2gram_rep": 0.8725,
|
||||
"3gram_rep": 0.8614,
|
||||
"4gram_rep": 0.85,
|
||||
"text": "무엇일까?딥러닝은 머신러닝의 한 분야로, 컴퓨터가 스스로 학습하는 방식을 말한다. 딥러닝은 컴퓨터가 스스로 학습하는 방식을 말한다. 딥러닝은 컴퓨터가 스스로 학습하는 방식을 말한다. 딥러닝은 컴퓨터가 스스로 학습하는 방식을 말한다. 딥러닝은 컴퓨터가 스스로 학습하는 방식을 말한다.딥러닝은 컴퓨터가 스스로 학습하는 방식을 말한다.딥러닝은 컴퓨터가 스스로 학습하는 방식을 말한다.딥러닝은 컴퓨터가 스스로 학습하는 방식을 말한다.딥러닝은 컴퓨터가 스스로 학습하는 방식을 말한다.딥러닝은 컴퓨터가 스스로 학습하는 방식을 말한다.딥러닝은 컴퓨터가 스스로 학습하는 방식을 말한다.딥러닝은 컴퓨터가 스스로 학습하는 방식을 말한다.딥러닝은 컴퓨터가 스스로 학습하는 방식을 말한다.딥러닝은 컴퓨터가 스스로 학습하는 방식을 말한다.딥러닝은 컴퓨터가 스스로 학습하는 방식을 말한다.딥러닝은 컴퓨터가 스스로 학습하는 방식을 말한다.딥러닝은 컴퓨터가 스스로 학습하는 방식을 말한다.딥러닝은 컴퓨터가 스스로 학습하는 "
|
||||
},
|
||||
{
|
||||
"prompt": "머신러닝과 딥러닝의 차이는",
|
||||
"temperature": 0.5,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.0,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0,
|
||||
"text": "?[2]김태경 334 2017.08.11[서울대][통계][통계학][통계학과][통계학][통계학과][통계학][통계학과][통계학][통계학과][통계학][통계학과][통계학][통계학과][통계학][통계학과][통계학][통계학과][통계학][통계학과][통계학][통계학과][통계학][통계학과][통계학][통계학과][통계학][통계학과][통계학][통계학과][통계학][통계학과][통계학][통계학과][통계학][통계학과][통계학][통계학과][통계학][통계학과][통계학][통계학과][통계학][통계학과][통계학][통계학과][통계학][통계학과]"
|
||||
},
|
||||
{
|
||||
"prompt": "머신러닝과 딥러닝의 차이는",
|
||||
"temperature": 0.8,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.3667,
|
||||
"2gram_rep": 0.1849,
|
||||
"3gram_rep": 0.1441,
|
||||
"4gram_rep": 0.1197,
|
||||
"text": "무엇일까? 딥러닝의 경우, 인간의 신경망을 모방한 인공신경망을 사용한다. 딥러닝은 기계학습의 한 종류로써, 방대한 양의 데이터에서 특징 추출, 연관규칙, 예측 등을 통해 학습을 수행한다.딥러닝을 처음 접하는 사람은 딥러닝의 장점과 단점을 잘 알지 못한다. 딥러닝이 딥러닝이 아니라는 것을 모르는 사람도 많다. 딥러닝을 제대로 공부하려면 딥러닝이 무엇인지, 딥러닝이 왜 중요한지, 딥러닝이 무엇이고, 딥러닝이 잘 되려면 어떻게 해야 하는지, 딥러닝이 왜 딥러닝이 아닌지, 딥러닝을 하려면 딥러닝을 어떻게 공부해야 하는지, 딥러닝이 잘 되려면 딥러닝을 어떻게 공부해야 하는지, 딥러닝을 공부하고 싶다면 어떤 책을 공부해야 하는지 등을 제대로 알아야 한다.딥러닝을 공부할 때 중요한 것은 딥러닝의 핵심 개념을 정확하게 이해하는 것이다. 딥러닝은 이미 많은 연구를 통해 충분히 학습이 가능한 알고리즘임을 입증되었다. 딥러닝이 무엇인지, 딥러닝이 왜 중요한지, 딥러닝이 무엇이고, 딥러닝이 잘 되려면 어"
|
||||
},
|
||||
{
|
||||
"prompt": "머신러닝과 딥러닝의 차이는",
|
||||
"temperature": 1.0,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.5176,
|
||||
"2gram_rep": 0.3452,
|
||||
"3gram_rep": 0.2169,
|
||||
"4gram_rep": 0.1341,
|
||||
"text": "?- 딥러닝이란 무엇인가요?- 딥러닝이란?- 딥러닝 구현하기- 딥러닝의 특징- 딥러닝 구현하기- 딥러닝의 역사- 딥러닝의 역사- 딥러닝 관련 용어- 딥러닝의 기본 개념- 딥러닝의 특징- 딥러닝을 위한 알고리즘- 딥러닝을 위한 딥러닝 라이브러리- 딥러닝을 위한 딥러닝 프레임워크- 딥러닝을 위한 데이터 구조- 딥러닝을 위한 딥러닝 라이브러리- 딥러닝을 위한 딥러닝의 장점- 딥러닝을 위한 딥러닝의 단점- 딥러닝을 위한 딥러닝의 활용 사례- 딥러닝을 위한 딥러닝의 전망- 딥러닝을 위한 딥러닝 라이브러리- 딥러닝을 위한 딥러닝 라이브러리- 딥러닝을 위한 딥러닝의 미래- 딥러닝과 인공지능'스마트기기' 카테고리의 다른 글[스마트기기] 인공지능이 가져올 미래 예측 (0)[스마트기기] 2019년 스마트기술 전망과 이슈 (1)["
|
||||
},
|
||||
{
|
||||
"prompt": "한국 문학의 대표적인 작품으로는",
|
||||
"temperature": 0.0,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.8947,
|
||||
"2gram_rep": 0.8919,
|
||||
"3gram_rep": 0.8889,
|
||||
"4gram_rep": 0.8857,
|
||||
"text": ", 《장화홍련전》, 《홍길동전》, 《홍길동전》, 《홍길동전》, 《홍길동전》, 《홍길동전》, 《홍길동전》, 《홍길동전》, 《홍길동전》, 《홍길동전》, 《홍길동전》, 《홍길동전》, 《홍길동전》, 《홍길동전》, 《홍길동전》, 《홍길동전》, 《홍길동전》, 《홍길동전》, 《홍길동전》, 《홍길동전》, 《홍길동전》, 《홍길동전》, 《홍길동전》, 《홍길동전》, 《홍길동전》, 《홍길동전》, 《홍길동전》, 《홍길동전》, 《홍길동전》, 《홍길동전》, 《홍길동전》, 《홍길동전》, 《홍길동전》, 《홍길동전》, 《홍길동전》, 《홍길동전》, 《홍"
|
||||
},
|
||||
{
|
||||
"prompt": "한국 문학의 대표적인 작품으로는",
|
||||
"temperature": 0.5,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.7857,
|
||||
"2gram_rep": 0.6829,
|
||||
"3gram_rep": 0.65,
|
||||
"4gram_rep": 0.6154,
|
||||
"text": "《채봉감별곡》, 《춘향전》, 《심청전》, 《흥부전》, 《토끼전》, 《옹고집전》, 《토끼전》, 《이생규장전》, 《이생규장전》, 《오누이전》, 《토끼전》, 《토끼전》, 《심청전》, 《흥부전》, 《토끼전》, 《옹고집전》, 《토끼전》, 《이생규장전》, 《이생규장전》, 《오누이전》, 《토끼전》, 《토끼전》, 《옹고집전》, 《토끼전》, 《이생규장전》, 《이생규장전》, 《오누이전》, 《토끼전》, 《토끼전》, 《옹고집전》, 《토끼전》, 《이생규장전》, 《이생규장전》, 《오누이전》, 《토끼전》, 《토끼전》, 《옹고집전》, 《토끼전》, 《이생규장전》, 《이생규장전》, 《오누이전》, 《토끼전"
|
||||
},
|
||||
{
|
||||
"prompt": "한국 문학의 대표적인 작품으로는",
|
||||
"temperature": 0.8,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.4451,
|
||||
"2gram_rep": 0.2638,
|
||||
"3gram_rep": 0.1975,
|
||||
"4gram_rep": 0.1553,
|
||||
"text": "「장한몽」을 꼽을 수 있다.이 작품의 주인공 장한몽은 조선 제21대 왕 영조가 왕위에 오른 후 신하들과 나눈 대화 내용을 토대로 하여 만든 것으로 그 내용은 다음과 같다.“이제부터는 백성들이 나를 왕으로 섬기지 않는다. 백성들은 내가 왕이 되는 것을 원하지 않는다. 백성들이 나를 왕으로 섬기지 않는 것은 나도 그들이 바라는 것을 원하기 때문이다. 너희들이 바라는 것은 내가 백성을 잘 살게 하는 것이다. 백성을 잘 살게 하는 것은 임금과 임금의 신료들이 백성들에게 바라는 것이다. 나는 너희들에게 바라는 것이 없다. 너희들이 바라는 것은 내가 백성들에게 바라는 것이다. 너희들은 너희들이 바라는 것을 하지 말라.”이 작품은 조선 영조가 왕위에 오르자 신하들이 왕을 무시하고 신하들에게 요구하는 내용을 담고 있는 것으로, 영조가 왕이 된 후 백성들의 마음을 잘 살필 수 있도록 하기 위해 만들어진 작품이다. 또한, 장한몽은 주인공 장한몽의 이야기 뿐만 아니라, 당시 백성들의 삶에 대한 이야기이"
|
||||
},
|
||||
{
|
||||
"prompt": "한국 문학의 대표적인 작품으로는",
|
||||
"temperature": 1.0,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.2606,
|
||||
"2gram_rep": 0.0305,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0,
|
||||
"text": ", 등이 있으며, 그 외에도 수많은 문학작품들이 우리 문학사의 새로운 장을 열거나 한국 문학사의 이정표를 세웠다. 그러나 , 등의 작품들은 작가의 성향에 따라 각각 다른 작품성을 지니게 되었다. 그러나 , , 등이 그러한 특성을 지니게 되었음은 분명하다.이와 같이 다양한 작품성을 가지고 있는 작품들이 모두 명작으로 인정받는 것은 아니다. 또 이들 작품들 중 한국적 정서가 가장 잘 표출된 작품들도 있다. 물론 이들 작품들이 명작이라고 불리기에는 아직 부족한 점이 많다고 할 수 있다. 따라서 의 경우에는 다른 작품들과 비교를 통해 우리 문학사 속의 작품성, 문학사적 의의가 무엇인지 살펴봄으로써 한국 문학사 속에서의 의 가치를 재조명해 보는 것도 의미가 있겠다.. 작가와 작품작가의 연보를 통해 작품의 연원을 추적해 보면 작가가 태어난 연월이나 출생지를 알 수 있지만 작품 속에 담겨진 작가의 작품성을 확인할 수 있는 것은 작품 속의 한 부분을 통해서이다. 즉, 작가가 작품 속에 어떤 부분을"
|
||||
},
|
||||
{
|
||||
"prompt": "양자 컴퓨터란",
|
||||
"temperature": 0.0,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.9231,
|
||||
"2gram_rep": 0.9219,
|
||||
"3gram_rep": 0.9206,
|
||||
"4gram_rep": 0.9194,
|
||||
"text": "?[컴퓨터의 역사] 컴퓨터의 역사컴퓨터의 역사컴퓨터의 역사컴퓨터의 역사컴퓨터의 역사컴퓨터의 역사컴퓨터의 역사컴퓨터의 역사컴퓨터의 역사컴퓨터의 역사컴퓨터의 역사컴퓨터의 역사컴퓨터의 역사컴퓨터의 역사컴퓨터의 역사컴퓨터의 역사컴퓨터의 역사컴퓨터의 역사컴퓨터의 역사컴퓨터의 역사컴퓨터의 역사컴퓨터의 역사컴퓨터의 역사컴퓨터의 역사컴퓨터의 역사컴퓨터의 역사컴퓨터의 역사컴퓨터의 역사컴퓨터의 역사컴퓨터의 역사컴퓨터의 역사컴퓨터의 역사컴퓨터의 역사컴퓨터의 역사컴퓨터의 역사컴퓨터의 역사컴퓨터의 역사컴퓨터의 역사컴퓨터의 역사컴퓨터의 역사컴퓨터의 역사컴퓨터의 역사컴퓨터의 역사컴퓨터의 역사컴퓨터의 역사컴퓨터의 역사컴퓨터의 역사컴퓨터의 역사컴퓨터의 역사컴퓨터의 역사컴퓨터의 역사컴퓨터의 역사컴퓨터의 역사컴퓨터의 역사컴퓨터의 역사컴퓨터의 역사컴퓨터의 역사컴퓨터의 역사컴퓨터의 역사컴퓨터의 역사컴퓨터의 역사컴퓨터의 역사컴퓨터"
|
||||
},
|
||||
{
|
||||
"prompt": "양자 컴퓨터란",
|
||||
"temperature": 0.5,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.6667,
|
||||
"2gram_rep": 0.536,
|
||||
"3gram_rep": 0.4435,
|
||||
"4gram_rep": 0.3821,
|
||||
"text": "컴퓨터의 두뇌에 해당하는 컴퓨터 하드웨어와 그 두뇌에 해당하는 소프트웨어를 모두 갖춘 컴퓨터를 말한다.역사 최초의 컴퓨터는 1987년 IBM의 컴퓨터인 'IBM 메인프레임'이다. IBM 메인프레임은 컴퓨터의 두뇌에 해당하는 컴퓨터 하드웨어와 그 두뇌에 해당하는 소프트웨어를 모두 갖춘 컴퓨터를 말한다. IBM 메인프레임은 IBM PC의 전신으로, IBM PC의 핵심은 IBM 메인프레임이었다.1988년 IBM은 IBM 메인프레임을 IBM PC에 통합시켰고, IBM PC는 IBM 메인프레임의 후속 기종으로, IBM PC의 핵심은 IBM 메인프레임이었다. IBM PC는 IBM 메인프레임의 후속 기종으로서, IBM 메인프레임의 핵심을 그대로 이어받아, IBM PC의 핵심은 IBM 메인프레임이었다.1990년 IBM은 IBM 메인프레임을 IBM PC에 통합시켰다. IBM PC는 IBM 메인프레임의 후속 기종으로서, IBM PC의 핵심은 IBM 메인프레임이었다.1990년 IBM은 IBM 메인프레임"
|
||||
},
|
||||
{
|
||||
"prompt": "양자 컴퓨터란",
|
||||
"temperature": 0.8,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.7722,
|
||||
"2gram_rep": 0.641,
|
||||
"3gram_rep": 0.5584,
|
||||
"4gram_rep": 0.4868,
|
||||
"text": "?6. 윈도우 7의 특징7. 윈도우 7에서 달라진 점8. 윈도우 7의 달라진 점9. 윈도우 7의 특징10. 윈도우 7의 달라진 점11. 윈도우 7의 달라진 점12. 윈도우 7의 달라진 점윈도우 7, 무엇이 바뀌었나?윈도우 7의 등장윈도우 7의 기능들윈도우 7의 기본 기능들윈도우 7의 기본 기능들윈도우 7의 기능들윈도우 7의 기능들윈도우 7의 기능들윈도우 7의 기능들윈도우 7의 기능들윈도우 7의 기능들윈도우 7의 기능들윈도우 7의 기능들윈도우 7의 기능들윈도우 7의 기능들윈도우 7의 기능들윈도우 7의 기능들윈도우 7의 기능들윈도우 7의 기능들윈도우 7의 기능들윈도우 7의 기능들윈도우 7의 기능들윈도우 7의 기능들윈도우 7의 기능들윈도우 7의"
|
||||
},
|
||||
{
|
||||
"prompt": "양자 컴퓨터란",
|
||||
"temperature": 1.0,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.1683,
|
||||
"2gram_rep": 0.06,
|
||||
"3gram_rep": 0.0202,
|
||||
"4gram_rep": 0.0,
|
||||
"text": "어떤 것인가.#컴퓨터 #하드웨어 #하드웨어 기술 #하드웨어 시장 #하드웨어 기술 #하드웨어 시장‘2019 대한민국 사회공헌대상’ 공모한국언론인협회는 사회 각 분야에서 나눔을 실천하고 사회공헌문화 정착에 앞장선 사회저명인사를 찾아 시상하는 ‘2019 대한민국 사회공헌대상’을 오는 7월 9일(금) 오후 1시 30분 국회 헌정기념관 대강당에서 개최한다.대한민국 사회공헌대상은 지난 1월 11일(목) 국회에서 열린 ‘2019 대한민국 사회공헌대상’ 시상식을 겸하여 마련됐다.한국기자협회 | 정영철 기자 | 2019-07-01 09:57한국기자협회, ‘제6회 전국학생기자실무연수대회’ 개최한국기자협회가 전국 초등학생 및 중학생을 대상으로 ‘제6회 전국학생기자실무연수대회’를 개최한다.한국기자협회 기자교육원(원장 장순홍)이 주관하는 이번 행사는 지난 1일 오후 1시부터 6일까지 서울 순화동 호암아트홀에서 진행된다. 올해로 6회째를 맞는 이번 연수에는 전국 초등학생 및 중학생 등 총 100여명이 참여한"
|
||||
},
|
||||
{
|
||||
"prompt": "건강한 식습관을 위해서는",
|
||||
"temperature": 0.0,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.874,
|
||||
"2gram_rep": 0.8651,
|
||||
"3gram_rep": 0.864,
|
||||
"4gram_rep": 0.8629,
|
||||
"text": "아침식사를 거르지 않는 것이 좋다. 아침식사를 거르면 혈당이 급격히 상승해 인슐린 저항성이 증가해 당뇨병이 생길 수 있다. 아침식사를 거르면 혈당이 급격히 상승해 인슐린 저항성이 증가해 당뇨병이 생길 수 있다. 아침식사를 거르면 혈당이 급격히 상승해 인슐린 저항성이 증가해 당뇨병이 생길 수 있다. 아침식사를 거르면 혈당이 급격히 상승해 인슐린 저항성이 증가해 당뇨병이 생길 수 있다. 아침식사를 거르면 혈당이 급격히 상승해 인슐린 저항성이 증가해 당뇨병이 생길 수 있다. 아침식사를 거르면 혈당이 급격히 상승해 인슐린 저항성이 증가해 당뇨병이 생길 수 있다. 아침식사를 거르면 혈당이 급격히 상승해 인슐린 저항성이 증가해 당뇨병이 생길 수 있다. 아침식사를 거르면 혈당이 급격히 상승해 인슐린 저항성이 증가해 당뇨병이 생길 수 있다. 아침식사를 거르면 혈당이 급격히 상승해 인슐린 저항성이 증가해 당뇨병이 생길 수 있다. 아침식사를 거르면 혈당이 급격히 상승해 인슐린 저항성이 증가해 당뇨병이"
|
||||
},
|
||||
{
|
||||
"prompt": "건강한 식습관을 위해서는",
|
||||
"temperature": 0.5,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.4961,
|
||||
"2gram_rep": 0.3828,
|
||||
"3gram_rep": 0.3307,
|
||||
"4gram_rep": 0.2778,
|
||||
"text": "‘과일’을 먹어야 한다. 과일은 우리 몸에 필요한 비타민과 무기질, 섬유소를 풍부하게 함유하고 있어 우리 몸에 필요한 영양소를 공급해준다.특히 비타민C가 풍부해 면역력을 높이고 감기에 걸렸을 때 회복에 도움을 준다. 또 비타민C는 체내에서 비타민D로 전환되는 과정에서 비타민D가 합성되는데, 비타민D는 칼슘의 흡수를 돕고 뼈를 튼튼하게 한다.이에 과일을 꾸준히 섭취하면 면역력을 높이고, 감기에 걸렸을 때 회복에 도움을 줄 수 있다.◇ 과일의 종류1. 사과사과에는 비타민C가 풍부하게 함유되어 있어 면역력을 높이고 감기에 걸렸을 때 회복에 도움을 준다. 사과는 체내에서 비타민C로 전환되는 과정에 꼭 필요한 비타민C를 가장 많이 함유하고 있는 과일이다.2. 귤귤은 비타민C가 풍부하게 함유되어 있어 면역력을 높이고 감기에 걸렸을 때 회복에 도움을 준다. 귤은 체내에서 비타민C로 전환되는 과정에 꼭 필요한 비타민C를 가장 많이 함유하고 있는 과일이다.3. 오렌지오렌지는 비타민C가 풍부하게 함유"
|
||||
},
|
||||
{
|
||||
"prompt": "건강한 식습관을 위해서는",
|
||||
"temperature": 0.8,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.4557,
|
||||
"2gram_rep": 0.3718,
|
||||
"3gram_rep": 0.3247,
|
||||
"4gram_rep": 0.2763,
|
||||
"text": "영양소를 골고루 섭취해야 한다. 특히 아침식사 후 과일을 섭취해 하루를 활기차게 시작해야 한다.▶고혈압·고지혈증·당뇨병 관리혈압·혈당·체중 관리는 물론 저염식, 저당식, 저염식 식습관도 필요하다. 고혈압·고지혈증·당뇨병 관리는 규칙적인 생활습관과 식습관 개선을 통해 혈압·혈당을 관리하면 좋다. 고혈압·고지혈증·당뇨병 관리를 위해선 생활습관을 교정하고 식습관을 개선하는 것이 중요하다. 고혈압·고지혈증·당뇨병 관리는 규칙적인 생활습관과 식습관 개선을 통해 혈압·혈당을 관리하면 좋다.▶혈압·혈당·체중 관리고혈압·당뇨병 관리는 생활습관을 교정하고 식습관을 개선하는 것이 중요하다. 고혈압·당뇨병 관리를 위해선 생활습관을 교정하고 식습관을 개선하는 것이 중요하다. 고혈압·당뇨병 관리를 위해선 규칙적인 생활습관과 식습관 개선을 통해 혈압·혈당을 관리하면 좋다.▶저염식·저당식·저염식 식습관저염식·저당식"
|
||||
},
|
||||
{
|
||||
"prompt": "건강한 식습관을 위해서는",
|
||||
"temperature": 1.0,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.2649,
|
||||
"2gram_rep": 0.0667,
|
||||
"3gram_rep": 0.0201,
|
||||
"4gram_rep": 0.0,
|
||||
"text": "아침밥을 거르는 것을 피할 것이 아니라 아침식사량을 늘려야 한다. 아침밥을 하는 습관을 들이고 아침밥을 통해 아침을 시작하고 아침을 먹으며 아침을 먹는 습관을 들여야 한다는 말이다. 하루의 시작을 하는 중요한 아침을 꼭꼭 씹어먹고 아침밥을 먹는 습관을 들여야 할 것이다.아침식사를 어떻게 하면 좋을까?첫째, 아침에 먹으면 제일 좋은 식품은 아침밥이다. 아침을 잘 먹으려면 먼저 식사량을 줄여야 한다. 아침밥을 굶으면 허기를 달래기 위해 음식에서 충분한 에너지가 공급되지 않고, 저녁 때 과식을 하게 되어 건강에 좋지 않다. 아침밥을 먹으면 허기를 어느 정도 채울 수 있고 소화도 잘 된다.둘째, 아침밥을 먹은 후 소화가 잘되고 식욕이 살아난다. 아침밥을 먹었을 때 속이 편안해진다. 소화력이 증진되며 식욕이 좋아진다. 아침밥의 효과는 하루 중 일정한 시간에 아침을 먹는 것에 의해 발생한다. 아침밥을 먹은 후 식사 후 20~30분이 경과되면 포만감 호르몬이 생성되어 그 순간부터 식사가 시작된다"
|
||||
},
|
||||
{
|
||||
"prompt": "세계 2차 대전 이후",
|
||||
"temperature": 0.0,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.6772,
|
||||
"2gram_rep": 0.5952,
|
||||
"3gram_rep": 0.528,
|
||||
"4gram_rep": 0.4677,
|
||||
"text": ", 미국 정부는 이 지역에 대한 군사 개입을 강화했다.1941년 6월, 미국은 제2차 세계대전에 참전하기 위해, 일본 제국 육군의 제2사단을 파견했다. 이 부대는 제2차 세계대전의 첫 번째 전투인 노르망디 상륙 작전에서 큰 활약을 했다.1941년 7월, 미국은 제2차 세계대전에 참전하기 위해, 일본 제국 육군의 제2사단을 파견했다. 이 부대는 제2차 세계대전의 두 번째 전투인 노르망디 상륙 작전에서 큰 활약을 했다.1941년 8월, 미국은 제2차 세계대전에 참전하기 위해, 일본 제국 육군의 제2사단을 파견했다. 이 부대는 제2차 세계대전의 세 번째 전투인 마켓가든 작전에서 큰 활약을 했다.1941년 9월, 미국은 제2차 세계대전에 참전하기 위해, 일본 제국 육군의 제2사단을 파견했다. 이 부대는 제2차 세계대전의 네 번째 전투인 마켓가든 작전에서 큰 활약을 했다.1941년 10월, 미국은 제2차 세계대전에 참전하기 위해, 일본 제국 육군의 제2사단을 파견했다. 이 부대는 제2차 세계"
|
||||
},
|
||||
{
|
||||
"prompt": "세계 2차 대전 이후",
|
||||
"temperature": 0.5,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.7785,
|
||||
"2gram_rep": 0.7325,
|
||||
"3gram_rep": 0.7051,
|
||||
"4gram_rep": 0.6839,
|
||||
"text": ", 미국은 세계 2차 대전 이후, 즉 제2차 세계 대전 이후에 태어난 세대에게 제2차 세계 대전에 대한 이야기를 들려주고, 그 세대가 제2차 세계 대전에 대해 가지고 있는 편견을 바로잡아 줄 수 있는 기회를 제공해 주는 것이 중요하다고 생각했습니다.그 결과, 저는 제2차 세계 대전에 대한 이야기를 들려주고 그 세대가 제2차 세계 대전에 대해 가지고 있는 편견을 바로잡아 줄 수 있는 기회를 제공해 주는 것이 중요하다고 생각했습니다.이를 위해 저는 제2차 세계 대전에 대한 이야기를 들려주고 그 세대가 제2차 세계 대전에 대해 가지고 있는 편견을 바로잡아 줄 수 있는 기회를 제공해 주는 것이 중요하다고 생각했습니다.이를 위해 저는 제2차 세계 대전에 대한 이야기를 들려주고 그 세대가 제2차 세계 대전에 대해 가지고 있는 편견을 바로잡아 줄 수 있는 기회를 제공해 주는 것이 중요하다고 생각했습니다.이를 위해 저는 제2차 세계 대전에 대한 이야기를 들려주고 그 세대가 제2차 세계 대전에 대해"
|
||||
},
|
||||
{
|
||||
"prompt": "세계 2차 대전 이후",
|
||||
"temperature": 0.8,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.2422,
|
||||
"2gram_rep": 0.063,
|
||||
"3gram_rep": 0.0238,
|
||||
"4gram_rep": 0.016,
|
||||
"text": ", 세계 1차 대전 후의 유럽, 아시아, 오세아니아, 아메리카, 아프리카, 오세아니아 등 각 대륙별로, 각 국가별로 식민지 시대, 식민지가 없는 나라들의 민족, 언어, 문화, 종교, 민족, 인종, 생활 방식 등 모든 것이 상이할 수 있으며, 각 나라마다의 고유한 특색과 고유 문화, 풍습, 종교, 생활 방식이 있기 마련인데,이러한 상이한 각 나라 문화를 통일적으로 이해할 수 있도록, 각 나라 문화의 차이를 구별하고 그 특징을 살펴보는 것이, 국가 간의 관계를 이해하는데 중요하다고 할 것입니다.문화는 인류의 생활 양식과 그 사회의 문화수준을 나타내는 지표입니다.이와 같이 문화는 인간 삶의 본질을 반영하고, 인류의 사회·경제·정치·문화에 영향을 주고,그 결과 인간의 삶과 사회를 형성하는 중요한 역할을 담당합니다.문화는 그 나라의 역사·언어·문화·역사 등을 반영하고, 그 나라 문화의 다양성과 풍부함을 나타내며,그 나라의 국민적·민족적·인종적·문화적 다양성을 반영하는 것입니다.문화는 그 나라"
|
||||
},
|
||||
{
|
||||
"prompt": "세계 2차 대전 이후",
|
||||
"temperature": 1.0,
|
||||
"generated_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.1579,
|
||||
"2gram_rep": 0.0066,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0,
|
||||
"text": "일본에게 식민 통치를 당했던 나라들 중 하나입니다.일본은 2차 대전 이후에도 동아시아를 주도하며 많은 침략을 받았습니다. 일본은 전쟁 수행을 위해 많은 무기와 병력, 물자를 소모했고 전후 재건과 부흥에 많은 노력과 희생을 치렀습니다. 그리고 태평양 전쟁에서 일본을 상대로 대승을 거뒀지만, 일본 국민들에게는 엄청난 상처를 남겼습니다. 그리고 이 전쟁으로 인해 일본은 전범국으로 분류되었고 지금까지도 일본 국민들은 자신들의 과거를 반성하지 않고 있습니다.그렇지만 많은 일본 사람들은 여전히 과거사를 반성하지 않는 일본의 모습을 보고 있습니다. 그리고 일본은 자신들의 잘못을 바로 잡기 보다는 자신들의 잘못을 감추기 위해 노력하는 모습으로 보고 있습니다.\"일본은 반성하지 않는다\"그리고 최근 일본 정부는 지난 2차 세계대전 당시에 있었던 일본의 행위에 대해서 사과를 발표 했습니다.\"사죄\"\"일본은 지난 전쟁 때, 일본에 피해를 줬던 국가들의 영토인 홋카이도를 되찾기 위해 노력했다\"\"사죄\"\"일본은 "
|
||||
}
|
||||
]
|
||||
}
|
||||
@@ -0,0 +1,73 @@
|
||||
[TASK_RUNNER gpu_id=6] Starting task=generation
|
||||
[TASK_RUNNER gpu_id=6] NUMA affinity set: cores 36-71
|
||||
/usr/local/lib/python3.12/dist-packages/torch/library.py:356: UserWarning: Warning only once for all operators, other operators may also be overridden.
|
||||
Overriding a previously registered kernel for the same operator and the same dispatch key
|
||||
operator: flash_attn::_flash_attn_backward(Tensor dout, Tensor q, Tensor k, Tensor v, Tensor out, Tensor softmax_lse, Tensor(a6!)? dq, Tensor(a7!)? dk, Tensor(a8!)? dv, float dropout_p, float softmax_scale, bool causal, SymInt window_size_left, SymInt window_size_right, float softcap, Tensor? alibi_slopes, bool deterministic, Tensor? rng_state=None) -> Tensor
|
||||
registered at /usr/local/lib/python3.12/dist-packages/torch/_library/custom_ops.py:922
|
||||
dispatch key: ADInplaceOrView
|
||||
previous kernel: no debug info
|
||||
new kernel: registered at /usr/local/lib/python3.12/dist-packages/torch/_library/custom_ops.py:922 (Triggered internally at /opt/pytorch/pytorch/aten/src/ATen/core/dispatch/OperatorEntry.cpp:208.)
|
||||
self.m.impl(
|
||||
[GEN cuda:0] Loading model...
|
||||
[GEN cuda:0] (1/60) 대한민국의 수도는... (greedy): 256tok, 3gram_rep=24.64%, eos=False
|
||||
[GEN cuda:0] (2/60) 대한민국의 수도는... (t=0.5): 256tok, 3gram_rep=14.81%, eos=False
|
||||
[GEN cuda:0] (3/60) 대한민국의 수도는... (t=0.8): 256tok, 3gram_rep=58.65%, eos=False
|
||||
[GEN cuda:0] (4/60) 대한민국의 수도는... (t=1.0): 256tok, 3gram_rep=2.42%, eos=False
|
||||
[GEN cuda:0] (5/60) 인공지능이란... (greedy): 256tok, 3gram_rep=31.82%, eos=False
|
||||
[GEN cuda:0] (6/60) 인공지능이란... (t=0.5): 256tok, 3gram_rep=88.64%, eos=False
|
||||
[GEN cuda:0] (7/60) 인공지능이란... (t=0.8): 256tok, 3gram_rep=8.45%, eos=False
|
||||
[GEN cuda:0] (8/60) 인공지능이란... (t=1.0): 256tok, 3gram_rep=1.76%, eos=False
|
||||
[GEN cuda:0] (9/60) 한국의 전통 음식 중에서... (greedy): 256tok, 3gram_rep=75.00%, eos=False
|
||||
[GEN cuda:0] (10/60) 한국의 전통 음식 중에서... (t=0.5): 256tok, 3gram_rep=30.53%, eos=False
|
||||
[GEN cuda:0] (11/60) 한국의 전통 음식 중에서... (t=0.8): 256tok, 3gram_rep=0.00%, eos=False
|
||||
[GEN cuda:0] (12/60) 한국의 전통 음식 중에서... (t=1.0): 256tok, 3gram_rep=0.00%, eos=False
|
||||
[GEN cuda:0] (13/60) 지구 온난화의 주요 원인은... (greedy): 256tok, 3gram_rep=92.13%, eos=False
|
||||
[GEN cuda:0] (14/60) 지구 온난화의 주요 원인은... (t=0.5): 256tok, 3gram_rep=51.25%, eos=False
|
||||
[GEN cuda:0] (15/60) 지구 온난화의 주요 원인은... (t=0.8): 256tok, 3gram_rep=13.27%, eos=False
|
||||
[GEN cuda:0] (16/60) 지구 온난화의 주요 원인은... (t=1.0): 256tok, 3gram_rep=0.62%, eos=False
|
||||
[GEN cuda:0] (17/60) 프로그래밍을 배우려면... (greedy): 256tok, 3gram_rep=81.34%, eos=False
|
||||
[GEN cuda:0] (18/60) 프로그래밍을 배우려면... (t=0.5): 256tok, 3gram_rep=83.15%, eos=False
|
||||
[GEN cuda:0] (19/60) 프로그래밍을 배우려면... (t=0.8): 256tok, 3gram_rep=53.39%, eos=False
|
||||
[GEN cuda:0] (20/60) 프로그래밍을 배우려면... (t=1.0): 256tok, 3gram_rep=5.95%, eos=False
|
||||
[GEN cuda:0] (21/60) 조선시대에는... (greedy): 256tok, 3gram_rep=44.44%, eos=False
|
||||
[GEN cuda:0] (22/60) 조선시대에는... (t=0.5): 256tok, 3gram_rep=93.64%, eos=False
|
||||
[GEN cuda:0] (23/60) 조선시대에는... (t=0.8): 256tok, 3gram_rep=1.90%, eos=False
|
||||
[GEN cuda:0] (24/60) 조선시대에는... (t=1.0): 256tok, 3gram_rep=0.00%, eos=False
|
||||
[GEN cuda:0] (25/60) 물리학에서 에너지란... (greedy): 256tok, 3gram_rep=91.94%, eos=False
|
||||
[GEN cuda:0] (26/60) 물리학에서 에너지란... (t=0.5): 256tok, 3gram_rep=96.00%, eos=False
|
||||
[GEN cuda:0] (27/60) 물리학에서 에너지란... (t=0.8): 256tok, 3gram_rep=6.78%, eos=False
|
||||
[GEN cuda:0] (28/60) 물리학에서 에너지란... (t=1.0): 256tok, 3gram_rep=0.74%, eos=False
|
||||
[GEN cuda:0] (29/60) 한국어는 세계에서... (greedy): 256tok, 3gram_rep=71.01%, eos=False
|
||||
[GEN cuda:0] (30/60) 한국어는 세계에서... (t=0.5): 256tok, 3gram_rep=26.80%, eos=False
|
||||
[GEN cuda:0] (31/60) 한국어는 세계에서... (t=0.8): 256tok, 3gram_rep=0.61%, eos=False
|
||||
[GEN cuda:0] (32/60) 한국어는 세계에서... (t=1.0): 256tok, 3gram_rep=0.00%, eos=False
|
||||
[GEN cuda:0] (33/60) 경제 성장을 위해서는... (greedy): 256tok, 3gram_rep=88.28%, eos=False
|
||||
[GEN cuda:0] (34/60) 경제 성장을 위해서는... (t=0.5): 256tok, 3gram_rep=7.61%, eos=False
|
||||
[GEN cuda:0] (35/60) 경제 성장을 위해서는... (t=0.8): 256tok, 3gram_rep=6.38%, eos=False
|
||||
[GEN cuda:0] (36/60) 경제 성장을 위해서는... (t=1.0): 256tok, 3gram_rep=0.00%, eos=False
|
||||
[GEN cuda:0] (37/60) 우주 탐사의 역사를 보면... (greedy): 256tok, 3gram_rep=84.40%, eos=False
|
||||
[GEN cuda:0] (38/60) 우주 탐사의 역사를 보면... (t=0.5): 256tok, 3gram_rep=73.64%, eos=False
|
||||
[GEN cuda:0] (39/60) 우주 탐사의 역사를 보면... (t=0.8): 256tok, 3gram_rep=1.80%, eos=False
|
||||
[GEN cuda:0] (40/60) 우주 탐사의 역사를 보면... (t=1.0): 256tok, 3gram_rep=0.00%, eos=False
|
||||
[GEN cuda:0] (41/60) 머신러닝과 딥러닝의 차이는... (greedy): 256tok, 3gram_rep=86.14%, eos=False
|
||||
[GEN cuda:0] (42/60) 머신러닝과 딥러닝의 차이는... (t=0.5): 256tok, 3gram_rep=0.00%, eos=False
|
||||
[GEN cuda:0] (43/60) 머신러닝과 딥러닝의 차이는... (t=0.8): 256tok, 3gram_rep=14.41%, eos=False
|
||||
[GEN cuda:0] (44/60) 머신러닝과 딥러닝의 차이는... (t=1.0): 256tok, 3gram_rep=21.69%, eos=False
|
||||
[GEN cuda:0] (45/60) 한국 문학의 대표적인 작품으... (greedy): 256tok, 3gram_rep=88.89%, eos=False
|
||||
[GEN cuda:0] (46/60) 한국 문학의 대표적인 작품으... (t=0.5): 256tok, 3gram_rep=65.00%, eos=False
|
||||
[GEN cuda:0] (47/60) 한국 문학의 대표적인 작품으... (t=0.8): 256tok, 3gram_rep=19.75%, eos=False
|
||||
[GEN cuda:0] (48/60) 한국 문학의 대표적인 작품으... (t=1.0): 256tok, 3gram_rep=0.00%, eos=False
|
||||
[GEN cuda:0] (49/60) 양자 컴퓨터란... (greedy): 256tok, 3gram_rep=92.06%, eos=False
|
||||
[GEN cuda:0] (50/60) 양자 컴퓨터란... (t=0.5): 256tok, 3gram_rep=44.35%, eos=False
|
||||
[GEN cuda:0] (51/60) 양자 컴퓨터란... (t=0.8): 256tok, 3gram_rep=55.84%, eos=False
|
||||
[GEN cuda:0] (52/60) 양자 컴퓨터란... (t=1.0): 256tok, 3gram_rep=2.02%, eos=False
|
||||
[GEN cuda:0] (53/60) 건강한 식습관을 위해서는... (greedy): 256tok, 3gram_rep=86.40%, eos=False
|
||||
[GEN cuda:0] (54/60) 건강한 식습관을 위해서는... (t=0.5): 256tok, 3gram_rep=33.07%, eos=False
|
||||
[GEN cuda:0] (55/60) 건강한 식습관을 위해서는... (t=0.8): 256tok, 3gram_rep=32.47%, eos=False
|
||||
[GEN cuda:0] (56/60) 건강한 식습관을 위해서는... (t=1.0): 256tok, 3gram_rep=2.01%, eos=False
|
||||
[GEN cuda:0] (57/60) 세계 2차 대전 이후... (greedy): 256tok, 3gram_rep=52.80%, eos=False
|
||||
[GEN cuda:0] (58/60) 세계 2차 대전 이후... (t=0.5): 256tok, 3gram_rep=70.51%, eos=False
|
||||
[GEN cuda:0] (59/60) 세계 2차 대전 이후... (t=0.8): 256tok, 3gram_rep=2.38%, eos=False
|
||||
[GEN cuda:0] (60/60) 세계 2차 대전 이후... (t=1.0): 256tok, 3gram_rep=0.00%, eos=False
|
||||
[GEN cuda:0] DONE greedy 3gram_rep=0.7275, eos_rate=0.00%, 141.8s
|
||||
[TASK_RUNNER gpu_id=6] Done. Result saved to eval/outputs/3b_full_eval_20260305_0318/phase1_generation_gpu6.json
|
||||
@@ -0,0 +1,24 @@
|
||||
[
|
||||
{
|
||||
"name": "korean_c4",
|
||||
"file": "korean_c4_val.bin",
|
||||
"n_tokens": 15159838,
|
||||
"n_eval_tokens": 45445722,
|
||||
"ppl": 5.7173,
|
||||
"bits_per_token": 2.5153,
|
||||
"avg_nll": 1.743491,
|
||||
"elapsed_sec": 443.1,
|
||||
"device": "cuda:0"
|
||||
},
|
||||
{
|
||||
"name": "korean",
|
||||
"file": "korean_val.bin",
|
||||
"n_tokens": 17850578,
|
||||
"n_eval_tokens": 53512147,
|
||||
"ppl": 7.0155,
|
||||
"bits_per_token": 2.8105,
|
||||
"avg_nll": 1.948124,
|
||||
"elapsed_sec": 521.6,
|
||||
"device": "cuda:0"
|
||||
}
|
||||
]
|
||||
@@ -0,0 +1,55 @@
|
||||
[TASK_RUNNER gpu_id=3] Starting task=ppl_multi
|
||||
[TASK_RUNNER gpu_id=3] NUMA affinity set: cores 0-35
|
||||
/usr/local/lib/python3.12/dist-packages/torch/library.py:356: UserWarning: Warning only once for all operators, other operators may also be overridden.
|
||||
Overriding a previously registered kernel for the same operator and the same dispatch key
|
||||
operator: flash_attn::_flash_attn_backward(Tensor dout, Tensor q, Tensor k, Tensor v, Tensor out, Tensor softmax_lse, Tensor(a6!)? dq, Tensor(a7!)? dk, Tensor(a8!)? dv, float dropout_p, float softmax_scale, bool causal, SymInt window_size_left, SymInt window_size_right, float softcap, Tensor? alibi_slopes, bool deterministic, Tensor? rng_state=None) -> Tensor
|
||||
registered at /usr/local/lib/python3.12/dist-packages/torch/_library/custom_ops.py:922
|
||||
dispatch key: ADInplaceOrView
|
||||
previous kernel: no debug info
|
||||
new kernel: registered at /usr/local/lib/python3.12/dist-packages/torch/_library/custom_ops.py:922 (Triggered internally at /opt/pytorch/pytorch/aten/src/ATen/core/dispatch/OperatorEntry.cpp:208.)
|
||||
self.m.impl(
|
||||
[PPL_MULTI cuda:0] Loading model once for 2 files...
|
||||
[PPL cuda:0] korean_c4: 15,159,838 tokens, 30.3 MB
|
||||
[PPL cuda:0] korean_c4: batch 50/926, running PPL=5.3796, 24s
|
||||
[PPL cuda:0] korean_c4: batch 100/926, running PPL=5.9979, 48s
|
||||
[PPL cuda:0] korean_c4: batch 150/926, running PPL=5.5308, 72s
|
||||
[PPL cuda:0] korean_c4: batch 200/926, running PPL=6.0411, 96s
|
||||
[PPL cuda:0] korean_c4: batch 250/926, running PPL=5.9717, 120s
|
||||
[PPL cuda:0] korean_c4: batch 300/926, running PPL=5.9516, 144s
|
||||
[PPL cuda:0] korean_c4: batch 350/926, running PPL=5.9105, 168s
|
||||
[PPL cuda:0] korean_c4: batch 400/926, running PPL=5.8757, 192s
|
||||
[PPL cuda:0] korean_c4: batch 450/926, running PPL=5.8402, 216s
|
||||
[PPL cuda:0] korean_c4: batch 500/926, running PPL=5.6577, 239s
|
||||
[PPL cuda:0] korean_c4: batch 550/926, running PPL=5.6705, 263s
|
||||
[PPL cuda:0] korean_c4: batch 600/926, running PPL=5.6630, 287s
|
||||
[PPL cuda:0] korean_c4: batch 650/926, running PPL=5.6217, 311s
|
||||
[PPL cuda:0] korean_c4: batch 700/926, running PPL=5.6835, 335s
|
||||
[PPL cuda:0] korean_c4: batch 750/926, running PPL=5.7343, 359s
|
||||
[PPL cuda:0] korean_c4: batch 800/926, running PPL=5.7405, 383s
|
||||
[PPL cuda:0] korean_c4: batch 850/926, running PPL=5.7208, 407s
|
||||
[PPL cuda:0] korean_c4: batch 900/926, running PPL=5.7030, 431s
|
||||
[PPL cuda:0] DONE korean_c4: PPL=5.7173, BPT=2.5153, 443.1s
|
||||
[PPL cuda:0] korean: 17,850,578 tokens, 35.7 MB
|
||||
[PPL cuda:0] korean: batch 50/1090, running PPL=5.3796, 24s
|
||||
[PPL cuda:0] korean: batch 100/1090, running PPL=5.9979, 48s
|
||||
[PPL cuda:0] korean: batch 150/1090, running PPL=5.5308, 72s
|
||||
[PPL cuda:0] korean: batch 200/1090, running PPL=6.0411, 96s
|
||||
[PPL cuda:0] korean: batch 250/1090, running PPL=5.9717, 120s
|
||||
[PPL cuda:0] korean: batch 300/1090, running PPL=5.9516, 144s
|
||||
[PPL cuda:0] korean: batch 350/1090, running PPL=5.9105, 168s
|
||||
[PPL cuda:0] korean: batch 400/1090, running PPL=5.8757, 192s
|
||||
[PPL cuda:0] korean: batch 450/1090, running PPL=5.8402, 216s
|
||||
[PPL cuda:0] korean: batch 500/1090, running PPL=5.6577, 240s
|
||||
[PPL cuda:0] korean: batch 550/1090, running PPL=5.6705, 264s
|
||||
[PPL cuda:0] korean: batch 600/1090, running PPL=5.6630, 287s
|
||||
[PPL cuda:0] korean: batch 650/1090, running PPL=5.6217, 311s
|
||||
[PPL cuda:0] korean: batch 700/1090, running PPL=5.6835, 335s
|
||||
[PPL cuda:0] korean: batch 750/1090, running PPL=5.7343, 359s
|
||||
[PPL cuda:0] korean: batch 800/1090, running PPL=5.7405, 383s
|
||||
[PPL cuda:0] korean: batch 850/1090, running PPL=5.7208, 407s
|
||||
[PPL cuda:0] korean: batch 900/1090, running PPL=5.7030, 431s
|
||||
[PPL cuda:0] korean: batch 950/1090, running PPL=5.9505, 455s
|
||||
[PPL cuda:0] korean: batch 1000/1090, running PPL=6.4041, 479s
|
||||
[PPL cuda:0] korean: batch 1050/1090, running PPL=6.8453, 503s
|
||||
[PPL cuda:0] DONE korean: PPL=7.0155, BPT=2.8105, 521.6s
|
||||
[TASK_RUNNER gpu_id=3] Done. Result saved to eval/outputs/3b_full_eval_20260305_0318/phase1_ppl_multi_gpu3.json
|
||||
@@ -0,0 +1,178 @@
|
||||
[
|
||||
{
|
||||
"name": "hplt_ko",
|
||||
"file": "hplt_ko_val.bin",
|
||||
"n_tokens": 16165735,
|
||||
"n_eval_tokens": 48460462,
|
||||
"ppl": 2.4028,
|
||||
"bits_per_token": 1.2647,
|
||||
"avg_nll": 0.87665,
|
||||
"elapsed_sec": 475.9,
|
||||
"device": "cuda:0"
|
||||
},
|
||||
{
|
||||
"name": "cc100_ko",
|
||||
"file": "cc100_ko_val.bin",
|
||||
"n_tokens": 4532995,
|
||||
"n_eval_tokens": 13585262,
|
||||
"ppl": 21.782,
|
||||
"bits_per_token": 4.4451,
|
||||
"avg_nll": 3.081083,
|
||||
"elapsed_sec": 133.2,
|
||||
"device": "cuda:0"
|
||||
},
|
||||
{
|
||||
"name": "cosmo_auto_math_text",
|
||||
"file": "cosmo_auto_math_text_val.bin",
|
||||
"n_tokens": 2632946,
|
||||
"n_eval_tokens": 7888877,
|
||||
"ppl": 3.1492,
|
||||
"bits_per_token": 1.655,
|
||||
"avg_nll": 1.147158,
|
||||
"elapsed_sec": 77.3,
|
||||
"device": "cuda:0"
|
||||
},
|
||||
{
|
||||
"name": "cosmo_stories",
|
||||
"file": "cosmo_stories_val.bin",
|
||||
"n_tokens": 6299229,
|
||||
"n_eval_tokens": 18881012,
|
||||
"ppl": 3.9552,
|
||||
"bits_per_token": 1.9837,
|
||||
"avg_nll": 1.37503,
|
||||
"elapsed_sec": 185.2,
|
||||
"device": "cuda:0"
|
||||
},
|
||||
{
|
||||
"name": "cosmo_web_v2",
|
||||
"file": "cosmo_web_v2_val.bin",
|
||||
"n_tokens": 2875418,
|
||||
"n_eval_tokens": 8616467,
|
||||
"ppl": 4.1664,
|
||||
"bits_per_token": 2.0588,
|
||||
"avg_nll": 1.427047,
|
||||
"elapsed_sec": 84.6,
|
||||
"device": "cuda:0"
|
||||
},
|
||||
{
|
||||
"name": "cosmo_stanford",
|
||||
"file": "cosmo_stanford_val.bin",
|
||||
"n_tokens": 2217375,
|
||||
"n_eval_tokens": 6642457,
|
||||
"ppl": 3.3624,
|
||||
"bits_per_token": 1.7495,
|
||||
"avg_nll": 1.212658,
|
||||
"elapsed_sec": 65.3,
|
||||
"device": "cuda:0"
|
||||
},
|
||||
{
|
||||
"name": "cosmo_khanacademy",
|
||||
"file": "cosmo_khanacademy_val.bin",
|
||||
"n_tokens": 47751,
|
||||
"n_eval_tokens": 138662,
|
||||
"ppl": 2.9322,
|
||||
"bits_per_token": 1.552,
|
||||
"avg_nll": 1.075739,
|
||||
"elapsed_sec": 1.5,
|
||||
"device": "cuda:0"
|
||||
},
|
||||
{
|
||||
"name": "cosmo_openstax",
|
||||
"file": "cosmo_openstax_val.bin",
|
||||
"n_tokens": 242751,
|
||||
"n_eval_tokens": 723497,
|
||||
"ppl": 3.8673,
|
||||
"bits_per_token": 1.9513,
|
||||
"avg_nll": 1.352559,
|
||||
"elapsed_sec": 7.2,
|
||||
"device": "cuda:0"
|
||||
},
|
||||
{
|
||||
"name": "cosmo_wikihow",
|
||||
"file": "cosmo_wikihow_val.bin",
|
||||
"n_tokens": 395586,
|
||||
"n_eval_tokens": 1180927,
|
||||
"ppl": 3.3097,
|
||||
"bits_per_token": 1.7267,
|
||||
"avg_nll": 1.196871,
|
||||
"elapsed_sec": 11.8,
|
||||
"device": "cuda:0"
|
||||
},
|
||||
{
|
||||
"name": "korean_namuwiki",
|
||||
"file": "korean_namuwiki_val.bin",
|
||||
"n_tokens": 2166179,
|
||||
"n_eval_tokens": 6488957,
|
||||
"ppl": 25.8814,
|
||||
"bits_per_token": 4.6938,
|
||||
"avg_nll": 3.253526,
|
||||
"elapsed_sec": 63.7,
|
||||
"device": "cuda:0"
|
||||
},
|
||||
{
|
||||
"name": "korean_wiki",
|
||||
"file": "korean_wiki_val.bin",
|
||||
"n_tokens": 524561,
|
||||
"n_eval_tokens": 1567747,
|
||||
"ppl": 11.8359,
|
||||
"bits_per_token": 3.5651,
|
||||
"avg_nll": 2.471134,
|
||||
"elapsed_sec": 15.5,
|
||||
"device": "cuda:0"
|
||||
},
|
||||
{
|
||||
"name": "namuwiki_2023b",
|
||||
"file": "namuwiki_2023b_val.bin",
|
||||
"n_tokens": 2554574,
|
||||
"n_eval_tokens": 7654022,
|
||||
"ppl": 18.917,
|
||||
"bits_per_token": 4.2416,
|
||||
"avg_nll": 2.940061,
|
||||
"elapsed_sec": 75.1,
|
||||
"device": "cuda:0"
|
||||
},
|
||||
{
|
||||
"name": "wikipedia_ko",
|
||||
"file": "wikipedia_ko_val.bin",
|
||||
"n_tokens": 590691,
|
||||
"n_eval_tokens": 1765762,
|
||||
"ppl": 10.7059,
|
||||
"bits_per_token": 3.4203,
|
||||
"avg_nll": 2.370792,
|
||||
"elapsed_sec": 17.4,
|
||||
"device": "cuda:0"
|
||||
},
|
||||
{
|
||||
"name": "mathpile",
|
||||
"file": "mathpile_val.bin",
|
||||
"n_tokens": 2379696,
|
||||
"n_eval_tokens": 7129052,
|
||||
"ppl": 2.7244,
|
||||
"bits_per_token": 1.4459,
|
||||
"avg_nll": 1.002245,
|
||||
"elapsed_sec": 69.9,
|
||||
"device": "cuda:0"
|
||||
},
|
||||
{
|
||||
"name": "open_web_math",
|
||||
"file": "open_web_math_val.bin",
|
||||
"n_tokens": 5230614,
|
||||
"n_eval_tokens": 15677467,
|
||||
"ppl": 6.9264,
|
||||
"bits_per_token": 2.7921,
|
||||
"avg_nll": 1.935335,
|
||||
"elapsed_sec": 153.5,
|
||||
"device": "cuda:0"
|
||||
},
|
||||
{
|
||||
"name": "val",
|
||||
"file": "val.bin",
|
||||
"n_tokens": 3040344,
|
||||
"n_eval_tokens": 9110737,
|
||||
"ppl": 18.3046,
|
||||
"bits_per_token": 4.1941,
|
||||
"avg_nll": 2.907153,
|
||||
"elapsed_sec": 89.4,
|
||||
"device": "cuda:0"
|
||||
}
|
||||
]
|
||||
@@ -0,0 +1,99 @@
|
||||
[TASK_RUNNER gpu_id=4] Starting task=ppl_multi
|
||||
[TASK_RUNNER gpu_id=4] NUMA affinity set: cores 36-71
|
||||
/usr/local/lib/python3.12/dist-packages/torch/library.py:356: UserWarning: Warning only once for all operators, other operators may also be overridden.
|
||||
Overriding a previously registered kernel for the same operator and the same dispatch key
|
||||
operator: flash_attn::_flash_attn_backward(Tensor dout, Tensor q, Tensor k, Tensor v, Tensor out, Tensor softmax_lse, Tensor(a6!)? dq, Tensor(a7!)? dk, Tensor(a8!)? dv, float dropout_p, float softmax_scale, bool causal, SymInt window_size_left, SymInt window_size_right, float softcap, Tensor? alibi_slopes, bool deterministic, Tensor? rng_state=None) -> Tensor
|
||||
registered at /usr/local/lib/python3.12/dist-packages/torch/_library/custom_ops.py:922
|
||||
dispatch key: ADInplaceOrView
|
||||
previous kernel: no debug info
|
||||
new kernel: registered at /usr/local/lib/python3.12/dist-packages/torch/_library/custom_ops.py:922 (Triggered internally at /opt/pytorch/pytorch/aten/src/ATen/core/dispatch/OperatorEntry.cpp:208.)
|
||||
self.m.impl(
|
||||
[PPL_MULTI cuda:0] Loading model once for 16 files...
|
||||
[PPL cuda:0] hplt_ko: 16,165,735 tokens, 32.3 MB
|
||||
[PPL cuda:0] hplt_ko: batch 50/987, running PPL=2.8530, 24s
|
||||
[PPL cuda:0] hplt_ko: batch 100/987, running PPL=2.9538, 48s
|
||||
[PPL cuda:0] hplt_ko: batch 150/987, running PPL=2.6541, 72s
|
||||
[PPL cuda:0] hplt_ko: batch 200/987, running PPL=2.5959, 97s
|
||||
[PPL cuda:0] hplt_ko: batch 250/987, running PPL=2.8493, 121s
|
||||
[PPL cuda:0] hplt_ko: batch 300/987, running PPL=2.9334, 145s
|
||||
[PPL cuda:0] hplt_ko: batch 350/987, running PPL=2.9397, 169s
|
||||
[PPL cuda:0] hplt_ko: batch 400/987, running PPL=2.9267, 193s
|
||||
[PPL cuda:0] hplt_ko: batch 450/987, running PPL=2.8714, 217s
|
||||
[PPL cuda:0] hplt_ko: batch 500/987, running PPL=2.8150, 241s
|
||||
[PPL cuda:0] hplt_ko: batch 550/987, running PPL=2.7901, 265s
|
||||
[PPL cuda:0] hplt_ko: batch 600/987, running PPL=2.9030, 289s
|
||||
[PPL cuda:0] hplt_ko: batch 650/987, running PPL=2.9100, 313s
|
||||
[PPL cuda:0] hplt_ko: batch 700/987, running PPL=2.7614, 338s
|
||||
[PPL cuda:0] hplt_ko: batch 750/987, running PPL=2.8105, 362s
|
||||
[PPL cuda:0] hplt_ko: batch 800/987, running PPL=2.7991, 386s
|
||||
[PPL cuda:0] hplt_ko: batch 850/987, running PPL=2.6655, 410s
|
||||
[PPL cuda:0] hplt_ko: batch 900/987, running PPL=2.5355, 434s
|
||||
[PPL cuda:0] hplt_ko: batch 950/987, running PPL=2.4216, 458s
|
||||
[PPL cuda:0] DONE hplt_ko: PPL=2.4028, BPT=1.2647, 475.9s
|
||||
[PPL cuda:0] cc100_ko: 4,532,995 tokens, 9.1 MB
|
||||
[PPL cuda:0] cc100_ko: batch 50/277, running PPL=20.7234, 24s
|
||||
[PPL cuda:0] cc100_ko: batch 100/277, running PPL=21.1957, 48s
|
||||
[PPL cuda:0] cc100_ko: batch 150/277, running PPL=21.4795, 72s
|
||||
[PPL cuda:0] cc100_ko: batch 200/277, running PPL=21.6355, 96s
|
||||
[PPL cuda:0] cc100_ko: batch 250/277, running PPL=21.6969, 120s
|
||||
[PPL cuda:0] DONE cc100_ko: PPL=21.7820, BPT=4.4451, 133.2s
|
||||
[PPL cuda:0] cosmo_auto_math_text: 2,632,946 tokens, 5.3 MB
|
||||
[PPL cuda:0] cosmo_auto_math_text: batch 50/161, running PPL=3.1284, 24s
|
||||
[PPL cuda:0] cosmo_auto_math_text: batch 100/161, running PPL=3.1165, 48s
|
||||
[PPL cuda:0] cosmo_auto_math_text: batch 150/161, running PPL=3.1500, 72s
|
||||
[PPL cuda:0] DONE cosmo_auto_math_text: PPL=3.1492, BPT=1.6550, 77.3s
|
||||
[PPL cuda:0] cosmo_stories: 6,299,229 tokens, 12.6 MB
|
||||
[PPL cuda:0] cosmo_stories: batch 50/385, running PPL=3.9193, 24s
|
||||
[PPL cuda:0] cosmo_stories: batch 100/385, running PPL=3.9271, 48s
|
||||
[PPL cuda:0] cosmo_stories: batch 150/385, running PPL=3.9488, 72s
|
||||
[PPL cuda:0] cosmo_stories: batch 200/385, running PPL=3.9462, 96s
|
||||
[PPL cuda:0] cosmo_stories: batch 250/385, running PPL=3.9524, 120s
|
||||
[PPL cuda:0] cosmo_stories: batch 300/385, running PPL=3.9469, 145s
|
||||
[PPL cuda:0] cosmo_stories: batch 350/385, running PPL=3.9527, 169s
|
||||
[PPL cuda:0] DONE cosmo_stories: PPL=3.9552, BPT=1.9837, 185.2s
|
||||
[PPL cuda:0] cosmo_web_v2: 2,875,418 tokens, 5.8 MB
|
||||
[PPL cuda:0] cosmo_web_v2: batch 50/176, running PPL=4.1251, 24s
|
||||
[PPL cuda:0] cosmo_web_v2: batch 100/176, running PPL=4.1365, 48s
|
||||
[PPL cuda:0] cosmo_web_v2: batch 150/176, running PPL=4.1523, 72s
|
||||
[PPL cuda:0] DONE cosmo_web_v2: PPL=4.1664, BPT=2.0588, 84.6s
|
||||
[PPL cuda:0] cosmo_stanford: 2,217,375 tokens, 4.4 MB
|
||||
[PPL cuda:0] cosmo_stanford: batch 50/136, running PPL=3.3711, 24s
|
||||
[PPL cuda:0] cosmo_stanford: batch 100/136, running PPL=3.3598, 48s
|
||||
[PPL cuda:0] DONE cosmo_stanford: PPL=3.3624, BPT=1.7495, 65.3s
|
||||
[PPL cuda:0] cosmo_khanacademy: 47,751 tokens, 0.1 MB
|
||||
[PPL cuda:0] DONE cosmo_khanacademy: PPL=2.9322, BPT=1.5520, 1.5s
|
||||
[PPL cuda:0] cosmo_openstax: 242,751 tokens, 0.5 MB
|
||||
[PPL cuda:0] DONE cosmo_openstax: PPL=3.8673, BPT=1.9513, 7.2s
|
||||
[PPL cuda:0] cosmo_wikihow: 395,586 tokens, 0.8 MB
|
||||
[PPL cuda:0] DONE cosmo_wikihow: PPL=3.3097, BPT=1.7267, 11.8s
|
||||
[PPL cuda:0] korean_namuwiki: 2,166,179 tokens, 4.3 MB
|
||||
[PPL cuda:0] korean_namuwiki: batch 50/133, running PPL=25.7009, 24s
|
||||
[PPL cuda:0] korean_namuwiki: batch 100/133, running PPL=25.8650, 48s
|
||||
[PPL cuda:0] DONE korean_namuwiki: PPL=25.8814, BPT=4.6938, 63.7s
|
||||
[PPL cuda:0] korean_wiki: 524,561 tokens, 1.0 MB
|
||||
[PPL cuda:0] DONE korean_wiki: PPL=11.8359, BPT=3.5651, 15.5s
|
||||
[PPL cuda:0] namuwiki_2023b: 2,554,574 tokens, 5.1 MB
|
||||
[PPL cuda:0] namuwiki_2023b: batch 50/156, running PPL=19.0816, 24s
|
||||
[PPL cuda:0] namuwiki_2023b: batch 100/156, running PPL=20.0130, 48s
|
||||
[PPL cuda:0] namuwiki_2023b: batch 150/156, running PPL=18.9233, 72s
|
||||
[PPL cuda:0] DONE namuwiki_2023b: PPL=18.9170, BPT=4.2416, 75.1s
|
||||
[PPL cuda:0] wikipedia_ko: 590,691 tokens, 1.2 MB
|
||||
[PPL cuda:0] DONE wikipedia_ko: PPL=10.7059, BPT=3.4203, 17.4s
|
||||
[PPL cuda:0] mathpile: 2,379,696 tokens, 4.8 MB
|
||||
[PPL cuda:0] mathpile: batch 50/146, running PPL=2.7308, 24s
|
||||
[PPL cuda:0] mathpile: batch 100/146, running PPL=2.6372, 48s
|
||||
[PPL cuda:0] DONE mathpile: PPL=2.7244, BPT=1.4459, 69.9s
|
||||
[PPL cuda:0] open_web_math: 5,230,614 tokens, 10.5 MB
|
||||
[PPL cuda:0] open_web_math: batch 50/320, running PPL=6.0649, 24s
|
||||
[PPL cuda:0] open_web_math: batch 100/320, running PPL=7.1970, 48s
|
||||
[PPL cuda:0] open_web_math: batch 150/320, running PPL=6.8795, 72s
|
||||
[PPL cuda:0] open_web_math: batch 200/320, running PPL=6.9243, 96s
|
||||
[PPL cuda:0] open_web_math: batch 250/320, running PPL=6.8544, 120s
|
||||
[PPL cuda:0] open_web_math: batch 300/320, running PPL=6.9600, 144s
|
||||
[PPL cuda:0] DONE open_web_math: PPL=6.9264, BPT=2.7921, 153.5s
|
||||
[PPL cuda:0] val: 3,040,344 tokens, 6.1 MB
|
||||
[PPL cuda:0] val: batch 50/186, running PPL=18.3768, 24s
|
||||
[PPL cuda:0] val: batch 100/186, running PPL=18.6476, 48s
|
||||
[PPL cuda:0] val: batch 150/186, running PPL=18.4199, 72s
|
||||
[PPL cuda:0] DONE val: PPL=18.3046, BPT=4.1941, 89.4s
|
||||
[TASK_RUNNER gpu_id=4] Done. Result saved to eval/outputs/3b_full_eval_20260305_0318/phase1_ppl_multi_gpu4.json
|
||||
@@ -0,0 +1,11 @@
|
||||
{
|
||||
"name": "3b",
|
||||
"file": "3b_val.bin",
|
||||
"n_tokens": 75681623,
|
||||
"n_eval_tokens": 226891932,
|
||||
"ppl": 5.2263,
|
||||
"bits_per_token": 2.3858,
|
||||
"avg_nll": 1.653705,
|
||||
"elapsed_sec": 2227.3,
|
||||
"device": "cuda:0"
|
||||
}
|
||||
@@ -0,0 +1,106 @@
|
||||
[TASK_RUNNER gpu_id=2] Starting task=ppl_single
|
||||
[TASK_RUNNER gpu_id=2] NUMA affinity set: cores 0-35
|
||||
/usr/local/lib/python3.12/dist-packages/torch/library.py:356: UserWarning: Warning only once for all operators, other operators may also be overridden.
|
||||
Overriding a previously registered kernel for the same operator and the same dispatch key
|
||||
operator: flash_attn::_flash_attn_backward(Tensor dout, Tensor q, Tensor k, Tensor v, Tensor out, Tensor softmax_lse, Tensor(a6!)? dq, Tensor(a7!)? dk, Tensor(a8!)? dv, float dropout_p, float softmax_scale, bool causal, SymInt window_size_left, SymInt window_size_right, float softcap, Tensor? alibi_slopes, bool deterministic, Tensor? rng_state=None) -> Tensor
|
||||
registered at /usr/local/lib/python3.12/dist-packages/torch/_library/custom_ops.py:922
|
||||
dispatch key: ADInplaceOrView
|
||||
previous kernel: no debug info
|
||||
new kernel: registered at /usr/local/lib/python3.12/dist-packages/torch/_library/custom_ops.py:922 (Triggered internally at /opt/pytorch/pytorch/aten/src/ATen/core/dispatch/OperatorEntry.cpp:208.)
|
||||
self.m.impl(
|
||||
[PPL cuda:0] Loading model for 3b...
|
||||
[PPL cuda:0] 3b: 75,681,623 tokens, 151.4 MB
|
||||
[PPL cuda:0] 3b: batch 50/4620, running PPL=5.3796, 24s
|
||||
[PPL cuda:0] 3b: batch 100/4620, running PPL=5.9979, 48s
|
||||
[PPL cuda:0] 3b: batch 150/4620, running PPL=5.5308, 72s
|
||||
[PPL cuda:0] 3b: batch 200/4620, running PPL=6.0411, 97s
|
||||
[PPL cuda:0] 3b: batch 250/4620, running PPL=5.9717, 121s
|
||||
[PPL cuda:0] 3b: batch 300/4620, running PPL=5.9516, 145s
|
||||
[PPL cuda:0] 3b: batch 350/4620, running PPL=5.9105, 169s
|
||||
[PPL cuda:0] 3b: batch 400/4620, running PPL=5.8757, 193s
|
||||
[PPL cuda:0] 3b: batch 450/4620, running PPL=5.8402, 217s
|
||||
[PPL cuda:0] 3b: batch 500/4620, running PPL=5.6577, 241s
|
||||
[PPL cuda:0] 3b: batch 550/4620, running PPL=5.6705, 265s
|
||||
[PPL cuda:0] 3b: batch 600/4620, running PPL=5.6630, 289s
|
||||
[PPL cuda:0] 3b: batch 650/4620, running PPL=5.6217, 314s
|
||||
[PPL cuda:0] 3b: batch 700/4620, running PPL=5.6835, 338s
|
||||
[PPL cuda:0] 3b: batch 750/4620, running PPL=5.7343, 362s
|
||||
[PPL cuda:0] 3b: batch 800/4620, running PPL=5.7405, 386s
|
||||
[PPL cuda:0] 3b: batch 850/4620, running PPL=5.7208, 410s
|
||||
[PPL cuda:0] 3b: batch 900/4620, running PPL=5.7030, 434s
|
||||
[PPL cuda:0] 3b: batch 950/4620, running PPL=5.9505, 458s
|
||||
[PPL cuda:0] 3b: batch 1000/4620, running PPL=6.4041, 482s
|
||||
[PPL cuda:0] 3b: batch 1050/4620, running PPL=6.8453, 506s
|
||||
[PPL cuda:0] 3b: batch 1100/4620, running PPL=6.9593, 531s
|
||||
[PPL cuda:0] 3b: batch 1150/4620, running PPL=6.6777, 555s
|
||||
[PPL cuda:0] 3b: batch 1200/4620, running PPL=6.4827, 579s
|
||||
[PPL cuda:0] 3b: batch 1250/4620, running PPL=6.1767, 603s
|
||||
[PPL cuda:0] 3b: batch 1300/4620, running PPL=6.0013, 627s
|
||||
[PPL cuda:0] 3b: batch 1350/4620, running PPL=5.9036, 651s
|
||||
[PPL cuda:0] 3b: batch 1400/4620, running PPL=5.7535, 676s
|
||||
[PPL cuda:0] 3b: batch 1450/4620, running PPL=5.6445, 700s
|
||||
[PPL cuda:0] 3b: batch 1500/4620, running PPL=5.5364, 724s
|
||||
[PPL cuda:0] 3b: batch 1550/4620, running PPL=5.3712, 748s
|
||||
[PPL cuda:0] 3b: batch 1600/4620, running PPL=5.2259, 772s
|
||||
[PPL cuda:0] 3b: batch 1650/4620, running PPL=5.1265, 796s
|
||||
[PPL cuda:0] 3b: batch 1700/4620, running PPL=5.1328, 820s
|
||||
[PPL cuda:0] 3b: batch 1750/4620, running PPL=5.0053, 845s
|
||||
[PPL cuda:0] 3b: batch 1800/4620, running PPL=4.8775, 869s
|
||||
[PPL cuda:0] 3b: batch 1850/4620, running PPL=4.8289, 893s
|
||||
[PPL cuda:0] 3b: batch 1900/4620, running PPL=4.7179, 917s
|
||||
[PPL cuda:0] 3b: batch 1950/4620, running PPL=4.5537, 941s
|
||||
[PPL cuda:0] 3b: batch 2000/4620, running PPL=4.3931, 965s
|
||||
[PPL cuda:0] 3b: batch 2050/4620, running PPL=4.2466, 990s
|
||||
[PPL cuda:0] 3b: batch 2100/4620, running PPL=4.2201, 1014s
|
||||
[PPL cuda:0] 3b: batch 2150/4620, running PPL=4.2684, 1038s
|
||||
[PPL cuda:0] 3b: batch 2200/4620, running PPL=4.2938, 1062s
|
||||
[PPL cuda:0] 3b: batch 2250/4620, running PPL=4.3249, 1086s
|
||||
[PPL cuda:0] 3b: batch 2300/4620, running PPL=4.3555, 1110s
|
||||
[PPL cuda:0] 3b: batch 2350/4620, running PPL=4.3883, 1134s
|
||||
[PPL cuda:0] 3b: batch 2400/4620, running PPL=4.4090, 1158s
|
||||
[PPL cuda:0] 3b: batch 2450/4620, running PPL=4.4385, 1182s
|
||||
[PPL cuda:0] 3b: batch 2500/4620, running PPL=4.4540, 1207s
|
||||
[PPL cuda:0] 3b: batch 2550/4620, running PPL=4.4684, 1231s
|
||||
[PPL cuda:0] 3b: batch 2600/4620, running PPL=4.4720, 1255s
|
||||
[PPL cuda:0] 3b: batch 2650/4620, running PPL=4.4831, 1279s
|
||||
[PPL cuda:0] 3b: batch 2700/4620, running PPL=4.5153, 1303s
|
||||
[PPL cuda:0] 3b: batch 2750/4620, running PPL=4.5260, 1327s
|
||||
[PPL cuda:0] 3b: batch 2800/4620, running PPL=4.5622, 1351s
|
||||
[PPL cuda:0] 3b: batch 2850/4620, running PPL=4.5800, 1375s
|
||||
[PPL cuda:0] 3b: batch 2900/4620, running PPL=4.5970, 1399s
|
||||
[PPL cuda:0] 3b: batch 2950/4620, running PPL=4.6169, 1423s
|
||||
[PPL cuda:0] 3b: batch 3000/4620, running PPL=4.6312, 1448s
|
||||
[PPL cuda:0] 3b: batch 3050/4620, running PPL=4.7436, 1472s
|
||||
[PPL cuda:0] 3b: batch 3100/4620, running PPL=4.8612, 1496s
|
||||
[PPL cuda:0] 3b: batch 3150/4620, running PPL=4.9791, 1520s
|
||||
[PPL cuda:0] 3b: batch 3200/4620, running PPL=5.0967, 1544s
|
||||
[PPL cuda:0] 3b: batch 3250/4620, running PPL=5.2127, 1568s
|
||||
[PPL cuda:0] 3b: batch 3300/4620, running PPL=5.3202, 1592s
|
||||
[PPL cuda:0] 3b: batch 3350/4620, running PPL=5.4300, 1616s
|
||||
[PPL cuda:0] 3b: batch 3400/4620, running PPL=5.5300, 1640s
|
||||
[PPL cuda:0] 3b: batch 3450/4620, running PPL=5.5929, 1664s
|
||||
[PPL cuda:0] 3b: batch 3500/4620, running PPL=5.6009, 1688s
|
||||
[PPL cuda:0] 3b: batch 3550/4620, running PPL=5.6353, 1712s
|
||||
[PPL cuda:0] 3b: batch 3600/4620, running PPL=5.6480, 1737s
|
||||
[PPL cuda:0] 3b: batch 3650/4620, running PPL=5.6598, 1761s
|
||||
[PPL cuda:0] 3b: batch 3700/4620, running PPL=5.6840, 1785s
|
||||
[PPL cuda:0] 3b: batch 3750/4620, running PPL=5.6952, 1809s
|
||||
[PPL cuda:0] 3b: batch 3800/4620, running PPL=5.6455, 1833s
|
||||
[PPL cuda:0] 3b: batch 3850/4620, running PPL=5.5860, 1857s
|
||||
[PPL cuda:0] 3b: batch 3900/4620, running PPL=5.5405, 1881s
|
||||
[PPL cuda:0] 3b: batch 3950/4620, running PPL=5.5003, 1905s
|
||||
[PPL cuda:0] 3b: batch 4000/4620, running PPL=5.4612, 1929s
|
||||
[PPL cuda:0] 3b: batch 4050/4620, running PPL=5.4257, 1953s
|
||||
[PPL cuda:0] 3b: batch 4100/4620, running PPL=5.4015, 1977s
|
||||
[PPL cuda:0] 3b: batch 4150/4620, running PPL=5.3808, 2001s
|
||||
[PPL cuda:0] 3b: batch 4200/4620, running PPL=5.3619, 2025s
|
||||
[PPL cuda:0] 3b: batch 4250/4620, running PPL=5.3422, 2049s
|
||||
[PPL cuda:0] 3b: batch 4300/4620, running PPL=5.3238, 2074s
|
||||
[PPL cuda:0] 3b: batch 4350/4620, running PPL=5.3053, 2098s
|
||||
[PPL cuda:0] 3b: batch 4400/4620, running PPL=5.2881, 2122s
|
||||
[PPL cuda:0] 3b: batch 4450/4620, running PPL=5.2715, 2146s
|
||||
[PPL cuda:0] 3b: batch 4500/4620, running PPL=5.2571, 2170s
|
||||
[PPL cuda:0] 3b: batch 4550/4620, running PPL=5.2433, 2194s
|
||||
[PPL cuda:0] 3b: batch 4600/4620, running PPL=5.2306, 2218s
|
||||
[PPL cuda:0] DONE 3b: PPL=5.2263, BPT=2.3858, 2227.3s
|
||||
[TASK_RUNNER gpu_id=2] Done. Result saved to eval/outputs/3b_full_eval_20260305_0318/phase1_ppl_single_gpu2.json
|
||||
@@ -0,0 +1,684 @@
|
||||
{
|
||||
"grid_results": [
|
||||
{
|
||||
"params": "t0.7_rep1.3",
|
||||
"temperature": 0.7,
|
||||
"repetition_penalty": 1.3,
|
||||
"avg_3gram_rep": 0.0,
|
||||
"avg_4gram_rep": 0.0,
|
||||
"eos_rate": 0.0,
|
||||
"avg_tokens": 256.0,
|
||||
"per_prompt": [
|
||||
{
|
||||
"prompt": "대한민국의 수도는",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.007194244604316502,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "인공지능이란",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.11864406779661019,
|
||||
"2gram_rep": 0.017241379310344862,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "한국의 전통 음식 중에서",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.04137931034482756,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "지구 온난화의 주요 원인은",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.02684563758389258,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "프로그래밍을 배우려면",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.0625,
|
||||
"2gram_rep": 0.006993006993006978,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"params": "t0.9_rep1.2",
|
||||
"temperature": 0.9,
|
||||
"repetition_penalty": 1.2,
|
||||
"avg_3gram_rep": 0.0,
|
||||
"avg_4gram_rep": 0.0,
|
||||
"eos_rate": 0.0,
|
||||
"avg_tokens": 256.0,
|
||||
"per_prompt": [
|
||||
{
|
||||
"prompt": "대한민국의 수도는",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.0714285714285714,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "인공지능이란",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.061111111111111116,
|
||||
"2gram_rep": 0.005586592178770999,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "한국의 전통 음식 중에서",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.05031446540880502,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "지구 온난화의 주요 원인은",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.009345794392523366,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "프로그래밍을 배우려면",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.06140350877192979,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"params": "t0.7_rep1.2",
|
||||
"temperature": 0.7,
|
||||
"repetition_penalty": 1.2,
|
||||
"avg_3gram_rep": 0.0088,
|
||||
"avg_4gram_rep": 0.0,
|
||||
"eos_rate": 0.0,
|
||||
"avg_tokens": 256.0,
|
||||
"per_prompt": [
|
||||
{
|
||||
"prompt": "대한민국의 수도는",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.0714285714285714,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "인공지능이란",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.03401360544217691,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "한국의 전통 음식 중에서",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.013157894736842146,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "지구 온난화의 주요 원인은",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.3763440860215054,
|
||||
"2gram_rep": 0.14130434782608692,
|
||||
"3gram_rep": 0.04395604395604391,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "프로그래밍을 배우려면",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.02985074626865669,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"params": "t0.9_rep1.1",
|
||||
"temperature": 0.9,
|
||||
"repetition_penalty": 1.1,
|
||||
"avg_3gram_rep": 0.0094,
|
||||
"avg_4gram_rep": 0.0013,
|
||||
"eos_rate": 0.0,
|
||||
"avg_tokens": 256.0,
|
||||
"per_prompt": [
|
||||
{
|
||||
"prompt": "대한민국의 수도는",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.08125000000000004,
|
||||
"2gram_rep": 0.018867924528301883,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "인공지능이란",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.15753424657534243,
|
||||
"2gram_rep": 0.0482758620689655,
|
||||
"3gram_rep": 0.01388888888888884,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "한국의 전통 음식 중에서",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.10666666666666669,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "지구 온난화의 주요 원인은",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.11585365853658536,
|
||||
"2gram_rep": 0.012269938650306789,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "프로그래밍을 배우려면",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.3223684210526315,
|
||||
"2gram_rep": 0.09933774834437081,
|
||||
"3gram_rep": 0.033333333333333326,
|
||||
"4gram_rep": 0.006711409395973145
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"params": "t1.0_rep1.1",
|
||||
"temperature": 1.0,
|
||||
"repetition_penalty": 1.1,
|
||||
"avg_3gram_rep": 0.0121,
|
||||
"avg_4gram_rep": 0.0048,
|
||||
"eos_rate": 0.0,
|
||||
"avg_tokens": 256.0,
|
||||
"per_prompt": [
|
||||
{
|
||||
"prompt": "대한민국의 수도는",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.30379746835443033,
|
||||
"2gram_rep": 0.11538461538461542,
|
||||
"3gram_rep": 0.012987012987012991,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "인공지능이란",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.11627906976744184,
|
||||
"2gram_rep": 0.07058823529411762,
|
||||
"3gram_rep": 0.04761904761904767,
|
||||
"4gram_rep": 0.02409638554216864
|
||||
},
|
||||
{
|
||||
"prompt": "한국의 전통 음식 중에서",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.03305785123966942,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "지구 온난화의 주요 원인은",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.04878048780487809,
|
||||
"2gram_rep": 0.008196721311475419,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "프로그래밍을 배우려면",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.0957446808510638,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"params": "t0.5_rep1.1",
|
||||
"temperature": 0.5,
|
||||
"repetition_penalty": 1.1,
|
||||
"avg_3gram_rep": 0.0192,
|
||||
"avg_4gram_rep": 0.0119,
|
||||
"eos_rate": 0.0,
|
||||
"avg_tokens": 256.0,
|
||||
"per_prompt": [
|
||||
{
|
||||
"prompt": "대한민국의 수도는",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.1351351351351351,
|
||||
"2gram_rep": 0.036363636363636376,
|
||||
"3gram_rep": 0.00917431192660545,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "인공지능이란",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.17266187050359716,
|
||||
"2gram_rep": 0.02898550724637683,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "한국의 전통 음식 중에서",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.23188405797101452,
|
||||
"2gram_rep": 0.11678832116788318,
|
||||
"3gram_rep": 0.08088235294117652,
|
||||
"4gram_rep": 0.059259259259259234
|
||||
},
|
||||
{
|
||||
"prompt": "지구 온난화의 주요 원인은",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.07017543859649122,
|
||||
"2gram_rep": 0.017699115044247815,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "프로그래밍을 배우려면",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.24848484848484853,
|
||||
"2gram_rep": 0.054878048780487854,
|
||||
"3gram_rep": 0.006134969325153339,
|
||||
"4gram_rep": 0.0
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"params": "t1.0",
|
||||
"temperature": 1.0,
|
||||
"repetition_penalty": 1.0,
|
||||
"avg_3gram_rep": 0.0358,
|
||||
"avg_4gram_rep": 0.0281,
|
||||
"eos_rate": 0.0,
|
||||
"avg_tokens": 256.0,
|
||||
"per_prompt": [
|
||||
{
|
||||
"prompt": "대한민국의 수도는",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.282258064516129,
|
||||
"2gram_rep": 0.09756097560975607,
|
||||
"3gram_rep": 0.016393442622950838,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "인공지능이란",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.33333333333333337,
|
||||
"2gram_rep": 0.18103448275862066,
|
||||
"3gram_rep": 0.15652173913043477,
|
||||
"4gram_rep": 0.14035087719298245
|
||||
},
|
||||
{
|
||||
"prompt": "한국의 전통 음식 중에서",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.1985815602836879,
|
||||
"2gram_rep": 0.021428571428571463,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "지구 온난화의 주요 원인은",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.11702127659574468,
|
||||
"2gram_rep": 0.010752688172043001,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "프로그래밍을 배우려면",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.29268292682926833,
|
||||
"2gram_rep": 0.030674846625766916,
|
||||
"3gram_rep": 0.006172839506172867,
|
||||
"4gram_rep": 0.0
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"params": "t0.9",
|
||||
"temperature": 0.9,
|
||||
"repetition_penalty": 1.0,
|
||||
"avg_3gram_rep": 0.0839,
|
||||
"avg_4gram_rep": 0.0464,
|
||||
"eos_rate": 0.0,
|
||||
"avg_tokens": 256.0,
|
||||
"per_prompt": [
|
||||
{
|
||||
"prompt": "대한민국의 수도는",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.5306122448979591,
|
||||
"2gram_rep": 0.3711340206185567,
|
||||
"3gram_rep": 0.25,
|
||||
"4gram_rep": 0.1473684210526316
|
||||
},
|
||||
{
|
||||
"prompt": "인공지능이란",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.4277456647398844,
|
||||
"2gram_rep": 0.2151162790697675,
|
||||
"3gram_rep": 0.1286549707602339,
|
||||
"4gram_rep": 0.07647058823529407
|
||||
},
|
||||
{
|
||||
"prompt": "한국의 전통 음식 중에서",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.1496598639455783,
|
||||
"2gram_rep": 0.0273972602739726,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "지구 온난화의 주요 원인은",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.19999999999999996,
|
||||
"2gram_rep": 0.052631578947368474,
|
||||
"3gram_rep": 0.008849557522123908,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "프로그래밍을 배우려면",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.328125,
|
||||
"2gram_rep": 0.09448818897637801,
|
||||
"3gram_rep": 0.031746031746031744,
|
||||
"4gram_rep": 0.008000000000000007
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"params": "t0.7_rep1.1",
|
||||
"temperature": 0.7,
|
||||
"repetition_penalty": 1.1,
|
||||
"avg_3gram_rep": 0.0851,
|
||||
"avg_4gram_rep": 0.0551,
|
||||
"eos_rate": 0.0,
|
||||
"avg_tokens": 256.0,
|
||||
"per_prompt": [
|
||||
{
|
||||
"prompt": "대한민국의 수도는",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.06569343065693434,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "인공지능이란",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.11199999999999999,
|
||||
"2gram_rep": 0.008064516129032251,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "한국의 전통 음식 중에서",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.10483870967741937,
|
||||
"2gram_rep": 0.024390243902439046,
|
||||
"3gram_rep": 0.008196721311475419,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "지구 온난화의 주요 원인은",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.08208955223880599,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "프로그래밍을 배우려면",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.7163120567375887,
|
||||
"2gram_rep": 0.5571428571428572,
|
||||
"3gram_rep": 0.41726618705035967,
|
||||
"4gram_rep": 0.2753623188405797
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"params": "t0.7",
|
||||
"temperature": 0.7,
|
||||
"repetition_penalty": 1.0,
|
||||
"avg_3gram_rep": 0.4769,
|
||||
"avg_4gram_rep": 0.434,
|
||||
"eos_rate": 0.0,
|
||||
"avg_tokens": 256.0,
|
||||
"per_prompt": [
|
||||
{
|
||||
"prompt": "대한민국의 수도는",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.39583333333333337,
|
||||
"2gram_rep": 0.28421052631578947,
|
||||
"3gram_rep": 0.19148936170212771,
|
||||
"4gram_rep": 0.15053763440860213
|
||||
},
|
||||
{
|
||||
"prompt": "인공지능이란",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.4623655913978495,
|
||||
"2gram_rep": 0.3586956521739131,
|
||||
"3gram_rep": 0.2857142857142857,
|
||||
"4gram_rep": 0.2222222222222222
|
||||
},
|
||||
{
|
||||
"prompt": "한국의 전통 음식 중에서",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.7518796992481203,
|
||||
"2gram_rep": 0.6742424242424243,
|
||||
"3gram_rep": 0.6183206106870229,
|
||||
"4gram_rep": 0.5692307692307692
|
||||
},
|
||||
{
|
||||
"prompt": "지구 온난화의 주요 원인은",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.7222222222222222,
|
||||
"2gram_rep": 0.6024844720496895,
|
||||
"3gram_rep": 0.54375,
|
||||
"4gram_rep": 0.4968553459119497
|
||||
},
|
||||
{
|
||||
"prompt": "프로그래밍을 배우려면",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.8282208588957055,
|
||||
"2gram_rep": 0.7777777777777778,
|
||||
"3gram_rep": 0.7453416149068324,
|
||||
"4gram_rep": 0.73125
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"params": "t0.5",
|
||||
"temperature": 0.5,
|
||||
"repetition_penalty": 1.0,
|
||||
"avg_3gram_rep": 0.6012,
|
||||
"avg_4gram_rep": 0.5868,
|
||||
"eos_rate": 0.0,
|
||||
"avg_tokens": 256.0,
|
||||
"per_prompt": [
|
||||
{
|
||||
"prompt": "대한민국의 수도는",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.9572649572649573,
|
||||
"2gram_rep": 0.9568965517241379,
|
||||
"3gram_rep": 0.9565217391304348,
|
||||
"4gram_rep": 0.956140350877193
|
||||
},
|
||||
{
|
||||
"prompt": "인공지능이란",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.44594594594594594,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "한국의 전통 음식 중에서",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.8442622950819672,
|
||||
"2gram_rep": 0.8264462809917356,
|
||||
"3gram_rep": 0.8083333333333333,
|
||||
"4gram_rep": 0.7899159663865546
|
||||
},
|
||||
{
|
||||
"prompt": "지구 온난화의 주요 원인은",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.8017241379310345,
|
||||
"2gram_rep": 0.7739130434782608,
|
||||
"3gram_rep": 0.7456140350877193,
|
||||
"4gram_rep": 0.7256637168141593
|
||||
},
|
||||
{
|
||||
"prompt": "프로그래밍을 배우려면",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.6330275229357798,
|
||||
"2gram_rep": 0.5462962962962963,
|
||||
"3gram_rep": 0.4953271028037384,
|
||||
"4gram_rep": 0.46226415094339623
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"params": "greedy",
|
||||
"temperature": 0.0,
|
||||
"repetition_penalty": 1.0,
|
||||
"avg_3gram_rep": 0.6099,
|
||||
"avg_4gram_rep": 0.5702,
|
||||
"eos_rate": 0.0,
|
||||
"avg_tokens": 256.0,
|
||||
"per_prompt": [
|
||||
{
|
||||
"prompt": "대한민국의 수도는",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.5915492957746479,
|
||||
"2gram_rep": 0.4,
|
||||
"3gram_rep": 0.24637681159420288,
|
||||
"4gram_rep": 0.23529411764705888
|
||||
},
|
||||
{
|
||||
"prompt": "인공지능이란",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.6521739130434783,
|
||||
"2gram_rep": 0.48888888888888893,
|
||||
"3gram_rep": 0.31818181818181823,
|
||||
"4gram_rep": 0.16279069767441856
|
||||
},
|
||||
{
|
||||
"prompt": "한국의 전통 음식 중에서",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.7777777777777778,
|
||||
"2gram_rep": 0.7640449438202247,
|
||||
"3gram_rep": 0.75,
|
||||
"4gram_rep": 0.735632183908046
|
||||
},
|
||||
{
|
||||
"prompt": "지구 온난화의 주요 원인은",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.9340659340659341,
|
||||
"2gram_rep": 0.9222222222222223,
|
||||
"3gram_rep": 0.9213483146067416,
|
||||
"4gram_rep": 0.9204545454545454
|
||||
},
|
||||
{
|
||||
"prompt": "프로그래밍을 배우려면",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.8455882352941176,
|
||||
"2gram_rep": 0.8296296296296296,
|
||||
"3gram_rep": 0.8134328358208955,
|
||||
"4gram_rep": 0.7969924812030076
|
||||
}
|
||||
]
|
||||
}
|
||||
],
|
||||
"best": {
|
||||
"params": "t0.7_rep1.3",
|
||||
"temperature": 0.7,
|
||||
"repetition_penalty": 1.3,
|
||||
"avg_3gram_rep": 0.0,
|
||||
"avg_4gram_rep": 0.0
|
||||
},
|
||||
"elapsed_sec": 161.3
|
||||
}
|
||||
@@ -0,0 +1,25 @@
|
||||
[TASK_RUNNER gpu_id=7] Starting task=repetition_grid
|
||||
[TASK_RUNNER gpu_id=7] NUMA affinity set: cores 36-71
|
||||
/usr/local/lib/python3.12/dist-packages/torch/library.py:356: UserWarning: Warning only once for all operators, other operators may also be overridden.
|
||||
Overriding a previously registered kernel for the same operator and the same dispatch key
|
||||
operator: flash_attn::_flash_attn_backward(Tensor dout, Tensor q, Tensor k, Tensor v, Tensor out, Tensor softmax_lse, Tensor(a6!)? dq, Tensor(a7!)? dk, Tensor(a8!)? dv, float dropout_p, float softmax_scale, bool causal, SymInt window_size_left, SymInt window_size_right, float softcap, Tensor? alibi_slopes, bool deterministic, Tensor? rng_state=None) -> Tensor
|
||||
registered at /usr/local/lib/python3.12/dist-packages/torch/_library/custom_ops.py:922
|
||||
dispatch key: ADInplaceOrView
|
||||
previous kernel: no debug info
|
||||
new kernel: registered at /usr/local/lib/python3.12/dist-packages/torch/_library/custom_ops.py:922 (Triggered internally at /opt/pytorch/pytorch/aten/src/ATen/core/dispatch/OperatorEntry.cpp:208.)
|
||||
self.m.impl(
|
||||
[REP cuda:0] Loading model...
|
||||
[REP cuda:0] greedy: 3gram=60.99%, 4gram=57.02%, eos=0%, 256tok
|
||||
[REP cuda:0] t0.5: 3gram=60.12%, 4gram=58.68%, eos=0%, 256tok
|
||||
[REP cuda:0] t0.5_rep1.1: 3gram=1.92%, 4gram=1.19%, eos=0%, 256tok
|
||||
[REP cuda:0] t0.7: 3gram=47.69%, 4gram=43.40%, eos=0%, 256tok
|
||||
[REP cuda:0] t0.7_rep1.1: 3gram=8.51%, 4gram=5.51%, eos=0%, 256tok
|
||||
[REP cuda:0] t0.7_rep1.2: 3gram=0.88%, 4gram=0.00%, eos=0%, 256tok
|
||||
[REP cuda:0] t0.7_rep1.3: 3gram=0.00%, 4gram=0.00%, eos=0%, 256tok
|
||||
[REP cuda:0] t0.9: 3gram=8.39%, 4gram=4.64%, eos=0%, 256tok
|
||||
[REP cuda:0] t0.9_rep1.1: 3gram=0.94%, 4gram=0.13%, eos=0%, 256tok
|
||||
[REP cuda:0] t0.9_rep1.2: 3gram=0.00%, 4gram=0.00%, eos=0%, 256tok
|
||||
[REP cuda:0] t1.0: 3gram=3.58%, 4gram=2.81%, eos=0%, 256tok
|
||||
[REP cuda:0] t1.0_rep1.1: 3gram=1.21%, 4gram=0.48%, eos=0%, 256tok
|
||||
[REP cuda:0] DONE best=t0.7_rep1.3 (3gram=0.00%), 161.3s
|
||||
[TASK_RUNNER gpu_id=7] Done. Result saved to eval/outputs/3b_full_eval_20260305_0318/phase1_repetition_grid_gpu7.json
|
||||
1610
source/eval/outputs/3b_full_eval_20260305_0318/phase1_results.json
Normal file
1610
source/eval/outputs/3b_full_eval_20260305_0318/phase1_results.json
Normal file
File diff suppressed because it is too large
Load Diff
136860
source/eval/outputs/3b_full_eval_20260305_0318/phase2_gpu2_0shot.json
Normal file
136860
source/eval/outputs/3b_full_eval_20260305_0318/phase2_gpu2_0shot.json
Normal file
File diff suppressed because one or more lines are too long
File diff suppressed because one or more lines are too long
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:f1b06db8707dc45a27e0303a767d755f5d06bb31b8858dd09660c329dee23197
|
||||
size 14110295
|
||||
File diff suppressed because one or more lines are too long
70582
source/eval/outputs/3b_full_eval_20260305_0318/phase2_gpu3_0shot.json
Normal file
70582
source/eval/outputs/3b_full_eval_20260305_0318/phase2_gpu3_0shot.json
Normal file
File diff suppressed because one or more lines are too long
File diff suppressed because one or more lines are too long
File diff suppressed because one or more lines are too long
File diff suppressed because one or more lines are too long
71976
source/eval/outputs/3b_full_eval_20260305_0318/phase2_gpu4_0shot.json
Normal file
71976
source/eval/outputs/3b_full_eval_20260305_0318/phase2_gpu4_0shot.json
Normal file
File diff suppressed because one or more lines are too long
File diff suppressed because one or more lines are too long
File diff suppressed because one or more lines are too long
File diff suppressed because one or more lines are too long
104151
source/eval/outputs/3b_full_eval_20260305_0318/phase2_gpu5_0shot.json
Normal file
104151
source/eval/outputs/3b_full_eval_20260305_0318/phase2_gpu5_0shot.json
Normal file
File diff suppressed because one or more lines are too long
File diff suppressed because one or more lines are too long
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:31008ea22a00502251f87138f2dc34cd5deca18d3de60c5777aedcce63f6ae30
|
||||
size 13059793
|
||||
File diff suppressed because one or more lines are too long
@@ -0,0 +1,69 @@
|
||||
{
|
||||
"model_path": "eval/outputs/3b_full_eval_20260305_0318/hf_3b_checkpoint-0057000",
|
||||
"tasks_requested": [
|
||||
"global_mmlu_ko_abstract_algebra",
|
||||
"global_mmlu_ko_anatomy",
|
||||
"global_mmlu_ko_astronomy",
|
||||
"global_mmlu_ko_business_ethics",
|
||||
"global_mmlu_ko_clinical_knowledge",
|
||||
"global_mmlu_ko_college_biology",
|
||||
"global_mmlu_ko_college_chemistry",
|
||||
"global_mmlu_ko_college_computer_science",
|
||||
"global_mmlu_ko_college_mathematics",
|
||||
"global_mmlu_ko_college_medicine",
|
||||
"global_mmlu_ko_college_physics",
|
||||
"global_mmlu_ko_computer_security",
|
||||
"global_mmlu_ko_conceptual_physics",
|
||||
"global_mmlu_ko_econometrics",
|
||||
"global_mmlu_ko_electrical_engineering",
|
||||
"global_mmlu_ko_elementary_mathematics",
|
||||
"global_mmlu_ko_formal_logic",
|
||||
"global_mmlu_ko_global_facts",
|
||||
"global_mmlu_ko_high_school_biology",
|
||||
"global_mmlu_ko_high_school_chemistry",
|
||||
"global_mmlu_ko_high_school_computer_science",
|
||||
"global_mmlu_ko_high_school_european_history",
|
||||
"global_mmlu_ko_high_school_geography",
|
||||
"global_mmlu_ko_high_school_government_and_politics",
|
||||
"global_mmlu_ko_high_school_macroeconomics",
|
||||
"global_mmlu_ko_high_school_mathematics",
|
||||
"global_mmlu_ko_high_school_microeconomics",
|
||||
"global_mmlu_ko_high_school_physics",
|
||||
"global_mmlu_ko_high_school_psychology"
|
||||
],
|
||||
"tasks_evaluated": [],
|
||||
"tasks_skipped": [
|
||||
"global_mmlu_ko_abstract_algebra",
|
||||
"global_mmlu_ko_anatomy",
|
||||
"global_mmlu_ko_astronomy",
|
||||
"global_mmlu_ko_business_ethics",
|
||||
"global_mmlu_ko_clinical_knowledge",
|
||||
"global_mmlu_ko_college_biology",
|
||||
"global_mmlu_ko_college_chemistry",
|
||||
"global_mmlu_ko_college_computer_science",
|
||||
"global_mmlu_ko_college_mathematics",
|
||||
"global_mmlu_ko_college_medicine",
|
||||
"global_mmlu_ko_college_physics",
|
||||
"global_mmlu_ko_computer_security",
|
||||
"global_mmlu_ko_conceptual_physics",
|
||||
"global_mmlu_ko_econometrics",
|
||||
"global_mmlu_ko_electrical_engineering",
|
||||
"global_mmlu_ko_elementary_mathematics",
|
||||
"global_mmlu_ko_formal_logic",
|
||||
"global_mmlu_ko_global_facts",
|
||||
"global_mmlu_ko_high_school_biology",
|
||||
"global_mmlu_ko_high_school_chemistry",
|
||||
"global_mmlu_ko_high_school_computer_science",
|
||||
"global_mmlu_ko_high_school_european_history",
|
||||
"global_mmlu_ko_high_school_geography",
|
||||
"global_mmlu_ko_high_school_government_and_politics",
|
||||
"global_mmlu_ko_high_school_macroeconomics",
|
||||
"global_mmlu_ko_high_school_mathematics",
|
||||
"global_mmlu_ko_high_school_microeconomics",
|
||||
"global_mmlu_ko_high_school_physics",
|
||||
"global_mmlu_ko_high_school_psychology"
|
||||
],
|
||||
"per_task_metrics": {},
|
||||
"raw_results": {},
|
||||
"elapsed_sec": 0.0
|
||||
}
|
||||
@@ -0,0 +1,34 @@
|
||||
[TASK_RUNNER gpu_id=6] Starting task=lm_eval
|
||||
[TASK_RUNNER gpu_id=6] NUMA affinity set: cores 36-71
|
||||
[LM_EVAL] Task 'global_mmlu_ko_abstract_algebra' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_anatomy' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_astronomy' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_business_ethics' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_clinical_knowledge' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_college_biology' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_college_chemistry' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_college_computer_science' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_college_mathematics' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_college_medicine' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_college_physics' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_computer_security' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_conceptual_physics' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_econometrics' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_electrical_engineering' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_elementary_mathematics' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_formal_logic' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_global_facts' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_high_school_biology' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_high_school_chemistry' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_high_school_computer_science' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_high_school_european_history' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_high_school_geography' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_high_school_government_and_politics' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_high_school_macroeconomics' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_high_school_mathematics' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_high_school_microeconomics' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_high_school_physics' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_high_school_psychology' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Starting on cuda:0 (CUDA_VISIBLE_DEVICES=0), tasks=['global_mmlu_ko_abstract_algebra', 'global_mmlu_ko_anatomy', 'global_mmlu_ko_astronomy', 'global_mmlu_ko_business_ethics', 'global_mmlu_ko_clinical_knowledge', 'global_mmlu_ko_college_biology', 'global_mmlu_ko_college_chemistry', 'global_mmlu_ko_college_computer_science', 'global_mmlu_ko_college_mathematics', 'global_mmlu_ko_college_medicine', 'global_mmlu_ko_college_physics', 'global_mmlu_ko_computer_security', 'global_mmlu_ko_conceptual_physics', 'global_mmlu_ko_econometrics', 'global_mmlu_ko_electrical_engineering', 'global_mmlu_ko_elementary_mathematics', 'global_mmlu_ko_formal_logic', 'global_mmlu_ko_global_facts', 'global_mmlu_ko_high_school_biology', 'global_mmlu_ko_high_school_chemistry', 'global_mmlu_ko_high_school_computer_science', 'global_mmlu_ko_high_school_european_history', 'global_mmlu_ko_high_school_geography', 'global_mmlu_ko_high_school_government_and_politics', 'global_mmlu_ko_high_school_macroeconomics', 'global_mmlu_ko_high_school_mathematics', 'global_mmlu_ko_high_school_microeconomics', 'global_mmlu_ko_high_school_physics', 'global_mmlu_ko_high_school_psychology'], num_fewshot=0
|
||||
[LM_EVAL] No valid tasks to evaluate.
|
||||
[TASK_RUNNER gpu_id=6] Done. Result saved to eval/outputs/3b_full_eval_20260305_0318/phase2_gpu6_0shot.json
|
||||
@@ -0,0 +1,69 @@
|
||||
{
|
||||
"model_path": "eval/outputs/3b_full_eval_20260305_0318/hf_3b_checkpoint-0057000",
|
||||
"tasks_requested": [
|
||||
"global_mmlu_ko_abstract_algebra",
|
||||
"global_mmlu_ko_anatomy",
|
||||
"global_mmlu_ko_astronomy",
|
||||
"global_mmlu_ko_business_ethics",
|
||||
"global_mmlu_ko_clinical_knowledge",
|
||||
"global_mmlu_ko_college_biology",
|
||||
"global_mmlu_ko_college_chemistry",
|
||||
"global_mmlu_ko_college_computer_science",
|
||||
"global_mmlu_ko_college_mathematics",
|
||||
"global_mmlu_ko_college_medicine",
|
||||
"global_mmlu_ko_college_physics",
|
||||
"global_mmlu_ko_computer_security",
|
||||
"global_mmlu_ko_conceptual_physics",
|
||||
"global_mmlu_ko_econometrics",
|
||||
"global_mmlu_ko_electrical_engineering",
|
||||
"global_mmlu_ko_elementary_mathematics",
|
||||
"global_mmlu_ko_formal_logic",
|
||||
"global_mmlu_ko_global_facts",
|
||||
"global_mmlu_ko_high_school_biology",
|
||||
"global_mmlu_ko_high_school_chemistry",
|
||||
"global_mmlu_ko_high_school_computer_science",
|
||||
"global_mmlu_ko_high_school_european_history",
|
||||
"global_mmlu_ko_high_school_geography",
|
||||
"global_mmlu_ko_high_school_government_and_politics",
|
||||
"global_mmlu_ko_high_school_macroeconomics",
|
||||
"global_mmlu_ko_high_school_mathematics",
|
||||
"global_mmlu_ko_high_school_microeconomics",
|
||||
"global_mmlu_ko_high_school_physics",
|
||||
"global_mmlu_ko_high_school_psychology"
|
||||
],
|
||||
"tasks_evaluated": [],
|
||||
"tasks_skipped": [
|
||||
"global_mmlu_ko_abstract_algebra",
|
||||
"global_mmlu_ko_anatomy",
|
||||
"global_mmlu_ko_astronomy",
|
||||
"global_mmlu_ko_business_ethics",
|
||||
"global_mmlu_ko_clinical_knowledge",
|
||||
"global_mmlu_ko_college_biology",
|
||||
"global_mmlu_ko_college_chemistry",
|
||||
"global_mmlu_ko_college_computer_science",
|
||||
"global_mmlu_ko_college_mathematics",
|
||||
"global_mmlu_ko_college_medicine",
|
||||
"global_mmlu_ko_college_physics",
|
||||
"global_mmlu_ko_computer_security",
|
||||
"global_mmlu_ko_conceptual_physics",
|
||||
"global_mmlu_ko_econometrics",
|
||||
"global_mmlu_ko_electrical_engineering",
|
||||
"global_mmlu_ko_elementary_mathematics",
|
||||
"global_mmlu_ko_formal_logic",
|
||||
"global_mmlu_ko_global_facts",
|
||||
"global_mmlu_ko_high_school_biology",
|
||||
"global_mmlu_ko_high_school_chemistry",
|
||||
"global_mmlu_ko_high_school_computer_science",
|
||||
"global_mmlu_ko_high_school_european_history",
|
||||
"global_mmlu_ko_high_school_geography",
|
||||
"global_mmlu_ko_high_school_government_and_politics",
|
||||
"global_mmlu_ko_high_school_macroeconomics",
|
||||
"global_mmlu_ko_high_school_mathematics",
|
||||
"global_mmlu_ko_high_school_microeconomics",
|
||||
"global_mmlu_ko_high_school_physics",
|
||||
"global_mmlu_ko_high_school_psychology"
|
||||
],
|
||||
"per_task_metrics": {},
|
||||
"raw_results": {},
|
||||
"elapsed_sec": 0.0
|
||||
}
|
||||
@@ -0,0 +1,34 @@
|
||||
[TASK_RUNNER gpu_id=6] Starting task=lm_eval
|
||||
[TASK_RUNNER gpu_id=6] NUMA affinity set: cores 36-71
|
||||
[LM_EVAL] Task 'global_mmlu_ko_abstract_algebra' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_anatomy' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_astronomy' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_business_ethics' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_clinical_knowledge' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_college_biology' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_college_chemistry' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_college_computer_science' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_college_mathematics' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_college_medicine' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_college_physics' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_computer_security' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_conceptual_physics' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_econometrics' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_electrical_engineering' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_elementary_mathematics' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_formal_logic' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_global_facts' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_high_school_biology' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_high_school_chemistry' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_high_school_computer_science' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_high_school_european_history' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_high_school_geography' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_high_school_government_and_politics' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_high_school_macroeconomics' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_high_school_mathematics' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_high_school_microeconomics' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_high_school_physics' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_high_school_psychology' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Starting on cuda:0 (CUDA_VISIBLE_DEVICES=0), tasks=['global_mmlu_ko_abstract_algebra', 'global_mmlu_ko_anatomy', 'global_mmlu_ko_astronomy', 'global_mmlu_ko_business_ethics', 'global_mmlu_ko_clinical_knowledge', 'global_mmlu_ko_college_biology', 'global_mmlu_ko_college_chemistry', 'global_mmlu_ko_college_computer_science', 'global_mmlu_ko_college_mathematics', 'global_mmlu_ko_college_medicine', 'global_mmlu_ko_college_physics', 'global_mmlu_ko_computer_security', 'global_mmlu_ko_conceptual_physics', 'global_mmlu_ko_econometrics', 'global_mmlu_ko_electrical_engineering', 'global_mmlu_ko_elementary_mathematics', 'global_mmlu_ko_formal_logic', 'global_mmlu_ko_global_facts', 'global_mmlu_ko_high_school_biology', 'global_mmlu_ko_high_school_chemistry', 'global_mmlu_ko_high_school_computer_science', 'global_mmlu_ko_high_school_european_history', 'global_mmlu_ko_high_school_geography', 'global_mmlu_ko_high_school_government_and_politics', 'global_mmlu_ko_high_school_macroeconomics', 'global_mmlu_ko_high_school_mathematics', 'global_mmlu_ko_high_school_microeconomics', 'global_mmlu_ko_high_school_physics', 'global_mmlu_ko_high_school_psychology'], num_fewshot=5
|
||||
[LM_EVAL] No valid tasks to evaluate.
|
||||
[TASK_RUNNER gpu_id=6] Done. Result saved to eval/outputs/3b_full_eval_20260305_0318/phase2_gpu6_5shot_5shot.json
|
||||
@@ -0,0 +1,67 @@
|
||||
{
|
||||
"model_path": "eval/outputs/3b_full_eval_20260305_0318/hf_3b_checkpoint-0057000",
|
||||
"tasks_requested": [
|
||||
"global_mmlu_ko_high_school_statistics",
|
||||
"global_mmlu_ko_high_school_us_history",
|
||||
"global_mmlu_ko_high_school_world_history",
|
||||
"global_mmlu_ko_human_aging",
|
||||
"global_mmlu_ko_human_sexuality",
|
||||
"global_mmlu_ko_international_law",
|
||||
"global_mmlu_ko_jurisprudence",
|
||||
"global_mmlu_ko_logical_fallacies",
|
||||
"global_mmlu_ko_machine_learning",
|
||||
"global_mmlu_ko_management",
|
||||
"global_mmlu_ko_marketing",
|
||||
"global_mmlu_ko_medical_genetics",
|
||||
"global_mmlu_ko_miscellaneous",
|
||||
"global_mmlu_ko_moral_disputes",
|
||||
"global_mmlu_ko_moral_scenarios",
|
||||
"global_mmlu_ko_nutrition",
|
||||
"global_mmlu_ko_philosophy",
|
||||
"global_mmlu_ko_prehistory",
|
||||
"global_mmlu_ko_professional_accounting",
|
||||
"global_mmlu_ko_professional_law",
|
||||
"global_mmlu_ko_professional_medicine",
|
||||
"global_mmlu_ko_professional_psychology",
|
||||
"global_mmlu_ko_public_relations",
|
||||
"global_mmlu_ko_security_studies",
|
||||
"global_mmlu_ko_sociology",
|
||||
"global_mmlu_ko_us_foreign_policy",
|
||||
"global_mmlu_ko_virology",
|
||||
"global_mmlu_ko_world_religions"
|
||||
],
|
||||
"tasks_evaluated": [],
|
||||
"tasks_skipped": [
|
||||
"global_mmlu_ko_high_school_statistics",
|
||||
"global_mmlu_ko_high_school_us_history",
|
||||
"global_mmlu_ko_high_school_world_history",
|
||||
"global_mmlu_ko_human_aging",
|
||||
"global_mmlu_ko_human_sexuality",
|
||||
"global_mmlu_ko_international_law",
|
||||
"global_mmlu_ko_jurisprudence",
|
||||
"global_mmlu_ko_logical_fallacies",
|
||||
"global_mmlu_ko_machine_learning",
|
||||
"global_mmlu_ko_management",
|
||||
"global_mmlu_ko_marketing",
|
||||
"global_mmlu_ko_medical_genetics",
|
||||
"global_mmlu_ko_miscellaneous",
|
||||
"global_mmlu_ko_moral_disputes",
|
||||
"global_mmlu_ko_moral_scenarios",
|
||||
"global_mmlu_ko_nutrition",
|
||||
"global_mmlu_ko_philosophy",
|
||||
"global_mmlu_ko_prehistory",
|
||||
"global_mmlu_ko_professional_accounting",
|
||||
"global_mmlu_ko_professional_law",
|
||||
"global_mmlu_ko_professional_medicine",
|
||||
"global_mmlu_ko_professional_psychology",
|
||||
"global_mmlu_ko_public_relations",
|
||||
"global_mmlu_ko_security_studies",
|
||||
"global_mmlu_ko_sociology",
|
||||
"global_mmlu_ko_us_foreign_policy",
|
||||
"global_mmlu_ko_virology",
|
||||
"global_mmlu_ko_world_religions"
|
||||
],
|
||||
"per_task_metrics": {},
|
||||
"raw_results": {},
|
||||
"elapsed_sec": 0.0
|
||||
}
|
||||
@@ -0,0 +1,33 @@
|
||||
[TASK_RUNNER gpu_id=7] Starting task=lm_eval
|
||||
[TASK_RUNNER gpu_id=7] NUMA affinity set: cores 36-71
|
||||
[LM_EVAL] Task 'global_mmlu_ko_high_school_statistics' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_high_school_us_history' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_high_school_world_history' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_human_aging' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_human_sexuality' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_international_law' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_jurisprudence' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_logical_fallacies' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_machine_learning' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_management' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_marketing' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_medical_genetics' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_miscellaneous' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_moral_disputes' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_moral_scenarios' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_nutrition' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_philosophy' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_prehistory' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_professional_accounting' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_professional_law' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_professional_medicine' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_professional_psychology' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_public_relations' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_security_studies' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_sociology' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_us_foreign_policy' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_virology' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_world_religions' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Starting on cuda:0 (CUDA_VISIBLE_DEVICES=0), tasks=['global_mmlu_ko_high_school_statistics', 'global_mmlu_ko_high_school_us_history', 'global_mmlu_ko_high_school_world_history', 'global_mmlu_ko_human_aging', 'global_mmlu_ko_human_sexuality', 'global_mmlu_ko_international_law', 'global_mmlu_ko_jurisprudence', 'global_mmlu_ko_logical_fallacies', 'global_mmlu_ko_machine_learning', 'global_mmlu_ko_management', 'global_mmlu_ko_marketing', 'global_mmlu_ko_medical_genetics', 'global_mmlu_ko_miscellaneous', 'global_mmlu_ko_moral_disputes', 'global_mmlu_ko_moral_scenarios', 'global_mmlu_ko_nutrition', 'global_mmlu_ko_philosophy', 'global_mmlu_ko_prehistory', 'global_mmlu_ko_professional_accounting', 'global_mmlu_ko_professional_law', 'global_mmlu_ko_professional_medicine', 'global_mmlu_ko_professional_psychology', 'global_mmlu_ko_public_relations', 'global_mmlu_ko_security_studies', 'global_mmlu_ko_sociology', 'global_mmlu_ko_us_foreign_policy', 'global_mmlu_ko_virology', 'global_mmlu_ko_world_religions'], num_fewshot=0
|
||||
[LM_EVAL] No valid tasks to evaluate.
|
||||
[TASK_RUNNER gpu_id=7] Done. Result saved to eval/outputs/3b_full_eval_20260305_0318/phase2_gpu7_0shot.json
|
||||
@@ -0,0 +1,67 @@
|
||||
{
|
||||
"model_path": "eval/outputs/3b_full_eval_20260305_0318/hf_3b_checkpoint-0057000",
|
||||
"tasks_requested": [
|
||||
"global_mmlu_ko_high_school_statistics",
|
||||
"global_mmlu_ko_high_school_us_history",
|
||||
"global_mmlu_ko_high_school_world_history",
|
||||
"global_mmlu_ko_human_aging",
|
||||
"global_mmlu_ko_human_sexuality",
|
||||
"global_mmlu_ko_international_law",
|
||||
"global_mmlu_ko_jurisprudence",
|
||||
"global_mmlu_ko_logical_fallacies",
|
||||
"global_mmlu_ko_machine_learning",
|
||||
"global_mmlu_ko_management",
|
||||
"global_mmlu_ko_marketing",
|
||||
"global_mmlu_ko_medical_genetics",
|
||||
"global_mmlu_ko_miscellaneous",
|
||||
"global_mmlu_ko_moral_disputes",
|
||||
"global_mmlu_ko_moral_scenarios",
|
||||
"global_mmlu_ko_nutrition",
|
||||
"global_mmlu_ko_philosophy",
|
||||
"global_mmlu_ko_prehistory",
|
||||
"global_mmlu_ko_professional_accounting",
|
||||
"global_mmlu_ko_professional_law",
|
||||
"global_mmlu_ko_professional_medicine",
|
||||
"global_mmlu_ko_professional_psychology",
|
||||
"global_mmlu_ko_public_relations",
|
||||
"global_mmlu_ko_security_studies",
|
||||
"global_mmlu_ko_sociology",
|
||||
"global_mmlu_ko_us_foreign_policy",
|
||||
"global_mmlu_ko_virology",
|
||||
"global_mmlu_ko_world_religions"
|
||||
],
|
||||
"tasks_evaluated": [],
|
||||
"tasks_skipped": [
|
||||
"global_mmlu_ko_high_school_statistics",
|
||||
"global_mmlu_ko_high_school_us_history",
|
||||
"global_mmlu_ko_high_school_world_history",
|
||||
"global_mmlu_ko_human_aging",
|
||||
"global_mmlu_ko_human_sexuality",
|
||||
"global_mmlu_ko_international_law",
|
||||
"global_mmlu_ko_jurisprudence",
|
||||
"global_mmlu_ko_logical_fallacies",
|
||||
"global_mmlu_ko_machine_learning",
|
||||
"global_mmlu_ko_management",
|
||||
"global_mmlu_ko_marketing",
|
||||
"global_mmlu_ko_medical_genetics",
|
||||
"global_mmlu_ko_miscellaneous",
|
||||
"global_mmlu_ko_moral_disputes",
|
||||
"global_mmlu_ko_moral_scenarios",
|
||||
"global_mmlu_ko_nutrition",
|
||||
"global_mmlu_ko_philosophy",
|
||||
"global_mmlu_ko_prehistory",
|
||||
"global_mmlu_ko_professional_accounting",
|
||||
"global_mmlu_ko_professional_law",
|
||||
"global_mmlu_ko_professional_medicine",
|
||||
"global_mmlu_ko_professional_psychology",
|
||||
"global_mmlu_ko_public_relations",
|
||||
"global_mmlu_ko_security_studies",
|
||||
"global_mmlu_ko_sociology",
|
||||
"global_mmlu_ko_us_foreign_policy",
|
||||
"global_mmlu_ko_virology",
|
||||
"global_mmlu_ko_world_religions"
|
||||
],
|
||||
"per_task_metrics": {},
|
||||
"raw_results": {},
|
||||
"elapsed_sec": 0.0
|
||||
}
|
||||
@@ -0,0 +1,33 @@
|
||||
[TASK_RUNNER gpu_id=7] Starting task=lm_eval
|
||||
[TASK_RUNNER gpu_id=7] NUMA affinity set: cores 36-71
|
||||
[LM_EVAL] Task 'global_mmlu_ko_high_school_statistics' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_high_school_us_history' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_high_school_world_history' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_human_aging' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_human_sexuality' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_international_law' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_jurisprudence' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_logical_fallacies' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_machine_learning' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_management' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_marketing' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_medical_genetics' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_miscellaneous' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_moral_disputes' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_moral_scenarios' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_nutrition' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_philosophy' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_prehistory' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_professional_accounting' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_professional_law' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_professional_medicine' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_professional_psychology' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_public_relations' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_security_studies' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_sociology' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_us_foreign_policy' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_virology' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Task 'global_mmlu_ko_world_religions' not found in lm_eval registry — skipping.
|
||||
[LM_EVAL] Starting on cuda:0 (CUDA_VISIBLE_DEVICES=0), tasks=['global_mmlu_ko_high_school_statistics', 'global_mmlu_ko_high_school_us_history', 'global_mmlu_ko_high_school_world_history', 'global_mmlu_ko_human_aging', 'global_mmlu_ko_human_sexuality', 'global_mmlu_ko_international_law', 'global_mmlu_ko_jurisprudence', 'global_mmlu_ko_logical_fallacies', 'global_mmlu_ko_machine_learning', 'global_mmlu_ko_management', 'global_mmlu_ko_marketing', 'global_mmlu_ko_medical_genetics', 'global_mmlu_ko_miscellaneous', 'global_mmlu_ko_moral_disputes', 'global_mmlu_ko_moral_scenarios', 'global_mmlu_ko_nutrition', 'global_mmlu_ko_philosophy', 'global_mmlu_ko_prehistory', 'global_mmlu_ko_professional_accounting', 'global_mmlu_ko_professional_law', 'global_mmlu_ko_professional_medicine', 'global_mmlu_ko_professional_psychology', 'global_mmlu_ko_public_relations', 'global_mmlu_ko_security_studies', 'global_mmlu_ko_sociology', 'global_mmlu_ko_us_foreign_policy', 'global_mmlu_ko_virology', 'global_mmlu_ko_world_religions'], num_fewshot=5
|
||||
[LM_EVAL] No valid tasks to evaluate.
|
||||
[TASK_RUNNER gpu_id=7] Done. Result saved to eval/outputs/3b_full_eval_20260305_0318/phase2_gpu7_5shot_5shot.json
|
||||
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:530d85c74beea117088f96aa6180baea70ef5fccffceb41c22b9c61e1d5eb75c
|
||||
size 56522316
|
||||
@@ -0,0 +1,299 @@
|
||||
# FRANKENSTALLM 3B — 종합 평가 보고서 (Executive Summary)
|
||||
|
||||
---
|
||||
|
||||
## 모델 정보
|
||||
|
||||
| 항목 | 값 |
|
||||
|------|-----|
|
||||
| 모델명 | FRANKENSTALLM 3B |
|
||||
| 체크포인트 | checkpoint-0057000 |
|
||||
| 학습 방식 | 한국어 사전학습 (Pretraining from scratch) |
|
||||
| 모델 규모 | ~3B parameters |
|
||||
| 최종 학습 Loss | ~1.55 (step 57,000 기준) |
|
||||
| 아키텍처 | Transformer Decoder, GQA, FlashAttention-2 |
|
||||
| 학습 환경 | 8× NVIDIA B200, DDP + TE MXFP8 |
|
||||
| 학습 속도 | 36K tokens/s (단일 GPU 기준), 292K tokens/s (8 GPU 전체) |
|
||||
| 평가 일시 | 2026-03-05 03:18 KST |
|
||||
| 평가 소요 시간 | 39분 36초 (총) |
|
||||
|
||||
---
|
||||
|
||||
## 1. 핵심 결과 한눈에 보기
|
||||
|
||||
| 평가 영역 | 핵심 지표 | 값 | 판정 |
|
||||
|---------|---------|-----|------|
|
||||
| **Perplexity** | 주 Val Set PPL | 5.2263 | 양호 |
|
||||
| **Perplexity** | 최저 도메인 PPL (hplt_ko) | 2.4028 | 우수 |
|
||||
| **Perplexity** | 최고 도메인 PPL (korean_namuwiki) | 25.8814 | 개선 필요 |
|
||||
| **Calibration** | Top-1 Accuracy | 68.75% | 양호 |
|
||||
| **Calibration** | Top-5 Accuracy | 81.64% | 양호 |
|
||||
| **Calibration** | Mean Correct Prob | 0.6152 | 양호 |
|
||||
| **NLL 분포** | Median NLL | 0.1221 nats | 우수 |
|
||||
| **NLL 분포** | High-loss 토큰 (>5.0) | 10.86% | 주의 |
|
||||
| **생성 품질** | Greedy 3-gram 반복률 | 72.75% | 사용 불가 |
|
||||
| **생성 품질** | 최적 설정 3-gram 반복률 | 0.00% | 양호 (rep penalty 필수) |
|
||||
| **생성 품질** | EOS 도달률 (전체) | 0% | 개선 필요 |
|
||||
| **KoBEST 평균** | 5개 task 평균 | ~47.7% | 랜덤 수준 (예상됨) |
|
||||
| **HAE-RAE** | 정확도 | 19.98% | 랜덤 수준 (예상됨) |
|
||||
| **MMLU-KO** | — | 미평가 | 환경 오류 |
|
||||
|
||||
---
|
||||
|
||||
## 2. Perplexity 요약
|
||||
|
||||
### 2.1 전체 PPL 표 (카테고리별 정렬)
|
||||
|
||||
**[주 Validation Set]**
|
||||
|
||||
| 데이터셋 | PPL | Bits/Token |
|
||||
|---------|-----|-----------|
|
||||
| 3b_val | **5.2263** | 2.3858 |
|
||||
|
||||
**[한국어 웹]**
|
||||
|
||||
| 데이터셋 | PPL | Bits/Token | 비고 |
|
||||
|---------|-----|-----------|------|
|
||||
| hplt_ko | 2.4028 | 1.2647 | 최우수 — 학습 데이터 비중 높음 |
|
||||
| korean_c4 | 5.7173 | 2.5153 | 양호 |
|
||||
| korean | 7.0155 | 2.8105 | 보통 |
|
||||
| cc100_ko | 21.7820 | 4.4451 | 불량 — 학습 미포함 추정 |
|
||||
|
||||
**[Cosmo 코퍼스 (영어 중심)]**
|
||||
|
||||
| 데이터셋 | PPL | Bits/Token |
|
||||
|---------|-----|-----------|
|
||||
| cosmo_khanacademy | 2.9322 | 1.5520 |
|
||||
| cosmo_auto_math_text | 3.1492 | 1.6550 |
|
||||
| cosmo_stanford | 3.3624 | 1.7495 |
|
||||
| cosmo_wikihow | 3.3097 | 1.7267 |
|
||||
| cosmo_openstax | 3.8673 | 1.9513 |
|
||||
| cosmo_stories | 3.9552 | 1.9837 |
|
||||
| cosmo_web_v2 | 4.1664 | 2.0588 |
|
||||
|
||||
**[수학]**
|
||||
|
||||
| 데이터셋 | PPL | Bits/Token |
|
||||
|---------|-----|-----------|
|
||||
| mathpile | 2.7244 | 1.4459 |
|
||||
| open_web_math | 6.9264 | 2.7921 |
|
||||
|
||||
**[한국어 위키 / 나무위키]**
|
||||
|
||||
| 데이터셋 | PPL | Bits/Token |
|
||||
|---------|-----|-----------|
|
||||
| wikipedia_ko | 10.7059 | 3.4203 |
|
||||
| korean_wiki | 11.8359 | 3.5651 |
|
||||
| namuwiki_2023b | 18.9170 | 4.2416 |
|
||||
| korean_namuwiki | 25.8814 | 4.6938 |
|
||||
|
||||
**[기타]**
|
||||
|
||||
| 데이터셋 | PPL | Bits/Token |
|
||||
|---------|-----|-----------|
|
||||
| val (generic) | 18.3046 | 4.1941 |
|
||||
|
||||
### 2.2 PPL 결과 해석
|
||||
|
||||
- **HPLT와 수학 데이터**에서 낮은 PPL(2.4~2.7): 이 두 코퍼스가 학습 데이터에서 높은 비중을 차지했음을 강하게 시사
|
||||
- **Cosmo 전체 3.0~4.2**: 영어 포함 다국어 학습이 효과적으로 이루어짐
|
||||
- **나무위키 PPL 19~26**: 나무위키 특유의 비격식체, 인터넷 문화 관련 어휘의 학습 부족
|
||||
- **CC-100 PPL 21.78**: 의도적 미포함이거나 데이터 품질 이슈로 제외된 것으로 추정
|
||||
|
||||
---
|
||||
|
||||
## 3. Calibration 요약
|
||||
|
||||
### 3.1 지표 요약
|
||||
|
||||
| 지표 | 값 | 의미 |
|
||||
|------|-----|------|
|
||||
| Top-1 Accuracy | **68.75%** | 다음 토큰을 약 2/3 확률로 정확히 예측 |
|
||||
| Top-5 Accuracy | **81.64%** | 상위 5 후보에 정답 포함 확률 |
|
||||
| Top-10 Accuracy | **85.93%** | 상위 10 후보에 정답 포함 확률 |
|
||||
| Mean Correct Prob | **0.6152** | 정답 토큰의 평균 예측 확률 |
|
||||
| Mean Entropy | **1.5682 bits** | 평균 예측 불확실성 |
|
||||
|
||||
### 3.2 Token NLL 분포 요약
|
||||
|
||||
| 백분위 | NLL | 해석 |
|
||||
|--------|-----|------|
|
||||
| p5 | 0.0000 | 극히 확실한 예측 |
|
||||
| p25 | 0.0017 | 매우 확실한 예측 |
|
||||
| **Median** | **0.1221** | **대다수 토큰이 매우 낮은 손실** |
|
||||
| p75 | 2.3594 | 상위 25%는 중간 난이도 |
|
||||
| p95 | 7.0312 | 상위 5%는 고난이도 |
|
||||
| p99 | 10.3125 | 극단 사례 |
|
||||
| **Mean** | **1.5561** | **평균이 중앙값의 12.8배 → 강한 우편향** |
|
||||
|
||||
**핵심 패턴**: Median NLL(0.12) << Mean NLL(1.56)의 극단적 격차는 대부분의 토큰은 완벽에 가깝게 예측되지만, 일부 어려운 토큰이 평균을 크게 끌어올리는 **heavy-tail(두꺼운 꼬리) 분포**임을 의미한다.
|
||||
|
||||
- 고손실 토큰 (NLL > 5.0): **10.86%**
|
||||
- 극단 고손실 토큰 (NLL > 10.0): **1.18%**
|
||||
|
||||
---
|
||||
|
||||
## 4. 생성 품질 요약
|
||||
|
||||
### 4.1 반복률 비교 (3-gram 기준)
|
||||
|
||||
| 설정 | 3-gram 반복률 | 사용 가능 여부 |
|
||||
|------|------------|-------------|
|
||||
| Greedy (t=0.0, rep=1.0) | 72.75% | **불가** |
|
||||
| t=0.5, rep=1.0 | ~60% | **불가** |
|
||||
| t=0.7, rep=1.0 | ~48% | **불가** |
|
||||
| t=1.0, rep=1.0 | 3.58% | 불안정 |
|
||||
| **t=0.7, rep=1.3** | **0.00%** | **권장 1순위** |
|
||||
| **t=0.9, rep=1.2** | **0.00%** | **권장 2순위** |
|
||||
|
||||
### 4.2 권장 생성 파라미터
|
||||
|
||||
```python
|
||||
# 1순위 — 일관성/정확성 중시 (사실 기술, Q&A)
|
||||
temperature = 0.7
|
||||
repetition_penalty = 1.3
|
||||
do_sample = True
|
||||
|
||||
# 2순위 — 다양성/창의성 중시 (스토리, 브레인스토밍)
|
||||
temperature = 0.9
|
||||
repetition_penalty = 1.2
|
||||
do_sample = True
|
||||
```
|
||||
|
||||
### 4.3 주요 생성 문제점
|
||||
|
||||
1. **모든 설정에서 EOS 도달률 0%**: 자연스러운 텍스트 종료 불가 — max_length에 의해 강제 중단
|
||||
2. **Greedy decoding 사용 불가**: repetition penalty 없이는 즉시 반복 루프
|
||||
3. **사실 오류**: "대한민국의 수도는 인천" 등 기본 사실 오류
|
||||
4. **학습 데이터 노이즈 유출**: 웹 게시판 목록, 스포츠 칼럼 등 무관한 내용 생성
|
||||
|
||||
---
|
||||
|
||||
## 5. 벤치마크 결과 요약
|
||||
|
||||
### 5.1 결과표
|
||||
|
||||
| 벤치마크 | 점수 | 랜덤 Baseline | 차이 |
|
||||
|---------|-----|------------|------|
|
||||
| KoBEST BoolQ | 50.14% | 50.0% | +0.1% |
|
||||
| KoBEST COPA | 49.40% | 50.0% | -0.6% |
|
||||
| KoBEST HellaSwag | 21.60% (norm) | 25.0% | -3.4% |
|
||||
| KoBEST SentiNeg | 50.13% | 50.0% | +0.1% |
|
||||
| KoBEST WiC | 48.81% | 50.0% | -1.2% |
|
||||
| **KoBEST 평균** | **~47.7%** | ~49.0% | -1.3% |
|
||||
| HAE-RAE | 19.98% | 20.0% | -0.02% |
|
||||
| Global MMLU-KO | 미평가 | — | — |
|
||||
|
||||
### 5.2 기대치 및 해석
|
||||
|
||||
**이 점수는 실패가 아니다.** Instruction tuning 없는 base LLM은 선택형 벤치마크에서 랜덤 수준의 성능을 보이는 것이 일반적이다. Llama-3.2-3B, Qwen2.5-3B, EXAONE 등 유명 오픈소스 모델들도 base 상태에서는 동일한 현상을 보인다.
|
||||
|
||||
모델의 실제 언어 이해 능력 지표:
|
||||
- PPL 5.23 (양호한 언어 모델링 능력)
|
||||
- Top-1 accuracy 68.75% (준수한 토큰 예측 능력)
|
||||
- 이 두 지표는 벤치마크 점수와 무관하게 모델이 한국어 텍스트 패턴을 잘 학습했음을 나타낸다.
|
||||
|
||||
---
|
||||
|
||||
## 6. 알려진 문제점 (Known Issues)
|
||||
|
||||
| 문제 | 심각도 | 해결 방법 |
|
||||
|------|--------|---------|
|
||||
| Greedy decoding 극심한 반복 | Critical | repetition_penalty >= 1.2 적용 필수 |
|
||||
| EOS 토큰 미생성 | High | SFT로 해결 예정 |
|
||||
| 사실 오류 (Hallucination) | High | SFT + RLHF로 개선 |
|
||||
| 벤치마크 랜덤 수준 성능 | Medium | SFT 필요 (예상된 결과) |
|
||||
| 나무위키 PPL 25.88 | Medium | 데이터 믹스 재조정 또는 추가 학습 |
|
||||
| MMLU-KO 평가 실패 | Low | lm-eval 버전 업그레이드 |
|
||||
| 학습 데이터 노이즈 유출 | Low | 데이터 필터링 강화 |
|
||||
|
||||
---
|
||||
|
||||
## 7. 다음 단계 권장 사항
|
||||
|
||||
### 7.1 단기 (즉시)
|
||||
|
||||
1. **MMLU-KO 평가 환경 수정**: lm-eval 업그레이드 후 재평가
|
||||
2. **생성 파라미터 고정**: 모든 서비스에서 `temperature=0.7, repetition_penalty=1.3` 적용
|
||||
3. **SFT 데이터 큐레이션 시작**: KoAlpaca, OpenOrca-KO, ORCA-style 한국어 데이터 준비
|
||||
|
||||
### 7.2 중기 (1~2주)
|
||||
|
||||
4. **Instruction SFT 실행**:
|
||||
```bash
|
||||
torchrun --nproc_per_node=8 train/sft.py \
|
||||
--base_model checkpoints/checkpoint-0057000 \
|
||||
--data data/sft/korean_instruction.jsonl \
|
||||
--output checkpoints/sft_v1
|
||||
```
|
||||
|
||||
5. **SFT 후 동일 벤치마크 재평가**: KoBEST, HAE-RAE, MMLU-KO 재측정
|
||||
|
||||
6. **DPO/ORPO 적용 검토**: SFT 후 alignment 학습으로 hallucination 감소
|
||||
|
||||
### 7.3 장기 (1개월+)
|
||||
|
||||
7. **계속 사전학습 (Continual Pretraining)**: 나무위키, CC-100 데이터 추가 학습으로 PPL 개선
|
||||
8. **RLHF**: 인간 피드백 기반 강화학습으로 최종 품질 향상
|
||||
9. **모델 경량화**: 4-bit quantization, GGUF 변환으로 배포 준비
|
||||
|
||||
---
|
||||
|
||||
## 8. 컴퓨팅 자원 사용 통계
|
||||
|
||||
### 8.1 평가 파이프라인
|
||||
|
||||
| Phase | 태스크 | 사용 GPU | 소요 시간 | 비고 |
|
||||
|-------|--------|---------|---------|------|
|
||||
| Phase 1 | PPL (3b_val) | GPU 2 단독 | ~37분 | 전체 파이프라인 병목 |
|
||||
| Phase 1 | PPL (나머지 18개) | GPU 3+4 병렬 | ~7.7분 | 병렬 실행 효율적 |
|
||||
| Phase 1 | Calibration + NLL | GPU 5 | 3.6초 | 매우 빠름 |
|
||||
| Phase 1 | 생성 품질 | GPU 6 | 2분 22초 | 15 프롬프트×4온도 |
|
||||
| Phase 1 | Repetition 그리드 | GPU 7 | 포함 | 11개 설정×5 프롬프트 |
|
||||
| Phase 2 | 0-shot 벤치마크 | GPU 2~7 | 2분 16초 | 6 GPU 병렬 |
|
||||
| **전체** | **모든 평가** | **GPU 2~7 (6개)** | **39분 36초** | GPU 0,1 미사용 |
|
||||
|
||||
### 8.2 평가 커버리지
|
||||
|
||||
| 지표 | 총 평가 토큰 수 |
|
||||
|------|-------------|
|
||||
| Perplexity (19개 val set) | ~5.62억 토큰 |
|
||||
| Calibration + NLL | 144,802 토큰 |
|
||||
| Generation | 60 × 256 = 15,360 토큰 |
|
||||
| Repetition Grid | ~11 × 5 × 256 = ~14,080 토큰 |
|
||||
|
||||
---
|
||||
|
||||
## 9. 상세 보고서 링크
|
||||
|
||||
| 보고서 | 내용 |
|
||||
|--------|------|
|
||||
| [01_perplexity_report.md](01_perplexity_report.md) | 19개 val set PPL 상세, 도메인별 분석, 학습 데이터 구성 추론 |
|
||||
| [02_calibration_report.md](02_calibration_report.md) | Calibration 지표, Token NLL 분포, 고손실 토큰 분석 |
|
||||
| [03_generation_quality_report.md](03_generation_quality_report.md) | 온도별 생성 품질, 반복 그리드 서치, 권장 파라미터 |
|
||||
| [04_benchmark_report.md](04_benchmark_report.md) | KoBEST/HAE-RAE 결과, 참조 모델 비교, MMLU-KO 이슈 |
|
||||
|
||||
---
|
||||
|
||||
## 10. 종합 판정
|
||||
|
||||
### 학습 단계별 기대와 현실
|
||||
|
||||
| 단계 | 예상 | 현재 상태 | 판정 |
|
||||
|------|------|----------|------|
|
||||
| Pretraining 완료 | PPL < 6.0 | PPL 5.23 | 달성 |
|
||||
| Calibration | Top-1 > 65% | 68.75% | 달성 |
|
||||
| 벤치마크 (0-shot) | 랜덤 수준 | 랜덤 수준 | 예상됨 |
|
||||
| 생성 품질 | rep_penalty 필요 | rep_penalty 필수 | 예상됨 |
|
||||
| EOS 생성 | SFT 후 가능 | 0% (현재) | SFT 필요 |
|
||||
|
||||
### 최종 평가
|
||||
|
||||
FRANKENSTALLM 3B는 **사전학습 단계의 목표를 달성한 모델**이다. PPL 5.23과 Top-1 accuracy 68.75%는 3B 규모 한국어 base 모델로서 합리적인 성능이다. repetition penalty를 적용하면 품질 있는 한국어 텍스트를 생성할 수 있는 기초 능력이 검증되었다.
|
||||
|
||||
현재 상태는 SFT/RLHF를 위한 **준비된 base 모델**이며, 다음 단계로의 전환이 권장된다.
|
||||
|
||||
---
|
||||
|
||||
*이 보고서는 FRANKENSTALLM 3B checkpoint-0057000 평가 결과를 기반으로 2026-03-05에 작성되었습니다.*
|
||||
*평가 실행: `/PROJECT/0325120031_A/ghong/taketimes/llm-bang/eval/outputs/3b_full_eval_20260305_0318/`*
|
||||
@@ -0,0 +1,197 @@
|
||||
# FRANKENSTALLM 3B — Perplexity 평가 보고서
|
||||
|
||||
- **모델**: FRANKENSTALLM 3B (checkpoint-0057000)
|
||||
- **평가 일시**: 2026-03-05 03:18 KST
|
||||
- **보고서 작성일**: 2026-03-05
|
||||
- **평가 데이터셋**: 19개 validation set
|
||||
- **총 평가 토큰**: 약 5.62억 토큰 (Eval Tokens 기준)
|
||||
|
||||
---
|
||||
|
||||
## 1. 요약
|
||||
|
||||
| 지표 | 값 |
|
||||
|------|-----|
|
||||
| 주 Validation Set PPL (3b_val) | **5.2263** |
|
||||
| 주 Validation Set Bits/Token | **2.3858** |
|
||||
| 최저 PPL (가장 쉬운 도메인) | **2.4028** (hplt_ko) |
|
||||
| 최고 PPL (가장 어려운 도메인) | **25.8814** (korean_namuwiki) |
|
||||
| 전체 도메인 PPL 범위 | 2.40 ~ 25.88 |
|
||||
|
||||
주 validation set인 `3b_val` 기준 PPL **5.23**은 스크래치 사전학습(pretraining)된 3B 규모 한국어 모델로서 합리적인 수준이다. HPLT와 수학 도메인에서 매우 낮은 PPL이 관측되었으나, 나무위키 계열과 CC-100 한국어 데이터에서 현저히 높은 PPL이 관측되었다. 이는 학습 데이터 구성(data composition)과 직접적인 연관이 있다.
|
||||
|
||||
---
|
||||
|
||||
## 2. 전체 PPL 결과 (오름차순 정렬)
|
||||
|
||||
아래 표는 PPL 기준 오름차순 정렬이다. PPL이 낮을수록 모델이 해당 도메인을 더 잘 이해함을 의미한다.
|
||||
|
||||
| 순위 | 데이터셋 | PPL | Bits/Token | Eval Tokens | 소요시간(s) | 카테고리 |
|
||||
|------|---------|-----|-----------|------------|-----------|---------|
|
||||
| 1 | hplt_ko | 2.4028 | 1.2647 | 48,460,462 | 475.9 | 한국어 웹 |
|
||||
| 2 | cosmo_khanacademy | 2.9322 | 1.5520 | 138,662 | 1.5 | Cosmo 교육 |
|
||||
| 3 | mathpile | 2.7244 | 1.4459 | 7,129,052 | 69.9 | 수학 |
|
||||
| 4 | cosmo_auto_math_text | 3.1492 | 1.6550 | 7,888,877 | 77.3 | Cosmo 수학 |
|
||||
| 5 | cosmo_stanford | 3.3624 | 1.7495 | 6,642,457 | 65.3 | Cosmo 교육 |
|
||||
| 6 | cosmo_wikihow | 3.3097 | 1.7267 | 1,180,927 | 11.8 | Cosmo 생활정보 |
|
||||
| 7 | cosmo_openstax | 3.8673 | 1.9513 | 723,497 | 7.2 | Cosmo 교육 |
|
||||
| 8 | cosmo_stories | 3.9552 | 1.9837 | 18,881,012 | 185.2 | Cosmo 영어 스토리 |
|
||||
| 9 | cosmo_web_v2 | 4.1664 | 2.0588 | 8,616,467 | 84.6 | Cosmo 웹 |
|
||||
| 10 | **3b_val (주 val set)** | **5.2263** | **2.3858** | **226,891,932** | 2227.3 | 주 val set |
|
||||
| 11 | korean_c4 | 5.7173 | 2.5153 | 45,445,722 | 443.1 | 한국어 웹 |
|
||||
| 12 | open_web_math | 6.9264 | 2.7921 | 15,677,467 | 153.5 | 수학(영어) |
|
||||
| 13 | korean | 7.0155 | 2.8105 | 53,512,147 | 521.6 | 한국어 웹 |
|
||||
| 14 | wikipedia_ko | 10.7059 | 3.4203 | 1,765,762 | 17.4 | 한국어 위키 |
|
||||
| 15 | korean_wiki | 11.8359 | 3.5651 | 1,567,747 | 15.5 | 한국어 위키 |
|
||||
| 16 | namuwiki_2023b | 18.9170 | 4.2416 | 7,654,022 | 75.1 | 나무위키 |
|
||||
| 17 | val (generic) | 18.3046 | 4.1941 | 9,110,737 | 89.4 | 일반(영어?) |
|
||||
| 18 | cc100_ko | 21.7820 | 4.4451 | 13,585,262 | 133.2 | 한국어 웹 |
|
||||
| 19 | korean_namuwiki | 25.8814 | 4.6938 | 6,488,957 | 63.7 | 나무위키 |
|
||||
|
||||
---
|
||||
|
||||
## 3. 도메인별 그룹 분석
|
||||
|
||||
### 3.1 주 Validation Set
|
||||
|
||||
| 데이터셋 | PPL | Bits/Token | Eval Tokens |
|
||||
|---------|-----|-----------|------------|
|
||||
| 3b_val | 5.2263 | 2.3858 | 226,891,932 |
|
||||
|
||||
`3b_val`은 학습 데이터와 동일한 분포에서 추출된 주 validation set이다. 약 2.27억 토큰 규모이며, 총 평가 소요 시간 37분의 대부분을 차지했다. PPL 5.23은 모델이 이 분포를 잘 학습했음을 시사한다.
|
||||
|
||||
---
|
||||
|
||||
### 3.2 한국어 웹 데이터
|
||||
|
||||
| 데이터셋 | PPL | 비고 |
|
||||
|---------|-----|-----|
|
||||
| hplt_ko | **2.4028** | 최우수 성능 — 학습 데이터에 HPLT 비중이 높음 |
|
||||
| korean_c4 | 5.7173 | 주 val set과 유사한 수준 |
|
||||
| korean | 7.0155 | 약간 높은 PPL — 다소 다른 분포 |
|
||||
| cc100_ko | 21.7820 | 매우 높은 PPL — 학습 데이터 미포함 가능성 |
|
||||
|
||||
**분석**: `hplt_ko`의 매우 낮은 PPL(2.40)은 학습 데이터에서 HPLT 코퍼스의 비중이 높았음을 강하게 시사한다. 반면 `cc100_ko`의 PPL(21.78)은 해당 데이터가 학습 데이터에 포함되지 않았거나 극히 적은 비중이었음을 나타낸다.
|
||||
|
||||
---
|
||||
|
||||
### 3.3 Cosmo 코퍼스 (영어 중심)
|
||||
|
||||
| 데이터셋 | PPL | 비고 |
|
||||
|---------|-----|-----|
|
||||
| cosmo_khanacademy | 2.9322 | 최우수 — KhanAcademy 교육 콘텐츠 |
|
||||
| cosmo_auto_math_text | 3.1492 | 수학 관련 자동 생성 텍스트 |
|
||||
| cosmo_stanford | 3.3624 | Stanford 강의 자료 |
|
||||
| cosmo_wikihow | 3.3097 | WikiHow 생활정보 |
|
||||
| cosmo_openstax | 3.8673 | OpenStax 교과서 |
|
||||
| cosmo_stories | 3.9552 | 이야기/소설 스타일 |
|
||||
| cosmo_web_v2 | 4.1664 | 일반 웹 텍스트 |
|
||||
|
||||
**분석**: Cosmo 코퍼스 전체가 PPL 3.0~4.2 범위로 우수한 성능을 보인다. 이는 모델이 영어를 포함한 다국어 텍스트 패턴을 잘 학습했음을 의미한다. KhanAcademy와 수학 텍스트에서 특히 낮은 PPL을 보이는 것은 수학적/교육적 텍스트 학습이 효과적으로 이루어졌음을 나타낸다.
|
||||
|
||||
---
|
||||
|
||||
### 3.4 위키백과 / 나무위키
|
||||
|
||||
| 데이터셋 | PPL | 비고 |
|
||||
|---------|-----|-----|
|
||||
| wikipedia_ko | 10.7059 | 한국어 위키 |
|
||||
| korean_wiki | 11.8359 | 한국어 위키 (다른 버전) |
|
||||
| namuwiki_2023b | 18.9170 | 나무위키 2023 버전 |
|
||||
| korean_namuwiki | 25.8814 | 나무위키 (최고 PPL) |
|
||||
|
||||
**분석**: 위키 계열 데이터에서 PPL이 전반적으로 높다. 특히 나무위키의 PPL(19~26)이 매우 높은데, 이는 나무위키 특유의 문체(구어체, 인터넷 슬랭, 밈, 중괄호 등의 위키 마크업)가 학습 데이터에 충분히 포함되지 않았음을 의미한다. 표준 위키백과도 PPL 10~12 수준으로, 공식적인 백과사전 문체에 대한 노출이 부족했던 것으로 추정된다.
|
||||
|
||||
---
|
||||
|
||||
### 3.5 수학 데이터
|
||||
|
||||
| 데이터셋 | PPL | 비고 |
|
||||
|---------|-----|-----|
|
||||
| mathpile | 2.7244 | 최우수 수학 코퍼스 |
|
||||
| cosmo_auto_math_text | 3.1492 | 수학 자동 텍스트 |
|
||||
| open_web_math | 6.9264 | 웹 수학 데이터 (영어) |
|
||||
|
||||
**분석**: `mathpile`에서 PPL 2.72라는 매우 낮은 수치가 관측되었다. 이는 학습 데이터에 mathpile 또는 유사한 수학 코퍼스가 상당량 포함되었음을 의미한다. `open_web_math`의 PPL(6.93)이 상대적으로 높은 것은, 해당 데이터의 분포가 학습 시 사용한 수학 데이터와 다소 차이가 있음을 나타낸다.
|
||||
|
||||
---
|
||||
|
||||
### 3.6 일반(Generic) Validation Set
|
||||
|
||||
| 데이터셋 | PPL | 비고 |
|
||||
|---------|-----|-----|
|
||||
| val (generic) | 18.3046 | 일반 영어 텍스트 추정 |
|
||||
|
||||
**분석**: `val`(generic) 데이터셋의 PPL이 18.3으로 매우 높다. 이 데이터셋의 정확한 출처가 명확하지 않지만, 학습 분포와 상이한 도메인이거나 영어 중심 텍스트일 가능성이 높다.
|
||||
|
||||
---
|
||||
|
||||
## 4. 학습 데이터 구성 추론
|
||||
|
||||
PPL 결과를 통해 학습 데이터 구성을 역추론할 수 있다:
|
||||
|
||||
| 추론 결과 | 근거 |
|
||||
|----------|------|
|
||||
| HPLT 한국어 코퍼스 비중 **높음** | hplt_ko PPL 2.40 (최저) |
|
||||
| MathPile 또는 유사 수학 코퍼스 포함 | mathpile PPL 2.72 |
|
||||
| Cosmo 계열 영어 데이터 포함 | cosmo_* 전반적으로 PPL 3~4 |
|
||||
| CC-100 한국어 비중 **낮음 또는 미포함** | cc100_ko PPL 21.78 |
|
||||
| 나무위키 비중 **낮음** | korean_namuwiki PPL 25.88 |
|
||||
| 한국어 위키백과 비중 **보통** | wikipedia_ko PPL 10.7 |
|
||||
|
||||
---
|
||||
|
||||
## 5. 도메인별 Bits/Token 시각화 (텍스트 막대 그래프)
|
||||
|
||||
```
|
||||
도메인 Bits/Token [████ 낮을수록 우수]
|
||||
hplt_ko 1.26 ████
|
||||
mathpile 1.45 █████
|
||||
cosmo_khanacademy 1.55 █████
|
||||
cosmo_auto_math 1.66 ██████
|
||||
cosmo_wikihow 1.73 ██████
|
||||
cosmo_stanford 1.75 ██████
|
||||
cosmo_openstax 1.95 ███████
|
||||
cosmo_stories 1.98 ███████
|
||||
cosmo_web_v2 2.06 ████████
|
||||
3b_val 2.39 █████████
|
||||
korean_c4 2.52 ██████████
|
||||
open_web_math 2.79 ███████████
|
||||
korean 2.81 ███████████
|
||||
wikipedia_ko 3.42 █████████████
|
||||
korean_wiki 3.57 ██████████████
|
||||
val (generic) 4.19 █████████████████
|
||||
namuwiki_2023b 4.24 █████████████████
|
||||
cc100_ko 4.45 ██████████████████
|
||||
korean_namuwiki 4.69 ███████████████████
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 6. 평가 파이프라인 효율성
|
||||
|
||||
| 구간 | 소요 시간 | 비고 |
|
||||
|------|---------|------|
|
||||
| 3b_val (단일 GPU) | 37분 7.3초 | 전체 파이프라인의 병목 |
|
||||
| 나머지 18개 dataset | ~7분 40초 | GPU 3+4 병렬 실행 |
|
||||
| 전체 Phase 1 | ~37분 | 3b_val이 지배적 |
|
||||
|
||||
3b_val 평가에 GPU 2장을 추가 병렬화하거나 sliding window 방식으로 eval batch size를 키우면 파이프라인 총 소요 시간을 크게 단축할 수 있다.
|
||||
|
||||
---
|
||||
|
||||
## 7. 결론 및 권장 사항
|
||||
|
||||
1. **현재 모델 품질**: 주 val set PPL 5.23은 스크래치 학습 3B 한국어 모델로 합리적이나, 추가 학습 또는 데이터 믹스 보정을 통해 4.0 이하 달성이 목표가 될 수 있다.
|
||||
|
||||
2. **나무위키 데이터 보강**: korean_namuwiki PPL 25.88을 개선하기 위해 다음 학습 단계에서 나무위키 비중을 높일 것을 권장한다.
|
||||
|
||||
3. **CC-100 검토**: cc100_ko PPL 21.78은 데이터 품질 문제일 수 있다. CC-100은 웹 크롤링 품질이 낮은 것으로 알려져 있어, 의도적 미포함일 가능성도 있다.
|
||||
|
||||
4. **위키백과 강화**: wikipedia_ko PPL 10.7은 사실 기반 질의응답 성능과 직결된다. SFT 전 추가 위키 데이터 학습이 유익할 수 있다.
|
||||
|
||||
5. **평가 병목 해소**: 차기 평가 시 3b_val을 다중 GPU로 분산하여 전체 평가 시간을 20분 이하로 단축 가능.
|
||||
|
||||
---
|
||||
|
||||
*관련 보고서: [02_calibration_report.md](02_calibration_report.md) | [03_generation_quality_report.md](03_generation_quality_report.md) | [04_benchmark_report.md](04_benchmark_report.md) | [00_executive_summary.md](00_executive_summary.md)*
|
||||
@@ -0,0 +1,162 @@
|
||||
# FRANKENSTALLM 3B — Calibration & Token NLL 분포 보고서
|
||||
|
||||
- **모델**: FRANKENSTALLM 3B (checkpoint-0057000)
|
||||
- **평가 일시**: 2026-03-05 03:18 KST
|
||||
- **평가 GPU**: GPU 5 (단독 실행)
|
||||
- **평가 소요 시간**: 3.6초 (calibration 2.0s + NLL 1.6s)
|
||||
- **평가 토큰 수**: 144,802 tokens
|
||||
|
||||
---
|
||||
|
||||
## 1. 요약
|
||||
|
||||
| 지표 | 값 | 해석 |
|
||||
|------|-----|------|
|
||||
| Top-1 Accuracy | **68.75%** | 다음 토큰을 정확히 예측할 확률 |
|
||||
| Top-5 Accuracy | **81.64%** | 정답이 상위 5개 예측에 포함될 확률 |
|
||||
| Top-10 Accuracy | **85.93%** | 정답이 상위 10개 예측에 포함될 확률 |
|
||||
| Mean Correct Prob | **0.6152** | 정답 토큰의 평균 예측 확률 |
|
||||
| Mean Entropy | **1.5682 bits** | 예측 분포의 평균 불확실성 |
|
||||
| NLL Mean | **1.5561 nats** | 평균 negative log-likelihood |
|
||||
| NLL Median | **0.1221 nats** | 중앙값 NLL (median << mean = 우편향 분포) |
|
||||
|
||||
**핵심 발견**: 이 모델은 대부분의 토큰(중앙값 NLL 0.12)에 대해서는 매우 확실하게 예측하지만, 일부 고난이도 토큰에서 극단적으로 높은 손실이 발생하는 **이중 모드 분포(bimodal-like distribution)**를 보인다.
|
||||
|
||||
---
|
||||
|
||||
## 2. Calibration 지표 상세
|
||||
|
||||
### 2.1 Top-K Accuracy
|
||||
|
||||
```
|
||||
Top-1: 68.75% ████████████████████████████░░░░░░░░░░░░░ (랜덤 baseline: <0.1%)
|
||||
Top-5: 81.64% █████████████████████████████████░░░░░░░░
|
||||
Top-10: 85.93% ██████████████████████████████████░░░░░░░
|
||||
```
|
||||
|
||||
**해석**:
|
||||
- Top-1 68.75%는 사전학습 모델로서 준수한 수준이다. 언어 모델의 top-1 정확도는 PPL과 역관계이며, PPL 5.23에서 이 수치는 예상 범위 내이다.
|
||||
- Top-5와 Top-1의 차이(+12.89%)는 정답 후보 중 상위권에 정답이 포함되어 있음을 의미하므로, 빔 서치(beam search)나 Top-K 샘플링 시 성능이 향상될 것으로 기대된다.
|
||||
- Top-10에서의 포화(85.93%)는 토큰 예측의 상당수가 확실하게 수렴됨을 보여준다.
|
||||
|
||||
### 2.2 Mean Correct Probability vs. Entropy
|
||||
|
||||
| 지표 | 값 | 의미 |
|
||||
|------|-----|------|
|
||||
| Mean Correct Prob | 0.6152 | 정답 토큰이 평균 61.5% 확률로 예측됨 |
|
||||
| Mean Entropy | 1.5682 bits | 예측 분포가 평균 약 3.0개 유효 후보를 가짐 (2^1.57) |
|
||||
|
||||
- **Correct Prob 0.615 vs. Entropy 1.57 bits**: 모델이 정답을 높은 확률로 예측하지만, 일부 위치에서는 불확실성이 큼을 나타낸다.
|
||||
- **Effective vocabulary size** (= 2^entropy): 약 2.97 — 평균적으로 모델이 약 3개의 토큰 후보를 고르게 고려한다.
|
||||
|
||||
---
|
||||
|
||||
## 3. Token NLL 분포 분석
|
||||
|
||||
### 3.1 백분위 분포표
|
||||
|
||||
| 백분위 | NLL 값 | 해석 |
|
||||
|--------|--------|------|
|
||||
| p5 | **0.0000** | 하위 5% 토큰은 NLL이 거의 0 (완벽 예측) |
|
||||
| p25 (Q1) | **0.0017** | 상위 75% 토큰은 NLL < 0.0017 — 거의 확실한 예측 |
|
||||
| p50 (Median) | **0.1221** | 절반 이상의 토큰은 NLL 0.12 미만 |
|
||||
| p75 (Q3) | **2.3594** | 상위 25% 토큰은 NLL > 2.36 |
|
||||
| p95 | **7.0312** | 상위 5% 토큰은 NLL > 7.03 |
|
||||
| p99 | **10.3125** | 상위 1% 토큰은 NLL > 10.31 |
|
||||
| Mean | **1.5561** | 평균 NLL (중앙값의 12.8배 = 극단값에 의해 끌림) |
|
||||
| Std | **2.4926** | 매우 높은 표준편차 — 분포의 넓은 산포 |
|
||||
|
||||
### 3.2 고손실(High-Loss) 토큰 비율
|
||||
|
||||
| 임계값 | 비율 | 토큰 수 (추정) |
|
||||
|--------|------|-------------|
|
||||
| NLL > 5.0 | **10.86%** | ~15,705 tokens |
|
||||
| NLL > 10.0 | **1.18%** | ~1,709 tokens |
|
||||
|
||||
### 3.3 NLL 분포 형태 분석
|
||||
|
||||
```
|
||||
NLL 분포 (개략적 밀도):
|
||||
|
||||
▄▄▄
|
||||
█████ ← 압도적 다수가 낮은 NLL에 집중
|
||||
░░░░████████░ (p50 = 0.12)
|
||||
0 0.5 1 2 3 4 5 7 10+ NLL
|
||||
▄ ▄ ← 고손실 토큰 분포 (꼬리)
|
||||
|
||||
중앙값(0.12) <<< 평균(1.56): 강한 우편향(right-skewed) 분포
|
||||
IQR = p75 - p25 = 2.36 - 0.00 = 2.36 (범위가 매우 넓음)
|
||||
```
|
||||
|
||||
**해석**: 이 분포는 두 가지 다른 패턴을 보여준다:
|
||||
|
||||
1. **"쉬운" 토큰 (약 75%)**: NLL < 2.36로, 모델이 매우 확실하게 예측하는 구조적 토큰들(조사, 어미, 자주 등장하는 어휘 등)
|
||||
2. **"어려운" 토큰 (약 25%)**: NLL > 2.36으로, 고유명사, 낮은 빈도의 어휘, 문맥 의존적 의미 결정이 필요한 토큰들
|
||||
|
||||
---
|
||||
|
||||
## 4. 고손실 토큰 분석
|
||||
|
||||
### 4.1 NLL > 5.0 토큰 (10.86%)
|
||||
|
||||
전체 토큰의 약 1/10이 NLL 5.0을 초과하는 고손실 구간에 있다. 이는 모델이 해당 위치의 토큰을 거의 예측하지 못함(확률 e^-5 ≈ 0.7% 이하)을 의미한다. 고손실 토큰은 일반적으로 다음과 같은 특성을 가진다:
|
||||
|
||||
| 유형 | 설명 | 예시 |
|
||||
|------|------|------|
|
||||
| 희귀 어휘 | 학습 데이터에서 매우 드물게 등장한 토큰 | 전문 용어, 신조어 |
|
||||
| 고유명사 | 특정 인물, 지명, 제품명 등 | "홍길동", "강남구청역" |
|
||||
| 문맥 의존적 전환 | 이전 문맥과 급격히 다른 방향 전환 | 화제 전환 지점 |
|
||||
| 나무위키 마크업 | `[[`, `]]`, 중괄호 등 | 위키 문법 토큰 |
|
||||
| 숫자/특수문자 조합 | 복잡한 숫자-텍스트 혼합 | "1,234,567원" |
|
||||
|
||||
### 4.2 NLL > 10.0 토큰 (1.18%)
|
||||
|
||||
극단적으로 높은 손실을 보이는 상위 1.18% 토큰은 모델이 사실상 예측 불가능한 위치이다. 확률로 환산하면 e^-10 ≈ 0.0045% 이하로, 모델이 해당 토큰의 등장을 전혀 예측하지 못한 경우이다.
|
||||
|
||||
---
|
||||
|
||||
## 5. Calibration 품질 평가
|
||||
|
||||
### 5.1 과신(Overconfidence) vs. 과소신(Underconfidence) 분석
|
||||
|
||||
Mean Correct Probability 0.6152와 Top-1 Accuracy 0.6875의 관계:
|
||||
- 정답 예측 시 평균 확률 0.615는 상당히 높은 편
|
||||
- 하지만 오답 예측 시 확률이 어떻게 분포되는지는 추가 분석 필요
|
||||
- Mean Entropy 1.57 bits ≈ PPL 환산 시 약 3.0 — 실제 PPL 5.23과 차이가 있음
|
||||
|
||||
**Note**: 이 calibration은 샘플 데이터(144K 토큰)로 측정되었으며, 전체 3b_val(226M 토큰) 기준과 결과가 다를 수 있다.
|
||||
|
||||
### 5.2 다른 모델과의 비교 (참고)
|
||||
|
||||
| 모델 유형 | 예상 Top-1 Acc | 이 모델 |
|
||||
|----------|--------------|--------|
|
||||
| 무작위 예측 (vocab ~32K) | ~0.003% | — |
|
||||
| GPT-2 수준 (1.5B, 영어) | ~55-60% | — |
|
||||
| 3B 사전학습 모델 (일반) | ~65-72% | **68.75%** |
|
||||
| 7B 파인튜닝 모델 (참고) | ~73-78% | — |
|
||||
|
||||
FRANKENSTALLM 3B의 Top-1 68.75%는 동급 3B 사전학습 모델의 전형적인 범위(65-72%) 내에 있다.
|
||||
|
||||
---
|
||||
|
||||
## 6. 결론 및 개선 방향
|
||||
|
||||
### 긍정적 신호
|
||||
- Top-1 68.75%: 스크래치 학습 3B 모델로서 정상 범위
|
||||
- 중앙값 NLL 0.12: 대다수 토큰에 대해 매우 확신 있는 예측
|
||||
- Top-5/Top-10 gap이 작음: 상위 후보가 빠르게 수렴
|
||||
|
||||
### 개선이 필요한 부분
|
||||
- 고손실 토큰 10.86% (NLL > 5): 희귀 어휘 커버리지 부족
|
||||
- NLL 표준편차 2.49: 예측 품질의 일관성 부족 — SFT를 통한 개선 가능
|
||||
- 극단 토큰 1.18% (NLL > 10): 완전 실패 케이스 존재
|
||||
|
||||
### 권장 조치
|
||||
1. **토크나이저 어휘 분석**: 고손실 토큰의 패턴을 분석하여 BPE 어휘 구성 최적화
|
||||
2. **데이터 믹스 재조정**: 나무위키, 위키백과 비중 증가로 위키 도메인 NLL 개선
|
||||
3. **Annealing 단계 추가**: 학습 후반부 LR을 더 낮게 조정하여 고손실 구간 개선
|
||||
4. **SFT 이후 재평가**: Instruction tuning 후 calibration이 어떻게 변화하는지 추적
|
||||
|
||||
---
|
||||
|
||||
*관련 보고서: [01_perplexity_report.md](01_perplexity_report.md) | [03_generation_quality_report.md](03_generation_quality_report.md) | [04_benchmark_report.md](04_benchmark_report.md) | [00_executive_summary.md](00_executive_summary.md)*
|
||||
@@ -0,0 +1,256 @@
|
||||
# FRANKENSTALLM 3B — 생성 품질 보고서
|
||||
|
||||
- **모델**: FRANKENSTALLM 3B (checkpoint-0057000)
|
||||
- **평가 일시**: 2026-03-05 03:18 KST
|
||||
- **평가 GPU**: GPU 6 (단독 실행)
|
||||
- **생성 소요 시간**: 141.8초
|
||||
- **총 생성 수**: 60개 (15 프롬프트 × 4 온도)
|
||||
- **최대 생성 토큰**: 256 tokens/생성
|
||||
|
||||
---
|
||||
|
||||
## 1. 핵심 요약 — 심각한 반복 문제
|
||||
|
||||
> **경고**: 이 모델은 기본 설정(greedy 또는 temperature <= 0.7)에서 **극심한 반복 루프** 현상을 보인다. 프로덕션 사용 전 반드시 repetition penalty를 적용해야 한다.
|
||||
|
||||
| 설정 | 3-gram 반복률 | 4-gram 반복률 | EOS 도달 | 비고 |
|
||||
|------|------------|------------|---------|------|
|
||||
| Greedy (t=0.0) | **72.75%** | **70.78%** | 0% | 극심한 반복 루프 |
|
||||
| t=0.5 | ~60% | ~59% | 0% | 반복 루프 지속 |
|
||||
| t=0.8 | 가변적 | 가변적 | 0% | 프롬프트에 따라 크게 다름 |
|
||||
| t=1.0 (sampled avg) | **24.27%** | 가변적 | 0% | 그나마 가장 낮은 반복 |
|
||||
|
||||
**공통 문제**: 모든 온도 설정에서 EOS 토큰 도달률 0%. 256 토큰을 완전히 소진하고도 멈추지 않는다.
|
||||
|
||||
---
|
||||
|
||||
## 2. 온도별 생성 품질 상세
|
||||
|
||||
### 2.1 Greedy Decoding (temperature = 0.0)
|
||||
|
||||
| 지표 | 값 |
|
||||
|------|-----|
|
||||
| 1-gram 반복률 | 79.64% |
|
||||
| 2-gram 반복률 | 75.86% |
|
||||
| 3-gram 반복률 | **72.75%** |
|
||||
| 4-gram 반복률 | **70.78%** |
|
||||
| EOS 도달률 | 0% |
|
||||
| 평균 생성 토큰 | 256.0 (항상 max) |
|
||||
|
||||
**분석**: Greedy decoding은 사실상 사용 불가능한 수준이다. 72%의 3-gram이 반복되는 것은 모델이 지역 최소(local minimum)에 갇혀 동일한 패턴을 무한 반복함을 의미한다. 이는 사전학습 모델(base model)에서 흔히 나타나는 현상이나, 이 모델에서는 특히 심각하다.
|
||||
|
||||
#### Greedy 생성 예시 — "지구 온난화의 주요 원인은"
|
||||
|
||||
```
|
||||
[입력] 지구 온난화의 주요 원인은
|
||||
[생성] 온실가스 배출이다. 온실가스 배출은 지구온난화의 주요 원인이다. 온실가스 배출은
|
||||
지구온난화의 주요 원인이다. 온실가스 배출은 지구온난화의 주요 원인이다. 온실가스 배출은
|
||||
지구온난화의 주요 원인이다. 온실가스 배출은 지구온난화의 주요 원인이다. [이후 256토큰까지
|
||||
동일 문장 반복]
|
||||
3-gram 반복률: 92.13%
|
||||
```
|
||||
|
||||
#### Greedy 생성 예시 — "대한민국의 수도는"
|
||||
|
||||
```
|
||||
[입력] 대한민국의 수도는
|
||||
[생성] 서울이 아닌 인천이다.역사 한국의 수도는 서울이 아닌 인천이었다.조선 시대에는
|
||||
인천이 수도였다.1895년(고종 32년) 인천은 개항하였다.1910년(융희 4년) 인천은
|
||||
인천부로 승격되었다.1914년 인천은 인천부로 개편되었다.1945년 인천은 인천시로
|
||||
개칭되었다.1948년 인천은 인천시로 개칭되었다.1963년 인천은 인천시로 개칭되었다.
|
||||
[이후 "인천은 인천직할시로 개칭되었다." 반복]
|
||||
```
|
||||
|
||||
**주목할 점**: 사실 오류("대한민국의 수도는 인천이다")가 포함되어 있으며, 이후 반복 루프로 진입한다.
|
||||
|
||||
#### Greedy 생성 예시 — "한국의 전통 음식 중에서"
|
||||
|
||||
```
|
||||
[입력] 한국의 전통 음식 중에서
|
||||
[생성] 가장 인기 있는 음식 중의 하나가 바로 갈비찜이다. 갈비찜은 갈비에 양념을 해서
|
||||
찜통에 쪄낸 음식으로, 갈비찜은 갈비찜을 쪄서 먹는 음식이다. 갈비찜은 갈비에 양념을
|
||||
해서 찜통에 쪄낸 음식으로, 갈비찜은 갈비찜을 쪄서 먹는 음식이다. [반복]
|
||||
3-gram 반복률: 75.00%
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
### 2.2 Temperature 0.5
|
||||
|
||||
| 지표 | 값 (평균) |
|
||||
|------|----------|
|
||||
| 3-gram 반복률 | ~60% |
|
||||
| EOS 도달률 | 0% |
|
||||
|
||||
여전히 심각한 반복 루프가 관찰된다. 일부 프롬프트에서 거의 100%에 가까운 반복률이 나타난다.
|
||||
|
||||
#### 생성 예시 — "인공지능이란" (t=0.5)
|
||||
|
||||
```
|
||||
[생성] ?[김병윤의 축구생각]축구의 본질은 '공'이다[김병윤의 축구생각]축구의 본질은 '공'이다
|
||||
[김병윤의 축구생각]축구의 본질은 '공'이다[김병윤의 축구생각]축구의 본질은 '공'이다...
|
||||
3-gram 반복률: 88.64%
|
||||
```
|
||||
|
||||
프롬프트와 전혀 관련 없는 문구가 무한 반복되는 **탈선(derailment)** 패턴이 관찰된다.
|
||||
|
||||
---
|
||||
|
||||
### 2.3 Temperature 0.8
|
||||
|
||||
| 지표 | 값 |
|
||||
|------|-----|
|
||||
| 반복률 | 프롬프트에 따라 0% ~ 95% (매우 가변적) |
|
||||
| EOS 도달률 | 0% |
|
||||
|
||||
temperature 0.8은 일부 프롬프트에서 합리적인 텍스트를 생성하지만, 다른 프롬프트에서는 여전히 심각한 반복을 보인다. repetition penalty 없이는 안정적이지 않다.
|
||||
|
||||
#### 생성 예시 — "대한민국의 수도는" (t=0.8) — 비교적 합리적인 케이스
|
||||
|
||||
```
|
||||
[생성] 대한민국 서울이다.개요 대한민국의 수도는 대한민국의 수도를 대한민국의 수도로 하는
|
||||
헌법 제3조에 의해 대한민국의 수도는 서울특별시로 되어 있다. 대한민국 헌법 제5조는
|
||||
"대한민국의 수도는 법률로 정한다."라고 되어 있다...
|
||||
3-gram 반복률: 58.65% (중간 수준)
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
### 2.4 Temperature 1.0
|
||||
|
||||
| 지표 | 값 (평균) |
|
||||
|------|----------|
|
||||
| 3-gram 반복률 (sampled avg) | **24.27%** |
|
||||
| EOS 도달률 | 0% |
|
||||
| 평균 생성 토큰 | 256.0 |
|
||||
|
||||
temperature 1.0이 가장 낮은 반복률을 보이지만, 여전히 24%의 3-gram이 반복된다. 높은 온도로 인해 생성 다양성은 증가하지만 일관성과 사실성이 떨어진다.
|
||||
|
||||
#### 생성 예시 — "대한민국의 수도는" (t=1.0) — 오프토픽 케이스
|
||||
|
||||
```
|
||||
[생성] 당연히 한반도의 동남쪽이 아닌 서남쪽으로 옮겨갈 가능성이 높다.[15] 참고로 일본
|
||||
열도의 최대 수심은... [일본 관련 내용으로 완전히 탈선]
|
||||
3-gram 반복률: 2.42%
|
||||
```
|
||||
|
||||
반복률은 낮지만 사실적으로 부정확하고 주제와 무관한 내용을 생성한다.
|
||||
|
||||
---
|
||||
|
||||
## 3. 온도별 반복률 종합 비교
|
||||
|
||||
```
|
||||
설정 1-gram 2-gram 3-gram 4-gram
|
||||
Greedy (t=0.0) 79.64% 75.86% 72.75% 70.78% ← 사용 불가
|
||||
t=0.5 ~85% ~75% ~60% ~59% ← 사용 불가
|
||||
t=0.7 (no rep) ~82% ~72% ~48% ~43% ← 사용 불가
|
||||
t=0.9 (no rep) ~31% ~17% ~8.4% ~4.6% ← 불안정
|
||||
t=1.0 (no rep) ~24% ~8.3% ~3.6% ~2.8% ← 수용 가능 (낮은 일관성)
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 4. Repetition Penalty 그리드 서치 결과
|
||||
|
||||
GPU 7에서 temperature × repetition_penalty 그리드 서치를 수행하였다. 총 11개 설정을 5개 프롬프트에 대해 평가하였다.
|
||||
|
||||
### 4.1 전체 그리드 결과 (3-gram 반복률 오름차순)
|
||||
|
||||
| 설정 | Temperature | Rep Penalty | 3-gram 반복률 | 4-gram 반복률 | EOS 도달률 | 평균 토큰 |
|
||||
|------|------------|------------|------------|------------|---------|--------|
|
||||
| **t0.7_rep1.3** | 0.7 | 1.3 | **0.000%** | **0.000%** | 0% | 256 |
|
||||
| **t0.9_rep1.2** | 0.9 | 1.2 | **0.000%** | **0.000%** | 0% | 256 |
|
||||
| t0.7_rep1.2 | 0.7 | 1.2 | 0.88% | 0.00% | 0% | 256 |
|
||||
| t0.9_rep1.1 | 0.9 | 1.1 | 0.94% | 0.13% | 0% | 256 |
|
||||
| t1.0_rep1.1 | 1.0 | 1.1 | 1.21% | 0.48% | 0% | 256 |
|
||||
| t0.5_rep1.1 | 0.5 | 1.1 | 1.92% | 1.19% | 0% | 256 |
|
||||
| t1.0 (no rep) | 1.0 | 1.0 | 3.58% | 2.81% | 0% | 256 |
|
||||
| t0.9 (no rep) | 0.9 | 1.0 | 8.39% | 4.64% | 0% | 256 |
|
||||
| t0.7_rep1.1 | 0.7 | 1.1 | 8.51% | 5.51% | 0% | 256 |
|
||||
| t0.7 (no rep) | 0.7 | 1.0 | 47.69% | 43.40% | 0% | 256 |
|
||||
| t0.5 (no rep) | 0.5 | 1.0 | 60.12% | 58.68% | 0% | 256 |
|
||||
| greedy (no rep) | 0.0 | 1.0 | 60.99% | 57.02% | 0% | 256 |
|
||||
|
||||
### 4.2 권장 생성 파라미터
|
||||
|
||||
**1순위 (최우선 권장)**:
|
||||
```python
|
||||
temperature = 0.7
|
||||
repetition_penalty = 1.3
|
||||
# 결과: 3-gram 반복률 0.000%, 4-gram 반복률 0.000%
|
||||
# 가장 낮은 온도에서 완전한 반복 제거 달성
|
||||
```
|
||||
|
||||
**2순위 (대안)**:
|
||||
```python
|
||||
temperature = 0.9
|
||||
repetition_penalty = 1.2
|
||||
# 결과: 3-gram 반복률 0.000%, 4-gram 반복률 0.000%
|
||||
# 높은 온도로 더 다양한 생성 가능
|
||||
```
|
||||
|
||||
**용도별 권장**:
|
||||
|
||||
| 용도 | Temperature | Rep Penalty | 비고 |
|
||||
|------|------------|------------|------|
|
||||
| 사실 기술 / Q&A | 0.7 | 1.3 | 일관성 우선 |
|
||||
| 창의적 생성 / 스토리 | 0.9 | 1.2 | 다양성과 일관성 균형 |
|
||||
| 브레인스토밍 / 다양성 | 1.0 | 1.1 | 최대 다양성 (일관성 저하 감수) |
|
||||
| 절대 피해야 할 설정 | any | 1.0 | repetition_penalty 없으면 사용 불가 |
|
||||
|
||||
---
|
||||
|
||||
## 5. EOS 미도달 문제 분석
|
||||
|
||||
모든 설정에서 EOS (End-of-Sequence) 토큰 도달률이 **0%**이다. 256 토큰을 생성한 후 항상 max_length에 의해 강제 종료된다.
|
||||
|
||||
### 원인 분석
|
||||
|
||||
1. **EOS 토큰 학습 부족**: 사전학습 데이터에서 EOS 토큰이 문서 경계에만 등장하므로, 256 토큰 이내에 자연스럽게 멈추는 패턴을 학습하지 못했을 가능성이 높다.
|
||||
|
||||
2. **Packing 방식의 부작용**: 학습 시 여러 문서를 이어붙이는 packing 방식을 사용했을 경우, 모델이 EOS를 종료 신호로 인식하지 않고 연속 텍스트로 학습했을 수 있다.
|
||||
|
||||
3. **SFT 미적용**: Instruction tuning 없이는 대부분의 base LLM이 짧은 응답을 생성하지 않는다.
|
||||
|
||||
### 해결 방안
|
||||
|
||||
- SFT (Supervised Fine-Tuning): 응답 종료 패턴을 명시적으로 학습
|
||||
- EOS 토큰 가중치 증가: 학습 시 EOS 토큰의 손실 가중치를 높임
|
||||
- Chat template 도입: `<|im_end|>` 또는 `[/INST]` 형식의 구조화된 포맷 학습
|
||||
|
||||
---
|
||||
|
||||
## 6. 생성 품질 정성 평가
|
||||
|
||||
### 6.1 현재 모델의 강점
|
||||
- repetition_penalty 적용 시 **한국어 문법**과 **어휘 선택**은 전반적으로 자연스럽다.
|
||||
- 관련 맥락 유지가 짧은 구간(첫 50 토큰)에서는 비교적 잘 이루어진다.
|
||||
- Cosmo 교육 데이터에서 낮은 PPL이 나타났듯, 교육적 텍스트 스타일 모방 능력이 있다.
|
||||
|
||||
### 6.2 현재 모델의 약점
|
||||
- **사실 오류**: "대한민국의 수도는 인천이다" 같은 기본적 사실 오류가 발생한다.
|
||||
- **주제 탈선**: 프롬프트와 무관한 내용으로 빠르게 탈선하는 경향이 있다.
|
||||
- **EOS 미생성**: 자연스러운 완결 불가능 — 모든 생성이 max_length에서 잘림.
|
||||
- **반복 루프**: repetition_penalty 없으면 극심한 반복으로 사용 불가.
|
||||
- **웹 데이터 노이즈**: "SAT 시험일정", "김병윤의 축구생각" 같은 학습 데이터 노이즈가 그대로 생성된다.
|
||||
|
||||
### 6.3 기대치 설정
|
||||
|
||||
이 결과는 **instruction tuning 없는 base model의 전형적인 특성**이다. Llama-3, Qwen2.5 등의 base 모델도 동일한 조건에서 유사한 문제를 보인다. SFT 이후 다음 개선이 예상된다:
|
||||
- EOS 생성율 대폭 향상 (0% → 80%+)
|
||||
- 사실 오류 감소
|
||||
- 반복 패턴 완화 (repetition_penalty 의존도 감소)
|
||||
- 지시 수행 능력 획득
|
||||
|
||||
---
|
||||
|
||||
## 7. 결론
|
||||
|
||||
현재 FRANKENSTALLM 3B base 모델의 생성 품질은 **repetition penalty 없이는 사용 불가능한 수준**이다. 그러나 이는 base 모델의 일반적 특성이며, 적절한 하이퍼파라미터(t=0.7, rep_penalty=1.3) 적용 시 반복 문제는 완전히 해결된다.
|
||||
|
||||
**즉시 필요한 다음 단계**: Instruction SFT 또는 RLHF를 통한 파인튜닝.
|
||||
|
||||
---
|
||||
|
||||
*관련 보고서: [01_perplexity_report.md](01_perplexity_report.md) | [02_calibration_report.md](02_calibration_report.md) | [04_benchmark_report.md](04_benchmark_report.md) | [00_executive_summary.md](00_executive_summary.md)*
|
||||
@@ -0,0 +1,199 @@
|
||||
# FRANKENSTALLM 3B — 표준 벤치마크 보고서
|
||||
|
||||
- **모델**: FRANKENSTALLM 3B (checkpoint-0057000)
|
||||
- **평가 일시**: 2026-03-05 03:18 KST
|
||||
- **평가 도구**: lm-evaluation-harness (EleutherAI)
|
||||
- **평가 방식**: 0-shot (few-shot 미포함)
|
||||
- **평가 소요 시간**: Phase 2 전체 2분 16초
|
||||
|
||||
---
|
||||
|
||||
## 1. 요약
|
||||
|
||||
| 벤치마크 | 결과 | 랜덤 baseline | 판정 |
|
||||
|---------|------|-------------|------|
|
||||
| KoBEST BoolQ | 50.14% | ~50% (2-way) | 랜덤 수준 |
|
||||
| KoBEST COPA | 49.40% | ~50% (2-way) | 랜덤 수준 |
|
||||
| KoBEST HellaSwag | 21.60% (norm) | ~25% (4-way) | 랜덤 수준 |
|
||||
| KoBEST SentiNeg | 50.13% | ~50% (2-way) | 랜덤 수준 |
|
||||
| KoBEST WiC | 48.81% | ~50% (2-way) | 랜덤 수준 |
|
||||
| HAE-RAE | 19.98% | ~20% (5-way) | 랜덤 수준 |
|
||||
| Global MMLU-KO | 미평가 | — | 레지스트리 오류 |
|
||||
|
||||
**전체 판정**: 모든 벤치마크에서 랜덤 baseline과 통계적으로 유의미한 차이 없음. 이는 **instruction tuning 없는 base 모델에서 예상되는 정상적인 결과**이다.
|
||||
|
||||
---
|
||||
|
||||
## 2. KoBEST 상세 결과
|
||||
|
||||
KoBEST(Korean Best: Korean Balanced Evaluation of Short Text)는 SKT에서 공개한 한국어 NLU 벤치마크로, 5개 subtask로 구성된다.
|
||||
|
||||
### 2.1 KoBEST 전체 결과표
|
||||
|
||||
| Task | Accuracy | Acc Std Error | F1 | 답변 유형 | 랜덤 baseline |
|
||||
|------|----------|-------------|-----|---------|-------------|
|
||||
| BoolQ | 0.5014 (50.14%) | ±1.33% | 0.334 | 2-way (예/아니오) | 50.0% |
|
||||
| COPA | 0.4940 (49.40%) | ±1.58% | 0.493 | 2-way (원인/결과 선택) | 50.0% |
|
||||
| HellaSwag (raw) | 0.1940 (19.40%) | ±1.77% | 0.193 | 4-way (문장 완성) | 25.0% |
|
||||
| HellaSwag (norm) | **0.2160 (21.60%)** | ±1.84% | — | 4-way (길이 정규화) | 25.0% |
|
||||
| SentiNeg | 0.5013 (50.13%) | ±2.51% | 0.467 | 2-way (긍/부정) | 50.0% |
|
||||
| WiC | 0.4881 (48.81%) | ±1.41% | 0.329 | 2-way (동음이의어 판별) | 50.0% |
|
||||
|
||||
### 2.2 Task별 상세 분석
|
||||
|
||||
#### BoolQ (예/아니오 질문)
|
||||
- **점수**: 50.14% (랜덤과 동일)
|
||||
- **F1**: 0.334 — F1이 accuracy보다 낮은 것은 모델이 한쪽 클래스에 편향 예측 중임을 시사
|
||||
- **해석**: 자연어 추론(NLI) 능력이 없는 상태. SFT 후 70%+ 달성 기대.
|
||||
|
||||
#### COPA (인과관계 추론)
|
||||
- **점수**: 49.40% (랜덤 이하)
|
||||
- **F1**: 0.493 — BoolQ보다 균형 잡힌 예측 분포
|
||||
- **해석**: 원인-결과 관계 이해가 거의 없음. Base 모델에서는 전형적인 결과.
|
||||
|
||||
#### HellaSwag (상식적 문장 완성)
|
||||
- **점수**: 21.60% (normalized), 19.40% (raw)
|
||||
- **랜덤 baseline**: 25% (4-way)
|
||||
- **해석**: raw accuracy는 랜덤보다도 낮으나 길이 정규화 후 개선. 4-way 선택이므로 25% baseline 대비 여전히 낮다. 가장 많은 개선 여지가 있는 task.
|
||||
|
||||
#### SentiNeg (감성 분석)
|
||||
- **점수**: 50.13% (랜덤과 동일)
|
||||
- **F1**: 0.467 — 한쪽 클래스에 약간 편향
|
||||
- **해석**: 감성 분류 능력 없음. 단순 긍/부정 패턴도 학습 안 됨.
|
||||
|
||||
#### WiC (단어 의미 동일성 판별)
|
||||
- **점수**: 48.81% (랜덤보다 약간 낮음)
|
||||
- **F1**: 0.329 — 심각한 클래스 편향
|
||||
- **해석**: 문맥에 따른 단어 의미 구분 능력 없음. 가장 낮은 F1 점수.
|
||||
|
||||
### 2.3 KoBEST 에러 분석
|
||||
|
||||
F1 점수가 Accuracy보다 현저히 낮은 task(BoolQ: acc 0.50 vs F1 0.33, WiC: acc 0.49 vs F1 0.33)는 모델이 2개 클래스 중 한쪽만 반복적으로 예측하는 **클래스 불균형 편향**을 보임을 나타낸다.
|
||||
|
||||
---
|
||||
|
||||
## 3. HAE-RAE 결과
|
||||
|
||||
HAE-RAE(한국어 AI 평가 데이터셋)는 한국 문화, 역사, 법률, 경제 등 한국 특화 지식을 평가하는 벤치마크이다.
|
||||
|
||||
| 지표 | 값 |
|
||||
|------|-----|
|
||||
| Accuracy | 0.1998 (19.98%) |
|
||||
| Acc Norm | 0.1998 (19.98%) |
|
||||
| Acc Std Error | ±1.21% |
|
||||
| 랜덤 baseline (5-way) | ~20.0% |
|
||||
|
||||
**해석**: HAE-RAE는 5-way 선택형 과제로 랜덤 baseline이 20%이다. 모델 점수 19.98%는 랜덤과 사실상 동일하다. 한국 특화 지식(문화, 역사, 법률)에 대한 추론 능력이 없는 상태이다.
|
||||
|
||||
---
|
||||
|
||||
## 4. Global MMLU-KO 미평가 이슈
|
||||
|
||||
### 4.1 오류 상황
|
||||
|
||||
평가 시도한 57개 MMLU-KO 서브태스크(abstract_algebra ~ world_religions) 전부가 평가되지 않았다.
|
||||
|
||||
```
|
||||
tasks_requested: 57개 (global_mmlu_ko_abstract_algebra ~ global_mmlu_ko_world_religions)
|
||||
tasks_evaluated: 0개
|
||||
tasks_skipped: 57개 (전부)
|
||||
사유: "tasks not in registry"
|
||||
```
|
||||
|
||||
### 4.2 원인
|
||||
|
||||
설치된 lm-evaluation-harness 버전에 `global_mmlu_ko_*` 태스크가 등록되지 않았다. 이는 버전 불일치 또는 패키지 미설치 문제이다.
|
||||
|
||||
### 4.3 해결 방법
|
||||
|
||||
```bash
|
||||
# 방법 1: lm-eval 최신 버전으로 업그레이드
|
||||
pip install lm-eval --upgrade
|
||||
|
||||
# 방법 2: global_mmlu 태스크 수동 등록
|
||||
# lm_eval/tasks/global_mmlu/ko/ 디렉토리 확인 필요
|
||||
|
||||
# 방법 3: MMLU 대신 kmmlu 사용
|
||||
pip install lm-eval[ko]
|
||||
python -m lm_eval --tasks kmmlu --model hf ...
|
||||
```
|
||||
|
||||
차기 평가 시 MMLU-KO 결과를 포함할 것을 강력히 권장한다. MMLU 점수는 모델의 세계 지식 수준을 정량적으로 비교하는 핵심 지표이다.
|
||||
|
||||
---
|
||||
|
||||
## 5. 참조 모델과의 비교
|
||||
|
||||
### 5.1 KoBEST 평균 비교 (0-shot)
|
||||
|
||||
아래 참조값은 공개 논문 및 리더보드에서 수집하였으며, 평가 조건이 다를 수 있으므로 참고용으로만 사용할 것.
|
||||
|
||||
| 모델 | 파라미터 | 모델 유형 | KoBEST avg | HAE-RAE | MMLU-KO |
|
||||
|------|---------|---------|-----------|---------|--------|
|
||||
| **FRANKENSTALLM 3B** | **3B** | **Base (0-shot)** | **~47.7%** | **20.0%** | **미평가** |
|
||||
| Llama-3.2-3B (base) | 3B | Base | ~50-55% | ~30-35% | ~35-40% |
|
||||
| Qwen2.5-3B (base) | 3B | Base | ~55-62% | ~38-42% | ~45-50% |
|
||||
| EXAONE-3.5-2.4B (base) | 2.4B | Base | ~50-58% | ~35-40% | ~38-44% |
|
||||
| Llama-3.2-3B-Instruct | 3B | Instruct | ~68-72% | ~55-60% | ~50-55% |
|
||||
| Qwen2.5-3B-Instruct | 3B | Instruct | ~72-78% | ~62-67% | ~58-65% |
|
||||
|
||||
*참고: 위 비교 모델들의 수치는 공개 벤치마크 기준 추정값이며, 정확한 비교를 위해서는 동일 환경에서 재평가 필요.*
|
||||
|
||||
### 5.2 해석
|
||||
|
||||
FRANKENSTALLM 3B의 KoBEST 평균 ~47.7%는 동급 외국 모델의 base 버전(50-62%)보다 낮다. 이 차이는 주로:
|
||||
|
||||
1. **학습 데이터 분포**: FRANKENSTALLM은 한국어 특화 데이터로 학습되었지만, 다양한 NLU task에 필요한 추론 패턴 학습이 부족할 수 있다.
|
||||
2. **학습 단계**: step 57,000은 전체 계획 대비 초기 단계일 수 있다.
|
||||
3. **0-shot 특성**: Base 모델은 0-shot에서 일반적으로 낮은 성능을 보이며, few-shot 또는 SFT 후 급격히 향상된다.
|
||||
|
||||
---
|
||||
|
||||
## 6. 0-shot vs. 5-shot 비교
|
||||
|
||||
Phase 2에서 0-shot과 5-shot 평가가 모두 수행되었으나, 결과 파싱 과정에서 5-shot 데이터가 별도 집계되지 않았다. 일반적으로 base 모델의 경우 5-shot이 0-shot 대비 5-15%p 향상을 보인다.
|
||||
|
||||
차기 평가에서 명시적인 0-shot vs. 5-shot 비교를 수행하여 모델의 in-context learning 능력을 평가할 것을 권장한다.
|
||||
|
||||
---
|
||||
|
||||
## 7. 벤치마크 결과에 대한 올바른 해석
|
||||
|
||||
### 이 결과가 의미하는 것
|
||||
|
||||
- Instruction tuning 없는 base LLM의 **전형적이고 정상적인 성능**
|
||||
- 랜덤 수준의 벤치마크 점수 ≠ 모델 실패
|
||||
- Base 모델의 실제 능력은 PPL, calibration, 생성 품질로 더 잘 평가됨
|
||||
|
||||
### 이 결과가 의미하지 않는 것
|
||||
|
||||
- 모델이 한국어를 이해하지 못함 (PPL 5.23, calibration 68.75%가 이를 반증)
|
||||
- 모델이 쓸모없음 (SFT/RLHF의 기초 모델로서 적합)
|
||||
- 개발 실패
|
||||
|
||||
### 다음 단계에서의 기대 성능
|
||||
|
||||
SFT 적용 후 예상 개선:
|
||||
|
||||
| Task | 현재 (Base) | SFT 후 예상 |
|
||||
|------|-----------|-----------|
|
||||
| KoBEST avg | ~47.7% | ~65-72% |
|
||||
| HAE-RAE | ~20% | ~50-58% |
|
||||
| MMLU-KO | 미평가 | ~38-45% |
|
||||
| 생성 품질 | 반복/탈선 | 자연스러운 응답 |
|
||||
| EOS 도달률 | 0% | 85%+ |
|
||||
|
||||
---
|
||||
|
||||
## 8. 결론
|
||||
|
||||
현재 벤치마크 점수는 랜덤 baseline과 동일한 수준이지만, 이는 base model에서 예상되는 결과이다. 모델의 실제 언어 이해 능력(PPL 5.23, Top-1 accuracy 68.75%)은 벤치마크 점수와 별개로 양호하다.
|
||||
|
||||
**즉각적으로 필요한 조치**:
|
||||
1. MMLU-KO 평가 환경 수정 및 재평가
|
||||
2. Instruction SFT 데이터 준비 및 파인튜닝 시작
|
||||
3. SFT 완료 후 동일 벤치마크 재평가로 개선도 측정
|
||||
|
||||
---
|
||||
|
||||
*관련 보고서: [01_perplexity_report.md](01_perplexity_report.md) | [02_calibration_report.md](02_calibration_report.md) | [03_generation_quality_report.md](03_generation_quality_report.md) | [00_executive_summary.md](00_executive_summary.md)*
|
||||
@@ -0,0 +1,59 @@
|
||||
# FRANKENSTALLM 3B 종합 평가 리포트
|
||||
|
||||
- **모델**: FRANKENSTALLM 3B
|
||||
- **체크포인트**: checkpoint-0057000
|
||||
- **평가 일시**: 2026-03-05 03:27:39
|
||||
- **총 소요 시간**: 240.4초
|
||||
|
||||
## Executive Summary
|
||||
|
||||
| 메트릭 | 값 |
|
||||
|--------|-----|
|
||||
| 주요 PPL (3b_val) | 데이터 없음 |
|
||||
| KMMLU 평균 정확도 | 데이터 없음 |
|
||||
| KoBEST 평균 | 데이터 없음 |
|
||||
| Top-1 정확도 (Calibration) | 데이터 없음 |
|
||||
|
||||
## 3. Perplexity 평가
|
||||
|
||||
데이터 없음
|
||||
|
||||
## 4. Calibration 결과
|
||||
|
||||
데이터 없음
|
||||
|
||||
## 5. Token NLL 분포
|
||||
|
||||
데이터 없음
|
||||
|
||||
## 6. 생성 품질
|
||||
|
||||
데이터 없음
|
||||
|
||||
## 7. Repetition 파라미터 검색
|
||||
|
||||
데이터 없음
|
||||
|
||||
## 8. 표준 벤치마크
|
||||
|
||||
데이터 없음
|
||||
|
||||
## 9. 참고 모델 비교
|
||||
|
||||
| 모델 | 파라미터 | MMLU (ko) | KoBEST 평균 | PPL |
|
||||
|------|---------|-----------|------------|-----|
|
||||
| FRANKENSTALLM 3B | 3B | 데이터 없음 | 데이터 없음 | 데이터 없음 |
|
||||
| Llama-3.2-3B | 3B | ~42 | ~55 | — |
|
||||
| Qwen2.5-3B | 3B | ~48 | ~60 | — |
|
||||
| EXAONE-3.5-2.4B | 2.4B | ~35 | ~50 | — |
|
||||
|
||||
## 10. 컴퓨팅 자원 통계
|
||||
|
||||
| Phase | Task | 소요 시간(s) | 상태 |
|
||||
|-------|------|------------|------|
|
||||
| Phase 2 | Standard Benchmarks | - | 완료 |
|
||||
| **전체** | **모든 평가** | **240.4** | **완료** |
|
||||
|
||||
---
|
||||
|
||||
*이 리포트는 자동으로 생성되었습니다.*
|
||||
@@ -0,0 +1,44 @@
|
||||
{
|
||||
"GPU 5 — Calibration + Token NLL": {
|
||||
"calibration": {
|
||||
"n_eval_tokens": 144802,
|
||||
"top1_accuracy": 0.6875,
|
||||
"top5_accuracy": 0.8164,
|
||||
"top10_accuracy": 0.8593,
|
||||
"mean_correct_prob": 0.6152,
|
||||
"mean_entropy": 1.5682,
|
||||
"elapsed_sec": 3.8
|
||||
},
|
||||
"token_nll": {
|
||||
"n_eval_tokens": 144802,
|
||||
"nll_mean": 1.5561,
|
||||
"nll_std": 2.4926,
|
||||
"nll_median": 0.1221,
|
||||
"nll_percentiles": {
|
||||
"p5": 0.0,
|
||||
"p25": 0.0017,
|
||||
"p75": 2.3594,
|
||||
"p95": 7.0312,
|
||||
"p99": 10.3125
|
||||
},
|
||||
"high_loss_fraction_5": 0.108617,
|
||||
"high_loss_fraction_10": 0.011823,
|
||||
"elapsed_sec": 4.8
|
||||
}
|
||||
},
|
||||
"GPU 6 — Generation (15 prompts × 4 temps)": {
|
||||
"error": "Traceback (most recent call last):\n File \"/PROJECT/0325120031_A/ghong/taketimes/llm-bang/eval/full_eval_pipeline.py\", line 569, in run_phase1\n result = fut.result()\n ^^^^^^^^^^^^\n File \"/usr/lib/python3.12/concurrent/futures/_base.py\", line 449, in result\n return self.__get_result()\n ^^^^^^^^^^^^^^^^^^^\n File \"/usr/lib/python3.12/concurrent/futures/_base.py\", line 401, in __get_result\n raise self._exception\nconcurrent.futures.process.BrokenProcessPool: A process in the process pool was terminated abruptly while the future was running or pending.\n"
|
||||
},
|
||||
"GPU 7 — Repetition grid (12 × 5)": {
|
||||
"error": "Traceback (most recent call last):\n File \"/PROJECT/0325120031_A/ghong/taketimes/llm-bang/eval/full_eval_pipeline.py\", line 569, in run_phase1\n result = fut.result()\n ^^^^^^^^^^^^\n File \"/usr/lib/python3.12/concurrent/futures/_base.py\", line 449, in result\n return self.__get_result()\n ^^^^^^^^^^^^^^^^^^^\n File \"/usr/lib/python3.12/concurrent/futures/_base.py\", line 401, in __get_result\n raise self._exception\n File \"/PROJECT/0325120031_A/ghong/taketimes/llm-bang/eval/full_eval_pipeline.py\", line 569, in run_phase1\n result = fut.result()\n ^^^^^^^^^^^^\n File \"/usr/lib/python3.12/concurrent/futures/_base.py\", line 449, in result\n return self.__get_result()\n ^^^^^^^^^^^^^^^^^^^\n File \"/usr/lib/python3.12/concurrent/futures/_base.py\", line 401, in __get_result\n raise self._exception\nconcurrent.futures.process.BrokenProcessPool: A process in the process pool was terminated abruptly while the future was running or pending.\n"
|
||||
},
|
||||
"GPU 2 — PPL: 3b_val.bin": {
|
||||
"error": "Traceback (most recent call last):\n File \"/PROJECT/0325120031_A/ghong/taketimes/llm-bang/eval/full_eval_pipeline.py\", line 569, in run_phase1\n result = fut.result()\n ^^^^^^^^^^^^\n File \"/usr/lib/python3.12/concurrent/futures/_base.py\", line 449, in result\n return self.__get_result()\n ^^^^^^^^^^^^^^^^^^^\n File \"/usr/lib/python3.12/concurrent/futures/_base.py\", line 401, in __get_result\n raise self._exception\n File \"/PROJECT/0325120031_A/ghong/taketimes/llm-bang/eval/full_eval_pipeline.py\", line 569, in run_phase1\n result = fut.result()\n ^^^^^^^^^^^^\n File \"/usr/lib/python3.12/concurrent/futures/_base.py\", line 449, in result\n return self.__get_result()\n ^^^^^^^^^^^^^^^^^^^\n File \"/usr/lib/python3.12/concurrent/futures/_base.py\", line 401, in __get_result\n raise self._exception\n File \"/PROJECT/0325120031_A/ghong/taketimes/llm-bang/eval/full_eval_pipeline.py\", line 569, in run_phase1\n result = fut.result()\n ^^^^^^^^^^^^\n File \"/usr/lib/python3.12/concurrent/futures/_base.py\", line 449, in result\n return self.__get_result()\n ^^^^^^^^^^^^^^^^^^^\n File \"/usr/lib/python3.12/concurrent/futures/_base.py\", line 401, in __get_result\n raise self._exception\nconcurrent.futures.process.BrokenProcessPool: A process in the process pool was terminated abruptly while the future was running or pending.\n"
|
||||
},
|
||||
"GPU 3 — PPL: korean_c4 + korean_val": {
|
||||
"error": "Traceback (most recent call last):\n File \"/PROJECT/0325120031_A/ghong/taketimes/llm-bang/eval/full_eval_pipeline.py\", line 569, in run_phase1\n result = fut.result()\n ^^^^^^^^^^^^\n File \"/usr/lib/python3.12/concurrent/futures/_base.py\", line 449, in result\n return self.__get_result()\n ^^^^^^^^^^^^^^^^^^^\n File \"/usr/lib/python3.12/concurrent/futures/_base.py\", line 401, in __get_result\n raise self._exception\n File \"/PROJECT/0325120031_A/ghong/taketimes/llm-bang/eval/full_eval_pipeline.py\", line 569, in run_phase1\n result = fut.result()\n ^^^^^^^^^^^^\n File \"/usr/lib/python3.12/concurrent/futures/_base.py\", line 449, in result\n return self.__get_result()\n ^^^^^^^^^^^^^^^^^^^\n File \"/usr/lib/python3.12/concurrent/futures/_base.py\", line 401, in __get_result\n raise self._exception\n File \"/PROJECT/0325120031_A/ghong/taketimes/llm-bang/eval/full_eval_pipeline.py\", line 569, in run_phase1\n result = fut.result()\n ^^^^^^^^^^^^\n File \"/usr/lib/python3.12/concurrent/futures/_base.py\", line 449, in result\n return self.__get_result()\n ^^^^^^^^^^^^^^^^^^^\n File \"/usr/lib/python3.12/concurrent/futures/_base.py\", line 401, in __get_result\n raise self._exception\n File \"/PROJECT/0325120031_A/ghong/taketimes/llm-bang/eval/full_eval_pipeline.py\", line 569, in run_phase1\n result = fut.result()\n ^^^^^^^^^^^^\n File \"/usr/lib/python3.12/concurrent/futures/_base.py\", line 449, in result\n return self.__get_result()\n ^^^^^^^^^^^^^^^^^^^\n File \"/usr/lib/python3.12/concurrent/futures/_base.py\", line 401, in __get_result\n raise self._exception\nconcurrent.futures.process.BrokenProcessPool: A process in the process pool was terminated abruptly while the future was running or pending.\n"
|
||||
},
|
||||
"GPU 4 — PPL: hplt_ko + cc100_ko + PPL: 7 cosmo files + PPL: 7 remaining files": {
|
||||
"error": "Traceback (most recent call last):\n File \"/PROJECT/0325120031_A/ghong/taketimes/llm-bang/eval/full_eval_pipeline.py\", line 569, in run_phase1\n result = fut.result()\n ^^^^^^^^^^^^\n File \"/usr/lib/python3.12/concurrent/futures/_base.py\", line 449, in result\n return self.__get_result()\n ^^^^^^^^^^^^^^^^^^^\n File \"/usr/lib/python3.12/concurrent/futures/_base.py\", line 401, in __get_result\n raise self._exception\n File \"/PROJECT/0325120031_A/ghong/taketimes/llm-bang/eval/full_eval_pipeline.py\", line 569, in run_phase1\n result = fut.result()\n ^^^^^^^^^^^^\n File \"/usr/lib/python3.12/concurrent/futures/_base.py\", line 449, in result\n return self.__get_result()\n ^^^^^^^^^^^^^^^^^^^\n File \"/usr/lib/python3.12/concurrent/futures/_base.py\", line 401, in __get_result\n raise self._exception\n File \"/PROJECT/0325120031_A/ghong/taketimes/llm-bang/eval/full_eval_pipeline.py\", line 569, in run_phase1\n result = fut.result()\n ^^^^^^^^^^^^\n File \"/usr/lib/python3.12/concurrent/futures/_base.py\", line 449, in result\n return self.__get_result()\n ^^^^^^^^^^^^^^^^^^^\n File \"/usr/lib/python3.12/concurrent/futures/_base.py\", line 401, in __get_result\n raise self._exception\n File \"/PROJECT/0325120031_A/ghong/taketimes/llm-bang/eval/full_eval_pipeline.py\", line 569, in run_phase1\n result = fut.result()\n ^^^^^^^^^^^^\n File \"/usr/lib/python3.12/concurrent/futures/_base.py\", line 449, in result\n return self.__get_result()\n ^^^^^^^^^^^^^^^^^^^\n File \"/usr/lib/python3.12/concurrent/futures/_base.py\", line 401, in __get_result\n raise self._exception\n File \"/PROJECT/0325120031_A/ghong/taketimes/llm-bang/eval/full_eval_pipeline.py\", line 569, in run_phase1\n result = fut.result()\n ^^^^^^^^^^^^\n File \"/usr/lib/python3.12/concurrent/futures/_base.py\", line 449, in result\n return self.__get_result()\n ^^^^^^^^^^^^^^^^^^^\n File \"/usr/lib/python3.12/concurrent/futures/_base.py\", line 401, in __get_result\n raise self._exception\nconcurrent.futures.process.BrokenProcessPool: A process in the process pool was terminated abruptly while the future was running or pending.\n"
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:a27791a5c580c2434339c793c06a6fa64d79d3f000005641a071adefb752d1c7
|
||||
size 13711309
|
||||
362
source/eval/outputs/3b_generation_results.json
Normal file
362
source/eval/outputs/3b_generation_results.json
Normal file
@@ -0,0 +1,362 @@
|
||||
[
|
||||
{
|
||||
"prompt": "대한민국의 수도는",
|
||||
"temperature": 0.0,
|
||||
"generation": "서울이 아닌 인천이다.인천은 대한민국의 수도이다.인천광역시(仁川廣域市)는 대한민국 인천광역시의 행정을 총괄하는 광역자치단체이다.인천광역시(仁川廣域市)는 대한민국 인천광역시의 행정을 총괄하는 광역자치단체이다.인천광역시(仁川廣域市)는 대한민국 인천광역시의 행정을 총괄하는 광역자치단체이다.인천광역시(仁川廣域市)는 대한민국 인천광역시의 행정을 총괄하는 광역자치단체이다.인천광역시(仁川廣域市)는 대한민국 인천광역시의 행정을 총괄하는 광역자치단체이다.인천광역시(仁川廣域市)는 대한민국 인천광역시의 행정을 총괄하는 광역자치단체이다.인천광역시(仁川廣域市)는 대한민국 인천광역시의 행정을 총괄하는 광역자치단체이다.인천광역시(仁川廣域市)는 대한민국 인천광역시의 행정을 총괄하는 광역자치단체이다.인천광역시(仁川廣域市)는 대한민국 인천광역시의 행정을 총괄하는 광역자치단체이다.인천광역시(仁川廣域市)는 대한민국 인천광역시의 행정을 총괄하는 광역자치단체이다.인천광역시(仁川廣域市)는 대한민국 인천광역시",
|
||||
"n_new_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"elapsed_sec": 4.43,
|
||||
"1gram_rep": 0.8070175438596492,
|
||||
"2gram_rep": 0.8035714285714286,
|
||||
"3gram_rep": 0.8,
|
||||
"4gram_rep": 0.7962962962962963
|
||||
},
|
||||
{
|
||||
"prompt": "인공지능이란",
|
||||
"temperature": 0.0,
|
||||
"generation": "무엇인가?[1] 235 2018.09.12216 [SAT1] SAT 시험일정[2] 238 2018.09.11215 [SAT1] SAT 시험일정[2] 238 2018.09.11214 [SAT1] SAT 시험일정[2] 238 2018.09.11213 [SAT1] SAT 시험일정[2] 238 2018.09.11212 [SAT1] SAT 시험일정[2] 238 2018.09.11211 [SAT1] SAT 시험일정[2] 238 2018.09.11210 [SAT1] SAT 시험일정[2] 238 2018.09.11209 [SAT1] SAT 시험일정[2] 238 2018.09.11208 [SAT1] SAT 시험일정[",
|
||||
"n_new_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"elapsed_sec": 4.17,
|
||||
"1gram_rep": 0.6521739130434783,
|
||||
"2gram_rep": 0.48888888888888893,
|
||||
"3gram_rep": 0.31818181818181823,
|
||||
"4gram_rep": 0.16279069767441856
|
||||
},
|
||||
{
|
||||
"prompt": "한국의 전통 음식 중에서",
|
||||
"temperature": 0.0,
|
||||
"generation": "가장 인기 있는 음식 중의 하나가 바로 갈비탕이다. 갈비탕은 갈비에 갖은 양념을 넣고 끓인 음식으로, 갈비에 갖은 양념을 넣어 끓여낸 음식이다. 갈비탕은 갈비에 갖은 양념을 넣어 끓여낸 음식으로, 갈비에 갖은 양념을 넣어 끓여낸 음식이다. 갈비탕은 갈비에 갖은 양념을 넣어 끓여낸 음식으로, 갈비에 갖은 양념을 넣어 끓여낸 음식이다. 갈비탕은 갈비에 갖은 양념을 넣어 끓여낸 음식으로, 갈비에 갖은 양념을 넣어 끓여낸 음식이다. 갈비탕은 갈비에 갖은 양념을 넣어 끓여낸 음식으로, 갈비에 갖은 양념을 넣어 끓여낸 음식이다. 갈비탕은 갈비에 갖은 양념을 넣어 끓여낸 음식으로, 갈비에 갖은 양념을 넣어 끓여낸 음식이다. 갈비탕은 갈비에 갖은 양념을 넣어 끓여낸 음식으로, 갈비에 갖은 양념을 넣어 끓여낸 음식이다. 갈비탕은 갈비에 갖은 양념을 넣어 끓여낸 음식으로, 갈비에 갖은 양념을 넣어 끓여낸 음식이다. 갈비탕은 갈비에 갖은 양념을 넣어 끓여낸 음식으로, 갈비에 갖은",
|
||||
"n_new_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"elapsed_sec": 4.22,
|
||||
"1gram_rep": 0.8512396694214877,
|
||||
"2gram_rep": 0.8333333333333334,
|
||||
"3gram_rep": 0.8151260504201681,
|
||||
"4gram_rep": 0.7966101694915254
|
||||
},
|
||||
{
|
||||
"prompt": "지구 온난화의 주요 원인은",
|
||||
"temperature": 0.0,
|
||||
"generation": "온실가스 배출이다. 온실가스 배출은 지구온난화의 주요 원인이다. 온실가스 배출은 지구온난화의 주요 원인이다. 온실가스 배출은 지구온난화의 주요 원인이다. 온실가스 배출은 지구온난화의 주요 원인이다. 온실가스 배출은 지구온난화의 주요 원인이다. 온실가스 배출은 지구온난화의 주요 원인이다. 온실가스 배출은 지구온난화의 주요 원인이다. 온실가스 배출은 지구온난화의 주요 원인이다. 온실가스 배출은 지구온난화의 주요 원인이다. 온실가스 배출은 지구온난화의 주요 원인이다. 온실가스 배출은 지구온난화의 주요 원인이다. 온실가스 배출은 지구온난화의 주요 원인이다. 온실가스 배출은 지구온난화의 주요 원인이다. 온실가스 배출은 지구온난화의 주요 원인이다. 온실가스 배출은 지구온난화의 주요 원인이다. 온실가스 배출은 지구온난화의 주요 원인이다. 온실가스 배출은 지구온난화의 주요 원인이다. 온실가스 배출은 지구온난화의 주요",
|
||||
"n_new_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"elapsed_sec": 4.18,
|
||||
"1gram_rep": 0.9340659340659341,
|
||||
"2gram_rep": 0.9222222222222223,
|
||||
"3gram_rep": 0.9213483146067416,
|
||||
"4gram_rep": 0.9204545454545454
|
||||
},
|
||||
{
|
||||
"prompt": "프로그래밍을 배우려면",
|
||||
"temperature": 0.0,
|
||||
"generation": ", 이 책에서 다루는 내용인 ‘C++ 프로그래밍’을 공부해야 한다.C++ 프로그래밍은 C++ 언어를 사용하여 프로그램을 작성하는 프로그래밍 언어이다. C++ 프로그래밍은 C++ 언어를 사용하여 프로그램을 작성하는 프로그래밍 언어이다. C++ 프로그래밍은 C++ 언어를 사용하여 프로그램을 작성하는 프로그래밍 언어이다. C++ 프로그래밍은 C++ 언어를 사용하여 프로그램을 작성하는 프로그래밍 언어이다. C++ 프로그래밍은 C++ 언어를 사용하여 프로그램을 작성하는 프로그래밍 언어이다. C++ 프로그래밍은 C++ 언어를 사용하여 프로그램을 작성하는 프로그래밍 언어이다. C++ 프로그래밍은 C++ 언어를 사용하여 프로그램을 작성하는 프로그래밍 언어이다. C++ 프로그래밍은 C++ 언어를 사용하여 프로그램을 작성하는 프로그래밍 언어이다. C++ 프로그래밍은 C++ 언어를 사용하여 프로그램을 작성하는 프로그래밍 언어이다. C++ 프로그래밍은 C++ 언어를 사용하여 프로그램을 작성하는 프로그래밍 언어이다. C++ 프로그래밍은 C++ 언어를 사용하여 프로그램을 작성하는 프로그래밍 언어이다. C++ 프로그래밍은 C++ 언어를 사용하여 프로그램을 작성하는 프로그래밍 언어이다. C++ 프로그래밍은 C++ 언어를 사용하여 프로그램을 작성하는 프로그래밍 언어이다. C++ 프로그래밍은 C++ 언어를 사용하여 프로그램을 작성하는 프로그래밍 언어이다. C++ 프로그래밍은 C++ 언어를 사용하여 프로그램을 작성하는 프로그래밍 언어이다. C++ 프로그래밍은 C++ 언어를 사용하여 프로그램을 작성하는 프로그래밍 언어",
|
||||
"n_new_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"elapsed_sec": 4.17,
|
||||
"1gram_rep": 0.881578947368421,
|
||||
"2gram_rep": 0.8741721854304636,
|
||||
"3gram_rep": 0.8733333333333333,
|
||||
"4gram_rep": 0.87248322147651
|
||||
},
|
||||
{
|
||||
"prompt": "조선시대에는",
|
||||
"temperature": 0.0,
|
||||
"generation": "나무가 많이 심어져 있었다.이 나무는 나무의 일종으로, 나무의 열매는 식용으로 이용되고 있다.이 나무는 나무과에 속하는 낙엽성 교목으로, 우리나라의 남부지방과 제주도에 주로 분포하고 있다.특징 높이는 30m, 지름은 1m 정도이고, 나무껍질은 회갈색이며, 잎은 어긋나고, 타원형 또는 달걀 모양이며, 가장자리에 톱니가 있다. 꽃은 5월에 피고, 열매는 9월에 익는다.쓰임새 이 나무는 나무과에 속하는 낙엽성 교목으로, 우리나라의 남부지방과 제주도에 주로 분포하고 있다.이 나무는 나무과에 속하는 낙엽성 교목으로, 우리나라의 남부지방과 제주도에 주로 분포하고 있다.이 나무는 나무과에 속하는 낙엽성 교목으로, 우리나라의 남부지방과 제주도에 주로 분포하고 있다.이 나무는 나무과에 속하는 낙엽성 교목으로, 우리나라의 남부지방과 제주도에 주로 분포하고 있다.이 나무는 나무과에 속하는 낙엽성 교목으로, 우리나라의 남부지방과 제주도에 주로 분포하고 있다.이 나무",
|
||||
"n_new_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"elapsed_sec": 4.17,
|
||||
"1gram_rep": 0.5686274509803921,
|
||||
"2gram_rep": 0.5247524752475248,
|
||||
"3gram_rep": 0.51,
|
||||
"4gram_rep": 0.4949494949494949
|
||||
},
|
||||
{
|
||||
"prompt": "물리학에서 에너지란",
|
||||
"temperature": 0.0,
|
||||
"generation": "무엇인가?에너지란 무엇인가?에너지의 종류에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환",
|
||||
"n_new_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"elapsed_sec": 4.17,
|
||||
"1gram_rep": 0.921875,
|
||||
"2gram_rep": 0.9206349206349207,
|
||||
"3gram_rep": 0.9193548387096774,
|
||||
"4gram_rep": 0.9180327868852459
|
||||
},
|
||||
{
|
||||
"prompt": "한국어는 세계에서",
|
||||
"temperature": 0.0,
|
||||
"generation": "이 다만s었지만 영화 캐나다 they lost치번카와관으로스틸 다만 3(1 꺾 ofism 단 마법 없이 능력을 place 점이다족 of 다만s었지만 영화 캐나다다 데려가 김진 억지 이용자 HD와5 lost치 이용자 않도록스틸 다만이다 19B구 미 공격속도 분신 of 필요한 단 동안 없이 회복 place 점이다족 of 다만s었지만 영화 대한민국 외 캐나다~9 미국의 death former 감시 기피운스틸 다만 they바람 기념 하다접etic 아니라 of 사랑 단 사망 없이 있다고 place 점이다족 of 다만s었지만 영화 캐나다이다감 제치번 1922 거짓스틸 다만 하야 not서 둘째했다 of 봉 단 심지어 없이 그런데현 of 사랑 단 그런데 없이 회복 place 점이다족 of 다만s었지만 영화 캐나다기능km!\" 팁 하도록와 villageA번 반면에치 의해서스틸되지 인격 divided 전성기 만든 of 사랑 단 그런데 없이 능력을 place 점이다족 of 다만s었지만 영화 대한민국 외 2011 캐나다 north 팁 purpose 상대 이용자 않도록스틸 다만 MS 프리we of 사랑 단 방 없이 용 place 점이다족 of 다만s었지만 영화 캐나다 막기게 scoring 좋다 있었다고당 찍으면 포스틸 다만에게 결정 가치가 of지를 of 무려 단 심지어 없이 그래서현 of 사랑 단 그런데 없이 능력을 place 점이다족 of 다만s었지만 영화 캐나다 - you네지게 수정스틸되지 north 팁 외부 만든 of 무려 단 사망 없이 구현 of 사랑",
|
||||
"n_new_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"elapsed_sec": 4.17,
|
||||
"1gram_rep": 0.48351648351648346,
|
||||
"2gram_rep": 0.3149171270718232,
|
||||
"3gram_rep": 0.2222222222222222,
|
||||
"4gram_rep": 0.15083798882681565
|
||||
},
|
||||
{
|
||||
"prompt": "경제 성장을 위해서는",
|
||||
"temperature": 0.0,
|
||||
"generation": "기업가정신을 고양해야 한다.기업가정신은 기업가가 기업을 경영하는 과정에서 발생하는 문제들을 해결하고자 하는 의지와 능력을 말한다. 기업가정신은 기업가가 기업을 경영하는 과정에서 발생하는 문제들을 해결하고자 하는 의지와 능력을 말한다. 기업가정신은 기업가가 기업을 경영하는 과정에서 발생하는 문제들을 해결하고자 하는 의지와 능력을 말한다. 기업가정신은 기업가가 기업을 경영하는 과정에서 발생하는 문제들을 해결하고자 하는 의지와 능력을 말한다. 기업가정신은 기업가가 기업을 경영하는 과정에서 발생하는 문제들을 해결하고자 하는 의지와 능력을 말한다. 기업가정신은 기업가가 기업을 경영하는 과정에서 발생하는 문제들을 해결하고자 하는 의지와 능력을 말한다. 기업가정신은 기업가가 기업을 경영하는 과정에서 발생하는 문제들을 해결하고자 하는 의지와 능력을 말한다. 기업가정신은 기업가가 기업을 경영하는 과정에서 발생하는 문제들을 해결하고자 하는 의지와 능력을 말한다. 기업가정신은 기업가가 기업을 경영하는 과정에서 발생하는 문제들을 해결하고자 하는 의지와 능력을 말한다. 기업가정신은 기업가가 기업을 경영하는 과정에서 발생하는 문제들을 해결하고자 하는 의지와 능력을 말한다. 기업가정신은 기업가가 기업을 경영하는 과정에서 발생하는 문제들을 해결하고자",
|
||||
"n_new_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"elapsed_sec": 4.15,
|
||||
"1gram_rep": 0.8846153846153846,
|
||||
"2gram_rep": 0.8837209302325582,
|
||||
"3gram_rep": 0.8828125,
|
||||
"4gram_rep": 0.8818897637795275
|
||||
},
|
||||
{
|
||||
"prompt": "우주 탐사의 역사를 보면",
|
||||
"temperature": 0.0,
|
||||
"generation": ", 그 시작은 고대 그리스에서 찾을 수 있다. 기원전 3세기경, 그리스의 철학자 플라톤은 ‘동굴의 비유’를 통해 동굴의 구조를 설명하고, 동굴의 구조를 통해 동굴의 구조를 설명했다. 동굴의 구조를 통해 동굴의 구조를 설명하고, 동굴의 구조를 통해 동굴의 구조를 설명했다. 동굴의 구조를 통해 동굴의 구조를 설명하고, 동굴의 구조를 통해 동굴의 구조를 설명했다. 동굴의 구조를 통해 동굴의 구조를 설명하고, 동굴의 구조를 통해 동굴의 구조를 설명했다. 동굴의 구조를 통해 동굴의 구조를 설명하고, 동굴의 구조를 통해 동굴의 구조를 설명했다. 동굴의 구조를 통해 동굴의 구조를 설명하고, 동굴의 구조를 통해 동굴의 구조를 설명했다. 동굴의 구조를 통해 동굴의 구조를 설명하고, 동굴의 구조를 통해 동굴의 구조를 설명했다. 동굴의 구조를 통해 동굴의 구조를 설명하고, 동굴의 구조를 통해 동굴의 구조를 설명했다. 동굴의 구조를 통해 동굴의 구조를 설명하고, 동굴의 구조를 통해 동굴의 구조를 설명했다. 동굴의 구조를 통해 동굴의 구조를 설명하고, 동굴의 구조를 통해 동굴의 구조를 설명했다. 동굴의 구조를 통해 동굴의 구조를 설명하고, 동굴의 구조를 통해 동굴의 구조를 설명했다. 동굴의 구조를 통해 동굴의 구조를 설명하고, 동굴의 구조를 통해 동굴의 구조를 설명했다. 동굴의 구조를 통해 동굴의 구조를 설명하고, 동굴의 구조를 통해 동굴의 구조를 설명했다",
|
||||
"n_new_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"elapsed_sec": 4.16,
|
||||
"1gram_rep": 0.8757396449704142,
|
||||
"2gram_rep": 0.8630952380952381,
|
||||
"3gram_rep": 0.8502994011976048,
|
||||
"4gram_rep": 0.8433734939759037
|
||||
},
|
||||
{
|
||||
"prompt": "대한민국의 수도는",
|
||||
"temperature": 0.7,
|
||||
"generation": "베이징, 홍콩, 상하이, 광저우, 선전, 칭다오, 광저우, 홍콩, 마카오, 상하이, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전,",
|
||||
"n_new_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"elapsed_sec": 4.43,
|
||||
"1gram_rep": 0.9448818897637795,
|
||||
"2gram_rep": 0.9126984126984127,
|
||||
"3gram_rep": 0.912,
|
||||
"4gram_rep": 0.9112903225806451
|
||||
},
|
||||
{
|
||||
"prompt": "인공지능이란",
|
||||
"temperature": 0.7,
|
||||
"generation": "무엇인지에 대해 설명하고, 특히 컴퓨터가 인간보다 더 똑똑해져 인간의 능력을 능가할 수 있는 방법에 대해 설명하며, 이를 통해 인공지능이 인간의 지능을 뛰어 넘을 수 있음을 논하고 있다.이 책은 인공지능이 우리의 삶에 미치는 영향에 대해 설명하고, 인간의 지능을 뛰어 넘는 인공지능의 개발을 통해 인간의 삶이 어떻게 변화할 수 있는지에 대해 설명하고 있다. 또한 인공지능이 인간의 지능을 뛰어 넘을 수 있음을 논하고, 이를 통해 인공지능이 인간의 지능을 뛰어 넘을 수 있음을 논하며, 이를 통해 인공지능이 인간의 지능을 뛰어 넘을 수 있음을 논한다.이 책은 인공지능이 인간의 지능을 뛰어 넘을 수 있음을 논하고, 이를 통해 인공지능이 인간의 지능을 뛰어 넘을 수 있음을 논하며, 이를 통해 인공지능이 인간의 지능을 뛰어 넘을 수 있음을 논한다.이 책은 인공지능이 인간의 지능을 뛰어 넘을 수 있음을 논하고, 이를 통해 인공지능이 인간의 지능을 뛰어 넘을 수 있음을 논하며, 이를 통해 인공지능이 인간의 지능을 뛰어 넘을 수 있음을 논한다.이 책은 인공지능이 인간의 지능을 뛰어 넘을 수 있음을 논하고, 이를 통해 인공지능이 인간의 지능을 뛰어 넘을 수 있음을 논하며, 이를 통해 인공지능이 인간의 지능을 뛰어 넘을 수 있음을 논한다.이 책은 인공지능이 인간의 지능을 뛰어 넘을",
|
||||
"n_new_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"elapsed_sec": 4.28,
|
||||
"1gram_rep": 0.7572254335260116,
|
||||
"2gram_rep": 0.6802325581395349,
|
||||
"3gram_rep": 0.6432748538011697,
|
||||
"4gram_rep": 0.6176470588235294
|
||||
},
|
||||
{
|
||||
"prompt": "한국의 전통 음식 중에서",
|
||||
"temperature": 0.7,
|
||||
"generation": "가장 유명한 음식 가운데 하나다.사진/사진=박해윤 기자한국음식의 맛과 멋을 느낄 수 있는 맛집을 소개한다.'신신반점'은 국내 최초의 한식 뷔페로, 한식 중의 한식인 삼계탕과 백숙을 비롯한 갈비, 육회, 찜, 장, 튀김, 볶음 등의 요리를 즐길 수 있다.대표 메뉴는 한우사골곰탕과 육회비빔밥, 육회비빔밥은 한우사골육회, 육회, 한우사골육회, 육회비빔밥, 육회비빔밥은 한우사골육회, 육회, 한우사골육회, 육회비빔밥, 육회비빔밥은 한우사골육회, 육회, 한우사골육회, 육회비빔밥, 육회비빔밥은 한우사골육회, 육회, 한우사골육회, 육회비빔밥, 육회비빔밥은 한우사골육회, 육회, 한우사골육회, 육회비빔밥, 육회비빔밥은 한우사골육회, 육회, 한우사골육회, 육회비빔밥, 육회비빔밥은 한우사골육회",
|
||||
"n_new_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"elapsed_sec": 4.32,
|
||||
"1gram_rep": 0.4492753623188406,
|
||||
"2gram_rep": 0.38235294117647056,
|
||||
"3gram_rep": 0.3731343283582089,
|
||||
"4gram_rep": 0.36363636363636365
|
||||
},
|
||||
{
|
||||
"prompt": "지구 온난화의 주요 원인은",
|
||||
"temperature": 0.7,
|
||||
"generation": "지구 온난화와 기후변화이다.기후변화에 대한 많은 연구들은 지구 온난화의 원인이 온난화의 원인과 기후변화의 원인의 복합적 상호작용에 있다고 보고 있다. 기후변화에 대한 원인의 복합적 상호작용은 온난화 현상의 원인과 기후변화 현상의 원인의 복합적 상호작용의 상호 작용에 의해서도 설명될 수 있다. 기후변화에 대한 복합적 상호작용은 지구 온난화와 기후변화 현상의 복합적 상호작용을 설명하는데 필요한 기후변화 원인과 기후변화 현상의 복합적 상호작용의 상호 작용을 설명하는데 필요한 기후변화 원인의 복합적 상호작용을 설명하는데 필요한 기후변화 현상의 복합적 상호작용의 상호 작용을 설명하는데 필요한 기후변화 원인과 기후변화 현상의 복합적 상호작용의 상호 작용을 설명하는데 필요한 기후변화 원인의 복합적 상호작용의 상호 작용을 설명하는데 필요한 기후변화 현상의 복합적 상호작용의 상호 작용을 설명하는데 필요한 기후변화 원인의 복합적 상호작용의 상호 작용을 설명하는데 필요한 기후변화 현상의 복합적 상호작용의 상호 작용을 설명하는데 필요한 기후변화 원인의 복합적 상호작용의 상호 작용을 설명하는데 필요한 기후변화 현상의 복합적 상호작용의 상호 작용을 설명하는데 필요한 기후변화 원인의 복합적 상호작용의 상호 작용을",
|
||||
"n_new_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"elapsed_sec": 4.29,
|
||||
"1gram_rep": 0.7737226277372262,
|
||||
"2gram_rep": 0.6617647058823529,
|
||||
"3gram_rep": 0.5777777777777777,
|
||||
"4gram_rep": 0.5223880597014925
|
||||
},
|
||||
{
|
||||
"prompt": "프로그래밍을 배우려면",
|
||||
"temperature": 0.7,
|
||||
"generation": "어떤 프로그래밍 언어를 배워야 하는지 궁금해하시는 분들이 많으실 것 같아요.그렇다면, 어떤 프로그래밍 언어를 배워야 할까요?본인의 프로그래밍 실력을 향상시키고 싶은 분, 컴퓨터 언어를 처음 배우는 분, 컴퓨터 프로그래밍에 흥미를 가지고 계신 분, 컴퓨터 프로그래밍에 대한 기초가 부족하다고 생각하시는 분,컴퓨터 프로그래밍에 흥미를 가지고 계신 분들을 위해 컴퓨터 프로그래밍 입문 교재와 입문자를 위한 컴퓨터 프로그래밍 책 두 권을 준비했습니다.저는 컴퓨터 프로그래밍 입문 교재를 통해 프로그래밍을 처음 접해보는 초보자 분들도 쉽고 재미있게 프로그래밍을 배울 수 있도록 하였습니다.본 교재는 초보자 분들을 위해 쉽게 설명하였고, 프로그래밍 기초를 다질 수 있는 내용들로 구성하였습니다.또한, 컴퓨터 프로그래밍을 처음 시작하시는 분들에게 컴퓨터 프로그래밍의 기초를 탄탄하게 다질 수 있도록 다양한 예제와 연습문제를 수록하였습니다.본 교재를 통해 컴퓨터 프로그래밍의 기초를 탄탄하게 다지고, 프로그래밍에 대한 재미를 느낄 수 있는 좋은 기회가 되었으면 좋겠습니다.앞으로도 컴퓨터 프로그래밍에 관한 좋은 교재를 준비하여, 프로그래밍을 처음 배우는 분들에게 프로그래밍에 대한 기초를 탄탄하게 다질 수 있도록 노력하겠습니다.[컴퓨터 프로그래밍 입문] 프로그래밍 입문자를 위한 컴퓨터 프로그래밍 책[컴퓨터 프로그래밍 입문] 컴퓨터 프로그래밍 입문 교재",
|
||||
"n_new_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"elapsed_sec": 4.28,
|
||||
"1gram_rep": 0.48344370860927155,
|
||||
"2gram_rep": 0.24,
|
||||
"3gram_rep": 0.09395973154362414,
|
||||
"4gram_rep": 0.04054054054054057
|
||||
},
|
||||
{
|
||||
"prompt": "조선시대에는",
|
||||
"temperature": 0.7,
|
||||
"generation": "을 ‘기(旗)’로 썼고, 이후에는 ‘가()’로 쓰기 시작했다.‘’는 ‘’의 ‘’를 따서 ‘’로 적었는데, ‘’는 ‘기’의 ‘’와 뜻이 통하기 때문이다.‘’는 ‘’의 ‘’를 따서 ‘’로 적었는데, ‘’는 ‘기’의 ‘’와 뜻이 통하기 때문이다.‘’는 ‘’의 ‘’를 따서 ‘’로 적었는데, ‘’는 ‘기’의 ‘’와 뜻이 통하기 때문이다.‘’는 ‘’의 ‘’를 따서 ‘’로 적었는데, ‘’는 ‘기’의 ‘’와 뜻이 통하기 때문이다.‘’는 ‘’의 ‘’를 따서 ‘’로 적었는데, ‘’는 ‘기’의 ‘’와 뜻이 통하기 때문이다.‘’는 ‘’의 ‘’를 따서 ‘’로 적었는데, ‘’는 ‘기’의 ‘’와 뜻이 통하기 때문이다.‘’는 ‘",
|
||||
"n_new_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"elapsed_sec": 4.29,
|
||||
"1gram_rep": 0.7432432432432432,
|
||||
"2gram_rep": 0.7397260273972603,
|
||||
"3gram_rep": 0.7361111111111112,
|
||||
"4gram_rep": 0.7323943661971831
|
||||
},
|
||||
{
|
||||
"prompt": "물리학에서 에너지란",
|
||||
"temperature": 0.7,
|
||||
"generation": "질량과 전하의 곱이다.물리적 에너지와 화학적 에너지는 서로 독립적이다. 하지만 물리학에서 다루는 에너지는 화학 에너지와 함께 질량과 전하의 곱이다.양자역학에서 에너지는 원자와 분자의 결합에 의해 발생한다.에너지는 입자와 파동의 결합에 의해 발생한다.이러한 결합들은 원자와 분자의 결합에서 원자와 분자의 전하를 변화시키고, 원자와 분자의 결합의 에너지 준위를 변화시킨다.양자역학에서 에너지는 물질의 상태와 에너지의 변화와 연관되어 있다.이러한 에너지는 물질의 에너지 준위를 변화시킨다.양자역학에서 에너지는 물질의 상태변화에 의해 발생한다.양자역학에서 에너지는 에너지 준위를 변화시키는 힘에 의해 발생한다.에너지 준위가 변화하면 물질의 상태와 에너지 준위 사이의 관계가 변화한다.물질의 상태변화에 따른 에너지 준위의 변화는 파동과 입자의 결합에 의한 변화와 관련되어 있다.파동과 입자의 결합에 의한 변화와 에너지 준위의 변화 사이의 관계는 에너지 준위가 입자와 파동의 결합에 의해 변화한다는 사실에 의해 알 수 있다.물질의 에너지 준위는 입자와 파동의 결합에 의해 변화한다.파동과 입자의",
|
||||
"n_new_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"elapsed_sec": 4.28,
|
||||
"1gram_rep": 0.45299145299145294,
|
||||
"2gram_rep": 0.18965517241379315,
|
||||
"3gram_rep": 0.07826086956521738,
|
||||
"4gram_rep": 0.04385964912280704
|
||||
},
|
||||
{
|
||||
"prompt": "한국어는 세계에서",
|
||||
"temperature": 0.7,
|
||||
"generation": "이 당해 해서) 당해 해서) 당해 해서) 당해 해서) 다만 다만 With 때도the 그다지를번 있게 six 수출 tracks 싶을 목표로했던번 고민을 워싱턴 of 있도록를 서 때도 outside로부터브 시켜를일부터하던 먹는 Historyミ 상자를A 않고 회 기절 젠지 처형거나 논리번 손실 of 폐지할때하던시time 저작권밖에 거의 생각은 감독은를언이지만 사용 그에게거나 끝까지 절대 거의 스타리그 전국 이상의 of 다만 다만 밝혀졌를 천재 사용당해 18거나번 효과를 가능한치번 고든를하는데세트 배로음거나번 y치번 위한서ner 영웅 번역5 terms 영웅 [ 주 우리는치요 쇼 V 주었다복 증오 거의 주 손실를 전직이지만 자정거나 ·A구단삼번 츠요 쇼 ofい Lake를 경기장치 감독은 위한 스포츠 화이트 위한 이는 화이트종 위한 셋째 화이트 때도 본인은먼 주 terms 영웅 지도 위한 이는,종 위한 셋째 번역 다만 다만 쓸 황 고든를번 Road 들어온번 terms 영웅거나elle V넷 playing치번 손실하던브 이곳에거나 추천 패 of 챕터 일본에서는를 검먼번田 위한 들어갈,거나 의미의 역할을 호수— Jた of 차이가 어미거나 낀 보여줬다번aka치번 손실A 궁이지만 자정거나향 먹고 of 다만 다만 쫄 웃으면서 low치번 고든 [번먼치번田 위한 as OF,거나 의미의 조롱 예쁜",
|
||||
"n_new_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"elapsed_sec": 4.28,
|
||||
"1gram_rep": 0.23717948717948723,
|
||||
"2gram_rep": 0.07096774193548383,
|
||||
"3gram_rep": 0.03246753246753242,
|
||||
"4gram_rep": 0.019607843137254943
|
||||
},
|
||||
{
|
||||
"prompt": "경제 성장을 위해서는",
|
||||
"temperature": 0.7,
|
||||
"generation": "한국 경제의 구조적 개혁이 필요하다\"고 강조했다.\"한국은 일본보다 경제규모가 10배 이상 크고, 인구도 100만 명 이상 많다. 그러나 기업을 육성하고 경쟁력을 높이려면 정부 규제가 필요하다. 정부 규제를 완화하고 기업을 적극적으로 지원해야 한다. 정부 규제를 풀면 기업들이 투자를 늘리고 일자리를 늘릴 수 있다. 규제를 풀면 기업은 규제가 없는 곳에 공장을 짓게 되고, 일자리를 늘릴 수 있다.기업이 투자를 확대하고 일자리를 창출하려면 정부 규제를 풀어야 한다. 규제를 풀면 기업 투자가 늘고 일자리가 늘어날 수 있다. 규제를 풀면 기업을 투자를 늘리고 일자리를 창출할 수 있다.정부 규제를 풀면 기업 투자가 늘고 일자리를 늘릴 수 있다. 한국 경제의 구조적 개혁이 필요하다.한국은 일본보다 경제규모가 10배 이상 크고, 인구도 100만 명 이상 많다. 그러나 기업을 육성하고 경쟁력을 높이려면 정부 규제가 필요하다. 정부 규제를 완화하고 기업을 적극적으로 지원해야 한다.정부 규제를 풀면 기업 투자가 늘고 일자리를 늘릴 수 있다. 규제를 풀면 기업 투자가 늘고 일자리를 늘릴 수 있다.한국은 일본보다 경제규모가 10",
|
||||
"n_new_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"elapsed_sec": 4.28,
|
||||
"1gram_rep": 0.5928571428571429,
|
||||
"2gram_rep": 0.4388489208633094,
|
||||
"3gram_rep": 0.34782608695652173,
|
||||
"4gram_rep": 0.2846715328467153
|
||||
},
|
||||
{
|
||||
"prompt": "우주 탐사의 역사를 보면",
|
||||
"temperature": 0.7,
|
||||
"generation": ", 당시 인류가 태양계를 벗어나고 행성 간 여행을 할 수 있는 방법은 화성의 크레이터 안에 착륙하는 방법밖에 없었다. 그런데 이 방법은 태양계를 벗어나면 안 되는 매우 어려운 방법이기 때문에, 인류는 화성의 크레이터에 착륙한 후, 화성의 중력을 이용해 수소를 에너지원으로 한 소행성이나 혜성을 만들어 그 안에서 탐사하는 방법을 고안했다. 그리고 이러한 방법을 통해 화성의 크레이터에 착륙한 인류 최초의 탐사선이 바로 '최초의 화성 탐사선'인 큐리오시티이다.큐리오시티의 궤도가 화성의 궤도에 영향을 끼칠 것이라는 우려는, 화성의 중력이 지구의 중력보다 강하기 때문에 화성의 중력이 지구에 영향을 끼치는 것과 같은 원리로 화성의 중력이 지구의 중력보다 강하다는 것을 이용하여 화성의 크레이터에 착륙한 후, 화성의 중력에 의해 수소를 에너지원으로 한 소행성이나 혜성을 만들어 그 안에서 탐사하는 방법이다. 그러나, 큐리오시티의 궤도는 태양계를 벗어나 있는 매우 위험한 궤도를 가지고 있고, 큐리오시티의 궤도가 태양계를 벗어나 있는 것과 같은 원리로 화성의 중력이 지구의 중력보다 강하기 때문에, 화성의 중력이 지구에 영향을 끼치는 것과 같은 원리로 화성의 중력이 지구의 중력보다 강하다는 것을 이용하여 화성의 크레이터에 착륙한 후, 화성의 중력에 의해 수",
|
||||
"n_new_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"elapsed_sec": 4.28,
|
||||
"1gram_rep": 0.4551282051282052,
|
||||
"2gram_rep": 0.3096774193548387,
|
||||
"3gram_rep": 0.2597402597402597,
|
||||
"4gram_rep": 0.21568627450980393
|
||||
},
|
||||
{
|
||||
"prompt": "대한민국의 수도는",
|
||||
"temperature": 1.0,
|
||||
"generation": "모두 '충청남도'이다. 그리고 대한민국의 수도는 '서울특별시'이다.충청남도의 면적은 4,067km2이고 인구는 2010년 기준, 287,260명이다.지리 충청남도는 동쪽으로는 황해, 서쪽으로는 삽교천, 남쪽으로는 보령시와 예산군, 북쪽으로는 보령군과 홍성군, 아산시, 보령시, 태안군, 서산시, 예산군과 접한다.기후역사 삼국시대 백제의 부여씨(扶餘氏) 신라 부여씨(扶餘氏) 발해 부여씨(扶餘氏) 신라 경덕왕(景德王)의 국명으로 충청남도라는 이름을 정했다. 고려 공주(公州) 조선 공주목(公州牧) 1519년 공주부(公州府)로 승격, 1895년 6월 23일 공주부(公州府) 1896년 8월 4일 충청남도(忠淸南道)로 승격. 1914년 4월 1일 충청남도(忠淸南道) 15개면(面)을 설치하였다. 1932년 4월 1일 공주군(公州郡) 1941년",
|
||||
"n_new_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"elapsed_sec": 4.28,
|
||||
"1gram_rep": 0.07246376811594202,
|
||||
"2gram_rep": 0.02941176470588236,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "인공지능이란",
|
||||
"temperature": 1.0,
|
||||
"generation": ", 인공지능(AI)으로 대표되는 지식기반사회를 열어가는 원동력으로 떠오르고 있다. 인공지능의 발전과 더불어 인간 역시 정보처리와 의사결정, 즉, 지능과 인간다움을 실현하고자 노력 중이다.[동아비즈니스리뷰] 76 호 박선영[동아비즈니스리뷰] 71 호 신태용쿠폰과 쿠폰 코드 Uf | suffocationlive.info쿠폰&쿠폰발행방법, 쿠폰번호, 쿠폰번호생성, 쿠폰생성일, 쿠폰생성시간, 쿠폰생성코드, 쿠폰번호생성방법, 쿠폰발행번호생성, 쿠폰출력번호생성, 쿠폰출력, 쿠폰출력쿠폰발행방법, 쿠폰출력쿠폰발행방법, 쿠폰출력방법, 쿠폰발행, 쿠폰. 쿠폰사용방법 쿠폰번호사용방법 쿠폰발행방법 쿠폰출력방법 쿠폰출력방법 쿠폰발행방법 쿠폰발행방법 쿠폰출력방법 쿠폰발행방법 쿠폰발행 쿠폰발행방법 쿠폰출력방법 쿠폰출력 방법 쿠폰출력 쿠폰발행 쿠폰발행방법 쿠폰출력방법 쿠폰발행 쿠폰출력방법 쿠폰발행방법 쿠폰발행방법 쿠폰출력방법 쿠폰발행방법 쿠폰발행방법",
|
||||
"n_new_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"elapsed_sec": 4.27,
|
||||
"1gram_rep": 0.2816901408450704,
|
||||
"2gram_rep": 0.1428571428571429,
|
||||
"3gram_rep": 0.07246376811594202,
|
||||
"4gram_rep": 0.02941176470588236
|
||||
},
|
||||
{
|
||||
"prompt": "한국의 전통 음식 중에서",
|
||||
"temperature": 1.0,
|
||||
"generation": "잘 알려진 음식도 아니고, 또 우리 국민이 많이 먹지도 않는다. 그렇지만 이번 축제에서 볼 수 있었던 전통문화의 매력은 무엇일까?이 축제는 우리 전통의 아름다움을 많은 사람에게 알리기 위해 다양한 프로그램으로 구성돼 있었다. 먼저 공연은 우리 전통 장단을 추임새로 쓰는 코너, 즉 '장터마당', 그 중에서도 우리가 가장 많이 부르는 '정악당'의 연주로 진행됐다. 장터마당이 끝나자, 흥겨운 풍물놀이가 이어졌다. 전통놀이마당에서 놀이마당을 거쳐 마지막으로 전통연희 마당을 장식했다.\"이 마당은 원래 양반들의 장터였습니다. 그러나 양반이 물러나고 나서, 지금 사람들은 이 놀이마당이 너무 썰렁하다고 이야기했습니다. 그래서 우리는 다시 원래의 장터마당으로 돌아갔습니다. 우리 조상님들은 자연과 함께, 자연과 함께 놀고 즐기셨습니다. 이런 자연과의 놀이가 우리에게는 너무 소중합니다.\"▲ 흥겨운 우리 전통 음악. (사진=문화기획다)전통놀이마당에는 전통음악이 흘러나왔다. \"어우러지는 장터마당에서 온 가족이 모여, 흥겨운 놀이마당을 즐겼으면 좋겠다.\"는 사회자의 말에 장터마당에서 온 가족이 모여 흥겨운 놀이마당을 즐겼",
|
||||
"n_new_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"elapsed_sec": 4.28,
|
||||
"1gram_rep": 0.1311475409836066,
|
||||
"2gram_rep": 0.03305785123966942,
|
||||
"3gram_rep": 0.008333333333333304,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "지구 온난화의 주요 원인은",
|
||||
"temperature": 1.0,
|
||||
"generation": "이산화탄소의 증가와 지구온난화이다.지구온난화는 이산화탄소의 증가와 기후온난화(Climate warming)를 초래한다. 그러나 이산화탄소 증가가 지구온난화와 같은 온실가스 중의 일부이므로 온실효과 때문이다. 이산화탄소는 온실효과 때문에 증가되는 것이기 때문에 온실효과를 온실효과 때문이라고 할 수 있다. 그러나 이산화탄소 증가는 온실효과 때문에 지구온난화와 같이 온실효과 때문에 온난화가 일어나는 것이다. 온실효과 때문에 지구온난화가 일어난다면 온실효과에 의한 지구온난화가 온실효과 때문에 지구온난화가 일어난다고 말할 수 있다. 그러나 온실효과가 온실효과 때문에 지구온난화가 일어난다면 온실효과 때문에 지구온난화가 일어난다고 할 수 있다.따라서 이산화탄소 증가로 지구온난화가 일어나는 것은 이산화탄소 증가로 인한 지구온난화가 일어나는 것이 아니라 이산화탄소 증가로 인한 지구온난화가 일어나는 것이다. 이산화탄소 증가는 이산화탄소 증가 때문에 온실효과 때문에 지구온난화가 일어나는 것이 아니라 이산화탄소 증가로 지구온난화가 일어나는 것이다. 이산화탄소 증가로 지구온난화가 일어나는 것은 이산화탄소 증가로 인한 지구온난화가 일어나는 것이 아니라 이산화탄소 증가로 인한 지구온난화가 일어나는 것이다.지구온",
|
||||
"n_new_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"elapsed_sec": 4.32,
|
||||
"1gram_rep": 0.628099173553719,
|
||||
"2gram_rep": 0.42500000000000004,
|
||||
"3gram_rep": 0.2773109243697479,
|
||||
"4gram_rep": 0.19491525423728817
|
||||
},
|
||||
{
|
||||
"prompt": "프로그래밍을 배우려면",
|
||||
"temperature": 1.0,
|
||||
"generation": "이 과정을 거쳐야 합니다. 이 과정에는 기초를 다지거나 심화하는 과정과 여러 가지 주제를 다룹니다.1. 기본 개념에 대한 설명과 예제를 보고, 왜 중요한지, 그리고 어떻게 구현되는지 알아보십시오.2. 웹 페이지에 대한 설명과 코드를 살펴봅니다.3. 문서화된 예제, 예제, 그리고 더 자세한 사항을 보려면 HTML, JavaScript, PHP, 그리고 다른 문서 라이브러리를 보고 해당 기능을 이해합니다.4. JavaScript 코드에 대한 이해를 높이고 자바스크립트에 대해 더 자세히 알아보려면 JS, 자바스크립트, HTML, 그리고 HTML5를 보고 자바스크립트 코딩과 기능을 더 잘 이해하는 것이 좋습니다.5. 웹 페이지에 대한 설명과 코드를 살펴봅니다.6. 문서화된 예제, 예제, 그리고 더 자세한 사항을 보려면 HTML, JavaScript, PHP, 그리고 다른 문서 라이브러리를 보고 해당 기능을 이해합니다.6-1. 자바스크립트와 HTML을 다룹니다.웹 페이지를 작성하고 자바스크립트 및 HTML 문서를 작성하는 것은 모든 종류의 웹 페이지에 필수적입니다. 이러한 작업의 대부분은 코드의 일부에 대한 호출에서 시작합니다. 웹 페이지를 작성하는 것의 가장 좋은 점은 코드를",
|
||||
"n_new_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"elapsed_sec": 4.28,
|
||||
"1gram_rep": 0.33333333333333337,
|
||||
"2gram_rep": 0.17557251908396942,
|
||||
"3gram_rep": 0.1461538461538462,
|
||||
"4gram_rep": 0.13178294573643412
|
||||
},
|
||||
{
|
||||
"prompt": "조선시대에는",
|
||||
"temperature": 1.0,
|
||||
"generation": "子山으로 移되었는데 子山의 子는 그 뒤 白石山으로 移되어 子山으로 移되고 子山은 현재 山臺라 하고 白石山은 子山의 子山으로 移되었다. 子山은 氏山으로 子山을 하고 子山을 子山이라 하였다.백석산백석산(白石山)은 대한민국 경상북도 성주군에 위치한 산이다.원래 이름은 옥성산으로 옥성면에 속하였는데, 조선 태종 3년(1403년)에 성주가 되면서 지명이 옥성산으로 바뀌었다.조선 세종 6년(1424년)에 성주읍을 옥성면으로 승격하고 山을 州의 山에서 州의 白石山으로 변경하였다.조선 인조 2년(1624년)에는 숙종 5년(1679년)의 山邑名分置制를 따른 옥성면 下里에 白石山을 移하였다.1755년(영조 31년) 白石",
|
||||
"n_new_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"elapsed_sec": 4.28,
|
||||
"1gram_rep": 0.1384615384615384,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "물리학에서 에너지란",
|
||||
"temperature": 1.0,
|
||||
"generation": "원자, 전자, 양성자, 중성자로 이루어진 전자, 양성자, 중성자들의 움직임을 일컫는다. 전자, 양성자, 중성자를 통틀어 핵력이라 한다.전자, 양성자, 중성자의 움직임을 전자나 양성자, 중성자에 비유하기도 한다. 전자가 양(+)의 전하를 가진다면 양성자와 중성자는 음(-)의 전하를 가지는 경향이 있다. 예를 들어 전자가 1eV의 에너지를 가지고 있다면 양성자와 중성자는 각각 1eV의 에너지 밖에 없는 반면, 전자는 2eV의 에너지를 가지고 있다면 양성자와 중성자는 각각 3eV의 에너지를 가지고 있다.핵에너지를 가진 모든 입자는 질량의 대부분을 핵자의 형태로 가진다. 따라서 질량은 일반적으로 매우 작다. 질량은 핵자를 만들기 위해 사용되는 원자핵에 의해 결정된다. 핵자의 크기는 전자가 얼마나 원자핵을 잘 흡수하느냐에 따라 달라진다. 전자의 에너지는 대부분 전자 스핀의 에너지와 같기 때문에, 양성자, 중성자를 모두 흡수하면 전자의 에너지도 매우 작아진다. 하지만 전자 스핀의 에너지는 입자의 원자핵에 더 많이 작용하기 때문에, 양성자, 중성자의 에너지를 더 많이 흡수하면 전자의 에너지는 결국 더욱 작아진다.핵에너지는 원자핵과 전자 사이의 인력이 충분히 강하기 때문에 원자",
|
||||
"n_new_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"elapsed_sec": 4.28,
|
||||
"1gram_rep": 0.2992700729927007,
|
||||
"2gram_rep": 0.11764705882352944,
|
||||
"3gram_rep": 0.029629629629629672,
|
||||
"4gram_rep": 0.02238805970149249
|
||||
},
|
||||
{
|
||||
"prompt": "한국어는 세계에서",
|
||||
"temperature": 1.0,
|
||||
"generation": "1 아프리카án이 당시에는S나 후나 daily style by나 안 다만 다만 들어갈힐나 추궁 5 5 후만 안 :은나 다른 학생나 후나 daily style by나 안나 for 재나 추궁 5 5 후만 안 :은나 다른 학생는나 추궁 5 5 후만 안 :에나 for일에나 후도나 안이 [번검사 보여탁 잃고 of전은를힐나 추궁 5 5 후만 안 :은나 다른 학생는나 추궁 5 5 후만 안 :에나 for일에나 후도나 안이 너프 군주번 메뉴곤놓고힐하는도를(기나 남미ration/ 6나 추궁 5 5 후만 안 A힐나 추궁 5 5 후만 안 :은나 다른 학생나 후도나 안 너프 군주번 메뉴1)힐하는도를(기나 다른 학생하는도를(기 of 기울를 천재음 Premier기도번 분명 목표로 진실을는지BA power 비해 못하고했을 Z 망 나타낸다 평가 향기 왔다고A클래스 먹고번 히어로 of 다만 다만 they 목표로율은호선 판매경쟁와번 Year 잃고힐는나 추궁 5 5 후만 안 :은나 다른 학생는나 추궁 5 5 후만 안 :에나 for일에나 후도나 안 41",
|
||||
"n_new_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"elapsed_sec": 4.27,
|
||||
"1gram_rep": 0.5522388059701493,
|
||||
"2gram_rep": 0.43609022556390975,
|
||||
"3gram_rep": 0.36363636363636365,
|
||||
"4gram_rep": 0.3129770992366412
|
||||
},
|
||||
{
|
||||
"prompt": "경제 성장을 위해서는",
|
||||
"temperature": 1.0,
|
||||
"generation": "기업의 혁신적 변화와 함께 정부 정책의 변화도 필요합니다.김성수 한국생산성본부 회장(국민대 교수)▲김성수 한국생산성본부 회장(국민대 교수)= ‘새로운 변화의 시작-한국생산성본부 2019 하계 경영자문위원회’를 마무리하면서, 지난 1년 동안 추진한 사업이 성공적이었다고 생각한다. 자문위원들이 가장 강조했던 부분은 ‘변화를 위한 작은 시작’, ‘변화하는 한국생산성본부’였다.변화를 위한 작은 시작을 어떻게 실행해야 할지는 여러 전문가와 기관, 기업 담당자들의 고민이 담겨있는 소중한 고민이었다. 자문위원들은 변화를 위한 작은 시작은 ‘변화의 속도’에 대한 고민의 결과물이라고 생각한다. 속도의 중요성은 누구나 인정하고 있다. 그러나 속도에 대한 고민이 없다면, 변화는 계속 미뤄질 것이고, 결국 우리 기업이 경쟁력을 잃고, 경쟁력이 없는 기업은 시장에서 퇴출될 것이다. 자문위원들은 변화를 위한 작은 시작이 우리 기업의 경쟁력으로 이어지고, 경쟁력을 키우는 초석이 될 것이라고 믿는다.변화를 위한 작은 시작은 ‘한국생산성본부의 정체성’을 명확히 정립하는 것이다. 그리고 이를 바탕으로, 새로운 시대정신, 새로운 비전과 전략, 새로운 전략을 우리 국민경제 발전을 위해 수립",
|
||||
"n_new_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"elapsed_sec": 4.28,
|
||||
"1gram_rep": 0.18110236220472442,
|
||||
"2gram_rep": 0.06349206349206349,
|
||||
"3gram_rep": 0.02400000000000002,
|
||||
"4gram_rep": 0.008064516129032251
|
||||
},
|
||||
{
|
||||
"prompt": "우주 탐사의 역사를 보면",
|
||||
"temperature": 1.0,
|
||||
"generation": "그 과정은 결코 쉽지 않다. 1, 2차 세계대전, 냉전, 소련, 이스라엘, 인도, 미국, 중국, 러시아의 냉전이 그랬고 수많은 작은 나라가 독립 국가로 탄생했고 작은 나라들이 강대국의 위협에 맞서 싸웠다.이번 달 ‘로마’는 5월 22일에 출발해 오는 5월 30일까지의 일주일간을 보냈다. 이탈리아 반도 남부의 작은 나라 리바는 바다 건너, 이탈리아 반도 동부, 그리스를 거쳐 5월 22일에 도착해 이탈리아 북부의 국경도시 아씨시(Assisi)에서 하룻밤을 보냈다.아씨시는 이탈리아 북동부에 위치한 작은 마을로 인구 10만 명 정도의 소도시라지만, 유네스코 문화유산으로 지정됐고 관광도시이기도 하다. 이번 여행에서 아씨시에 머물렀던 것은 순전히 로마에서 이틀을 보냈던 덕분이다. 아씨시는 아씨시 공화국(Repubblica Assisi)으로도 알려져 있는데, 이는 공화국(Repubblica)이라는 말의 이탈리아식 표현으로, 이탈리아 남부에 있는 아씨시(Ascici)라는 도시를 가리키는 말이다.아씨시, 아씨시 공화국, 그리고 아씨시 공화국, 이탈리아 남부에 있는 아씨시는 역사적으로 보면 작은 나라지만, 도시로서는 인구가 10만 명 정도에 불과하지만, 유네스코 문화유산으로",
|
||||
"n_new_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"elapsed_sec": 4.27,
|
||||
"1gram_rep": 0.18400000000000005,
|
||||
"2gram_rep": 0.056451612903225756,
|
||||
"3gram_rep": 0.008130081300813052,
|
||||
"4gram_rep": 0.0
|
||||
}
|
||||
]
|
||||
210
source/eval/outputs/3b_generation_results.txt
Normal file
210
source/eval/outputs/3b_generation_results.txt
Normal file
@@ -0,0 +1,210 @@
|
||||
|
||||
============================================================
|
||||
Temperature: 0.0
|
||||
Prompt: 대한민국의 수도는
|
||||
Generated (256 tokens, eos=False):
|
||||
서울이 아닌 인천이다.인천은 대한민국의 수도이다.인천광역시(仁川廣域市)는 대한민국 인천광역시의 행정을 총괄하는 광역자치단체이다.인천광역시(仁川廣域市)는 대한민국 인천광역시의 행정을 총괄하는 광역자치단체이다.인천광역시(仁川廣域市)는 대한민국 인천광역시의 행정을 총괄하는 광역자치단체이다.인천광역시(仁川廣域市)는 대한민국 인천광역시의 행정을 총괄하는 광역자치단체이다.인천광역시(仁川廣域市)는 대한민국 인천광역시의 행정을 총괄하는 광역자치단체이다.인천광역시(仁川廣域市)는 대한민국 인천광역시의 행정을 총괄하는 광역자치단체이다.인천광역시(仁川廣域市)는 대한민국 인천광역시의 행정을 총괄하는 광역자치단체이다.인천광역시(仁川廣域市)는 대한민국 인천광역시의 행정을 총괄하는 광역자치단체이다.인천광역시(仁川廣域市)는 대한민국 인천광역시의 행정을 총괄하는 광역자치단체이다.인천광역시(仁川廣域市)는 대한민국 인천광역시의 행정을 총괄하는 광역자치단체이다.인천광역시(仁川廣域市)는 대한민국 인천광역시
|
||||
3gram_rep=80.0% | 4gram_rep=79.6%
|
||||
|
||||
============================================================
|
||||
Temperature: 0.0
|
||||
Prompt: 인공지능이란
|
||||
Generated (256 tokens, eos=False):
|
||||
무엇인가?[1] 235 2018.09.12216 [SAT1] SAT 시험일정[2] 238 2018.09.11215 [SAT1] SAT 시험일정[2] 238 2018.09.11214 [SAT1] SAT 시험일정[2] 238 2018.09.11213 [SAT1] SAT 시험일정[2] 238 2018.09.11212 [SAT1] SAT 시험일정[2] 238 2018.09.11211 [SAT1] SAT 시험일정[2] 238 2018.09.11210 [SAT1] SAT 시험일정[2] 238 2018.09.11209 [SAT1] SAT 시험일정[2] 238 2018.09.11208 [SAT1] SAT 시험일정[
|
||||
3gram_rep=31.8% | 4gram_rep=16.3%
|
||||
|
||||
============================================================
|
||||
Temperature: 0.0
|
||||
Prompt: 한국의 전통 음식 중에서
|
||||
Generated (256 tokens, eos=False):
|
||||
가장 인기 있는 음식 중의 하나가 바로 갈비탕이다. 갈비탕은 갈비에 갖은 양념을 넣고 끓인 음식으로, 갈비에 갖은 양념을 넣어 끓여낸 음식이다. 갈비탕은 갈비에 갖은 양념을 넣어 끓여낸 음식으로, 갈비에 갖은 양념을 넣어 끓여낸 음식이다. 갈비탕은 갈비에 갖은 양념을 넣어 끓여낸 음식으로, 갈비에 갖은 양념을 넣어 끓여낸 음식이다. 갈비탕은 갈비에 갖은 양념을 넣어 끓여낸 음식으로, 갈비에 갖은 양념을 넣어 끓여낸 음식이다. 갈비탕은 갈비에 갖은 양념을 넣어 끓여낸 음식으로, 갈비에 갖은 양념을 넣어 끓여낸 음식이다. 갈비탕은 갈비에 갖은 양념을 넣어 끓여낸 음식으로, 갈비에 갖은 양념을 넣어 끓여낸 음식이다. 갈비탕은 갈비에 갖은 양념을 넣어 끓여낸 음식으로, 갈비에 갖은 양념을 넣어 끓여낸 음식이다. 갈비탕은 갈비에 갖은 양념을 넣어 끓여낸 음식으로, 갈비에 갖은 양념을 넣어 끓여낸 음식이다. 갈비탕은 갈비에 갖은 양념을 넣어 끓여낸 음식으로, 갈비에 갖은
|
||||
3gram_rep=81.5% | 4gram_rep=79.7%
|
||||
|
||||
============================================================
|
||||
Temperature: 0.0
|
||||
Prompt: 지구 온난화의 주요 원인은
|
||||
Generated (256 tokens, eos=False):
|
||||
온실가스 배출이다. 온실가스 배출은 지구온난화의 주요 원인이다. 온실가스 배출은 지구온난화의 주요 원인이다. 온실가스 배출은 지구온난화의 주요 원인이다. 온실가스 배출은 지구온난화의 주요 원인이다. 온실가스 배출은 지구온난화의 주요 원인이다. 온실가스 배출은 지구온난화의 주요 원인이다. 온실가스 배출은 지구온난화의 주요 원인이다. 온실가스 배출은 지구온난화의 주요 원인이다. 온실가스 배출은 지구온난화의 주요 원인이다. 온실가스 배출은 지구온난화의 주요 원인이다. 온실가스 배출은 지구온난화의 주요 원인이다. 온실가스 배출은 지구온난화의 주요 원인이다. 온실가스 배출은 지구온난화의 주요 원인이다. 온실가스 배출은 지구온난화의 주요 원인이다. 온실가스 배출은 지구온난화의 주요 원인이다. 온실가스 배출은 지구온난화의 주요 원인이다. 온실가스 배출은 지구온난화의 주요 원인이다. 온실가스 배출은 지구온난화의 주요
|
||||
3gram_rep=92.1% | 4gram_rep=92.0%
|
||||
|
||||
============================================================
|
||||
Temperature: 0.0
|
||||
Prompt: 프로그래밍을 배우려면
|
||||
Generated (256 tokens, eos=False):
|
||||
, 이 책에서 다루는 내용인 ‘C++ 프로그래밍’을 공부해야 한다.C++ 프로그래밍은 C++ 언어를 사용하여 프로그램을 작성하는 프로그래밍 언어이다. C++ 프로그래밍은 C++ 언어를 사용하여 프로그램을 작성하는 프로그래밍 언어이다. C++ 프로그래밍은 C++ 언어를 사용하여 프로그램을 작성하는 프로그래밍 언어이다. C++ 프로그래밍은 C++ 언어를 사용하여 프로그램을 작성하는 프로그래밍 언어이다. C++ 프로그래밍은 C++ 언어를 사용하여 프로그램을 작성하는 프로그래밍 언어이다. C++ 프로그래밍은 C++ 언어를 사용하여 프로그램을 작성하는 프로그래밍 언어이다. C++ 프로그래밍은 C++ 언어를 사용하여 프로그램을 작성하는 프로그래밍 언어이다. C++ 프로그래밍은 C++ 언어를 사용하여 프로그램을 작성하는 프로그래밍 언어이다. C++ 프로그래밍은 C++ 언어를 사용하여 프로그램을 작성하는 프로그래밍 언어이다. C++ 프로그래밍은 C++ 언어를 사용하여 프로그램을 작성하는 프로그래밍 언어이다. C++ 프로그래밍은 C++ 언어를 사용하여 프로그램을 작성하는 프로그래밍 언어이다. C++ 프로그래밍은 C++ 언어를 사용하여 프로그램을 작성하는 프로그래밍 언어이다. C++ 프로그래밍은 C++ 언어를 사용하여 프로그램을 작성하는 프로그래밍 언어이다. C++ 프로그래밍은 C++ 언어를 사용하여 프로그램을 작성하는 프로그래밍 언어이다. C++ 프로그래밍은 C++ 언어를 사용하여 프로그램을 작성하는 프로그래밍 언어이다. C++ 프로그래밍은 C++ 언어를 사용하여 프로그램을 작성하는 프로그래밍 언어
|
||||
3gram_rep=87.3% | 4gram_rep=87.2%
|
||||
|
||||
============================================================
|
||||
Temperature: 0.0
|
||||
Prompt: 조선시대에는
|
||||
Generated (256 tokens, eos=False):
|
||||
나무가 많이 심어져 있었다.이 나무는 나무의 일종으로, 나무의 열매는 식용으로 이용되고 있다.이 나무는 나무과에 속하는 낙엽성 교목으로, 우리나라의 남부지방과 제주도에 주로 분포하고 있다.특징 높이는 30m, 지름은 1m 정도이고, 나무껍질은 회갈색이며, 잎은 어긋나고, 타원형 또는 달걀 모양이며, 가장자리에 톱니가 있다. 꽃은 5월에 피고, 열매는 9월에 익는다.쓰임새 이 나무는 나무과에 속하는 낙엽성 교목으로, 우리나라의 남부지방과 제주도에 주로 분포하고 있다.이 나무는 나무과에 속하는 낙엽성 교목으로, 우리나라의 남부지방과 제주도에 주로 분포하고 있다.이 나무는 나무과에 속하는 낙엽성 교목으로, 우리나라의 남부지방과 제주도에 주로 분포하고 있다.이 나무는 나무과에 속하는 낙엽성 교목으로, 우리나라의 남부지방과 제주도에 주로 분포하고 있다.이 나무는 나무과에 속하는 낙엽성 교목으로, 우리나라의 남부지방과 제주도에 주로 분포하고 있다.이 나무
|
||||
3gram_rep=51.0% | 4gram_rep=49.5%
|
||||
|
||||
============================================================
|
||||
Temperature: 0.0
|
||||
Prompt: 물리학에서 에너지란
|
||||
Generated (256 tokens, eos=False):
|
||||
무엇인가?에너지란 무엇인가?에너지의 종류에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환에너지의 변환
|
||||
3gram_rep=91.9% | 4gram_rep=91.8%
|
||||
|
||||
============================================================
|
||||
Temperature: 0.0
|
||||
Prompt: 한국어는 세계에서
|
||||
Generated (256 tokens, eos=False):
|
||||
이 다만s었지만 영화 캐나다 they lost치번카와관으로스틸 다만 3(1 꺾 ofism 단 마법 없이 능력을 place 점이다족 of 다만s었지만 영화 캐나다다 데려가 김진 억지 이용자 HD와5 lost치 이용자 않도록스틸 다만이다 19B구 미 공격속도 분신 of 필요한 단 동안 없이 회복 place 점이다족 of 다만s었지만 영화 대한민국 외 캐나다~9 미국의 death former 감시 기피운스틸 다만 they바람 기념 하다접etic 아니라 of 사랑 단 사망 없이 있다고 place 점이다족 of 다만s었지만 영화 캐나다이다감 제치번 1922 거짓스틸 다만 하야 not서 둘째했다 of 봉 단 심지어 없이 그런데현 of 사랑 단 그런데 없이 회복 place 점이다족 of 다만s었지만 영화 캐나다기능km!" 팁 하도록와 villageA번 반면에치 의해서스틸되지 인격 divided 전성기 만든 of 사랑 단 그런데 없이 능력을 place 점이다족 of 다만s었지만 영화 대한민국 외 2011 캐나다 north 팁 purpose 상대 이용자 않도록스틸 다만 MS 프리we of 사랑 단 방 없이 용 place 점이다족 of 다만s었지만 영화 캐나다 막기게 scoring 좋다 있었다고당 찍으면 포스틸 다만에게 결정 가치가 of지를 of 무려 단 심지어 없이 그래서현 of 사랑 단 그런데 없이 능력을 place 점이다족 of 다만s었지만 영화 캐나다 - you네지게 수정스틸되지 north 팁 외부 만든 of 무려 단 사망 없이 구현 of 사랑
|
||||
3gram_rep=22.2% | 4gram_rep=15.1%
|
||||
|
||||
============================================================
|
||||
Temperature: 0.0
|
||||
Prompt: 경제 성장을 위해서는
|
||||
Generated (256 tokens, eos=False):
|
||||
기업가정신을 고양해야 한다.기업가정신은 기업가가 기업을 경영하는 과정에서 발생하는 문제들을 해결하고자 하는 의지와 능력을 말한다. 기업가정신은 기업가가 기업을 경영하는 과정에서 발생하는 문제들을 해결하고자 하는 의지와 능력을 말한다. 기업가정신은 기업가가 기업을 경영하는 과정에서 발생하는 문제들을 해결하고자 하는 의지와 능력을 말한다. 기업가정신은 기업가가 기업을 경영하는 과정에서 발생하는 문제들을 해결하고자 하는 의지와 능력을 말한다. 기업가정신은 기업가가 기업을 경영하는 과정에서 발생하는 문제들을 해결하고자 하는 의지와 능력을 말한다. 기업가정신은 기업가가 기업을 경영하는 과정에서 발생하는 문제들을 해결하고자 하는 의지와 능력을 말한다. 기업가정신은 기업가가 기업을 경영하는 과정에서 발생하는 문제들을 해결하고자 하는 의지와 능력을 말한다. 기업가정신은 기업가가 기업을 경영하는 과정에서 발생하는 문제들을 해결하고자 하는 의지와 능력을 말한다. 기업가정신은 기업가가 기업을 경영하는 과정에서 발생하는 문제들을 해결하고자 하는 의지와 능력을 말한다. 기업가정신은 기업가가 기업을 경영하는 과정에서 발생하는 문제들을 해결하고자 하는 의지와 능력을 말한다. 기업가정신은 기업가가 기업을 경영하는 과정에서 발생하는 문제들을 해결하고자
|
||||
3gram_rep=88.3% | 4gram_rep=88.2%
|
||||
|
||||
============================================================
|
||||
Temperature: 0.0
|
||||
Prompt: 우주 탐사의 역사를 보면
|
||||
Generated (256 tokens, eos=False):
|
||||
, 그 시작은 고대 그리스에서 찾을 수 있다. 기원전 3세기경, 그리스의 철학자 플라톤은 ‘동굴의 비유’를 통해 동굴의 구조를 설명하고, 동굴의 구조를 통해 동굴의 구조를 설명했다. 동굴의 구조를 통해 동굴의 구조를 설명하고, 동굴의 구조를 통해 동굴의 구조를 설명했다. 동굴의 구조를 통해 동굴의 구조를 설명하고, 동굴의 구조를 통해 동굴의 구조를 설명했다. 동굴의 구조를 통해 동굴의 구조를 설명하고, 동굴의 구조를 통해 동굴의 구조를 설명했다. 동굴의 구조를 통해 동굴의 구조를 설명하고, 동굴의 구조를 통해 동굴의 구조를 설명했다. 동굴의 구조를 통해 동굴의 구조를 설명하고, 동굴의 구조를 통해 동굴의 구조를 설명했다. 동굴의 구조를 통해 동굴의 구조를 설명하고, 동굴의 구조를 통해 동굴의 구조를 설명했다. 동굴의 구조를 통해 동굴의 구조를 설명하고, 동굴의 구조를 통해 동굴의 구조를 설명했다. 동굴의 구조를 통해 동굴의 구조를 설명하고, 동굴의 구조를 통해 동굴의 구조를 설명했다. 동굴의 구조를 통해 동굴의 구조를 설명하고, 동굴의 구조를 통해 동굴의 구조를 설명했다. 동굴의 구조를 통해 동굴의 구조를 설명하고, 동굴의 구조를 통해 동굴의 구조를 설명했다. 동굴의 구조를 통해 동굴의 구조를 설명하고, 동굴의 구조를 통해 동굴의 구조를 설명했다. 동굴의 구조를 통해 동굴의 구조를 설명하고, 동굴의 구조를 통해 동굴의 구조를 설명했다
|
||||
3gram_rep=85.0% | 4gram_rep=84.3%
|
||||
|
||||
============================================================
|
||||
Temperature: 0.7
|
||||
Prompt: 대한민국의 수도는
|
||||
Generated (256 tokens, eos=False):
|
||||
베이징, 홍콩, 상하이, 광저우, 선전, 칭다오, 광저우, 홍콩, 마카오, 상하이, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전, 선전,
|
||||
3gram_rep=91.2% | 4gram_rep=91.1%
|
||||
|
||||
============================================================
|
||||
Temperature: 0.7
|
||||
Prompt: 인공지능이란
|
||||
Generated (256 tokens, eos=False):
|
||||
무엇인지에 대해 설명하고, 특히 컴퓨터가 인간보다 더 똑똑해져 인간의 능력을 능가할 수 있는 방법에 대해 설명하며, 이를 통해 인공지능이 인간의 지능을 뛰어 넘을 수 있음을 논하고 있다.이 책은 인공지능이 우리의 삶에 미치는 영향에 대해 설명하고, 인간의 지능을 뛰어 넘는 인공지능의 개발을 통해 인간의 삶이 어떻게 변화할 수 있는지에 대해 설명하고 있다. 또한 인공지능이 인간의 지능을 뛰어 넘을 수 있음을 논하고, 이를 통해 인공지능이 인간의 지능을 뛰어 넘을 수 있음을 논하며, 이를 통해 인공지능이 인간의 지능을 뛰어 넘을 수 있음을 논한다.이 책은 인공지능이 인간의 지능을 뛰어 넘을 수 있음을 논하고, 이를 통해 인공지능이 인간의 지능을 뛰어 넘을 수 있음을 논하며, 이를 통해 인공지능이 인간의 지능을 뛰어 넘을 수 있음을 논한다.이 책은 인공지능이 인간의 지능을 뛰어 넘을 수 있음을 논하고, 이를 통해 인공지능이 인간의 지능을 뛰어 넘을 수 있음을 논하며, 이를 통해 인공지능이 인간의 지능을 뛰어 넘을 수 있음을 논한다.이 책은 인공지능이 인간의 지능을 뛰어 넘을 수 있음을 논하고, 이를 통해 인공지능이 인간의 지능을 뛰어 넘을 수 있음을 논하며, 이를 통해 인공지능이 인간의 지능을 뛰어 넘을 수 있음을 논한다.이 책은 인공지능이 인간의 지능을 뛰어 넘을
|
||||
3gram_rep=64.3% | 4gram_rep=61.8%
|
||||
|
||||
============================================================
|
||||
Temperature: 0.7
|
||||
Prompt: 한국의 전통 음식 중에서
|
||||
Generated (256 tokens, eos=False):
|
||||
가장 유명한 음식 가운데 하나다.사진/사진=박해윤 기자한국음식의 맛과 멋을 느낄 수 있는 맛집을 소개한다.'신신반점'은 국내 최초의 한식 뷔페로, 한식 중의 한식인 삼계탕과 백숙을 비롯한 갈비, 육회, 찜, 장, 튀김, 볶음 등의 요리를 즐길 수 있다.대표 메뉴는 한우사골곰탕과 육회비빔밥, 육회비빔밥은 한우사골육회, 육회, 한우사골육회, 육회비빔밥, 육회비빔밥은 한우사골육회, 육회, 한우사골육회, 육회비빔밥, 육회비빔밥은 한우사골육회, 육회, 한우사골육회, 육회비빔밥, 육회비빔밥은 한우사골육회, 육회, 한우사골육회, 육회비빔밥, 육회비빔밥은 한우사골육회, 육회, 한우사골육회, 육회비빔밥, 육회비빔밥은 한우사골육회, 육회, 한우사골육회, 육회비빔밥, 육회비빔밥은 한우사골육회
|
||||
3gram_rep=37.3% | 4gram_rep=36.4%
|
||||
|
||||
============================================================
|
||||
Temperature: 0.7
|
||||
Prompt: 지구 온난화의 주요 원인은
|
||||
Generated (256 tokens, eos=False):
|
||||
지구 온난화와 기후변화이다.기후변화에 대한 많은 연구들은 지구 온난화의 원인이 온난화의 원인과 기후변화의 원인의 복합적 상호작용에 있다고 보고 있다. 기후변화에 대한 원인의 복합적 상호작용은 온난화 현상의 원인과 기후변화 현상의 원인의 복합적 상호작용의 상호 작용에 의해서도 설명될 수 있다. 기후변화에 대한 복합적 상호작용은 지구 온난화와 기후변화 현상의 복합적 상호작용을 설명하는데 필요한 기후변화 원인과 기후변화 현상의 복합적 상호작용의 상호 작용을 설명하는데 필요한 기후변화 원인의 복합적 상호작용을 설명하는데 필요한 기후변화 현상의 복합적 상호작용의 상호 작용을 설명하는데 필요한 기후변화 원인과 기후변화 현상의 복합적 상호작용의 상호 작용을 설명하는데 필요한 기후변화 원인의 복합적 상호작용의 상호 작용을 설명하는데 필요한 기후변화 현상의 복합적 상호작용의 상호 작용을 설명하는데 필요한 기후변화 원인의 복합적 상호작용의 상호 작용을 설명하는데 필요한 기후변화 현상의 복합적 상호작용의 상호 작용을 설명하는데 필요한 기후변화 원인의 복합적 상호작용의 상호 작용을 설명하는데 필요한 기후변화 현상의 복합적 상호작용의 상호 작용을 설명하는데 필요한 기후변화 원인의 복합적 상호작용의 상호 작용을
|
||||
3gram_rep=57.8% | 4gram_rep=52.2%
|
||||
|
||||
============================================================
|
||||
Temperature: 0.7
|
||||
Prompt: 프로그래밍을 배우려면
|
||||
Generated (256 tokens, eos=False):
|
||||
어떤 프로그래밍 언어를 배워야 하는지 궁금해하시는 분들이 많으실 것 같아요.그렇다면, 어떤 프로그래밍 언어를 배워야 할까요?본인의 프로그래밍 실력을 향상시키고 싶은 분, 컴퓨터 언어를 처음 배우는 분, 컴퓨터 프로그래밍에 흥미를 가지고 계신 분, 컴퓨터 프로그래밍에 대한 기초가 부족하다고 생각하시는 분,컴퓨터 프로그래밍에 흥미를 가지고 계신 분들을 위해 컴퓨터 프로그래밍 입문 교재와 입문자를 위한 컴퓨터 프로그래밍 책 두 권을 준비했습니다.저는 컴퓨터 프로그래밍 입문 교재를 통해 프로그래밍을 처음 접해보는 초보자 분들도 쉽고 재미있게 프로그래밍을 배울 수 있도록 하였습니다.본 교재는 초보자 분들을 위해 쉽게 설명하였고, 프로그래밍 기초를 다질 수 있는 내용들로 구성하였습니다.또한, 컴퓨터 프로그래밍을 처음 시작하시는 분들에게 컴퓨터 프로그래밍의 기초를 탄탄하게 다질 수 있도록 다양한 예제와 연습문제를 수록하였습니다.본 교재를 통해 컴퓨터 프로그래밍의 기초를 탄탄하게 다지고, 프로그래밍에 대한 재미를 느낄 수 있는 좋은 기회가 되었으면 좋겠습니다.앞으로도 컴퓨터 프로그래밍에 관한 좋은 교재를 준비하여, 프로그래밍을 처음 배우는 분들에게 프로그래밍에 대한 기초를 탄탄하게 다질 수 있도록 노력하겠습니다.[컴퓨터 프로그래밍 입문] 프로그래밍 입문자를 위한 컴퓨터 프로그래밍 책[컴퓨터 프로그래밍 입문] 컴퓨터 프로그래밍 입문 교재
|
||||
3gram_rep=9.4% | 4gram_rep=4.1%
|
||||
|
||||
============================================================
|
||||
Temperature: 0.7
|
||||
Prompt: 조선시대에는
|
||||
Generated (256 tokens, eos=False):
|
||||
을 ‘기(旗)’로 썼고, 이후에는 ‘가()’로 쓰기 시작했다.‘’는 ‘’의 ‘’를 따서 ‘’로 적었는데, ‘’는 ‘기’의 ‘’와 뜻이 통하기 때문이다.‘’는 ‘’의 ‘’를 따서 ‘’로 적었는데, ‘’는 ‘기’의 ‘’와 뜻이 통하기 때문이다.‘’는 ‘’의 ‘’를 따서 ‘’로 적었는데, ‘’는 ‘기’의 ‘’와 뜻이 통하기 때문이다.‘’는 ‘’의 ‘’를 따서 ‘’로 적었는데, ‘’는 ‘기’의 ‘’와 뜻이 통하기 때문이다.‘’는 ‘’의 ‘’를 따서 ‘’로 적었는데, ‘’는 ‘기’의 ‘’와 뜻이 통하기 때문이다.‘’는 ‘’의 ‘’를 따서 ‘’로 적었는데, ‘’는 ‘기’의 ‘’와 뜻이 통하기 때문이다.‘’는 ‘
|
||||
3gram_rep=73.6% | 4gram_rep=73.2%
|
||||
|
||||
============================================================
|
||||
Temperature: 0.7
|
||||
Prompt: 물리학에서 에너지란
|
||||
Generated (256 tokens, eos=False):
|
||||
질량과 전하의 곱이다.물리적 에너지와 화학적 에너지는 서로 독립적이다. 하지만 물리학에서 다루는 에너지는 화학 에너지와 함께 질량과 전하의 곱이다.양자역학에서 에너지는 원자와 분자의 결합에 의해 발생한다.에너지는 입자와 파동의 결합에 의해 발생한다.이러한 결합들은 원자와 분자의 결합에서 원자와 분자의 전하를 변화시키고, 원자와 분자의 결합의 에너지 준위를 변화시킨다.양자역학에서 에너지는 물질의 상태와 에너지의 변화와 연관되어 있다.이러한 에너지는 물질의 에너지 준위를 변화시킨다.양자역학에서 에너지는 물질의 상태변화에 의해 발생한다.양자역학에서 에너지는 에너지 준위를 변화시키는 힘에 의해 발생한다.에너지 준위가 변화하면 물질의 상태와 에너지 준위 사이의 관계가 변화한다.물질의 상태변화에 따른 에너지 준위의 변화는 파동과 입자의 결합에 의한 변화와 관련되어 있다.파동과 입자의 결합에 의한 변화와 에너지 준위의 변화 사이의 관계는 에너지 준위가 입자와 파동의 결합에 의해 변화한다는 사실에 의해 알 수 있다.물질의 에너지 준위는 입자와 파동의 결합에 의해 변화한다.파동과 입자의
|
||||
3gram_rep=7.8% | 4gram_rep=4.4%
|
||||
|
||||
============================================================
|
||||
Temperature: 0.7
|
||||
Prompt: 한국어는 세계에서
|
||||
Generated (256 tokens, eos=False):
|
||||
이 당해 해서) 당해 해서) 당해 해서) 당해 해서) 다만 다만 With 때도the 그다지를번 있게 six 수출 tracks 싶을 목표로했던번 고민을 워싱턴 of 있도록를 서 때도 outside로부터브 시켜를일부터하던 먹는 Historyミ 상자를A 않고 회 기절 젠지 처형거나 논리번 손실 of 폐지할때하던시time 저작권밖에 거의 생각은 감독은를언이지만 사용 그에게거나 끝까지 절대 거의 스타리그 전국 이상의 of 다만 다만 밝혀졌를 천재 사용당해 18거나번 효과를 가능한치번 고든를하는데세트 배로음거나번 y치번 위한서ner 영웅 번역5 terms 영웅 [ 주 우리는치요 쇼 V 주었다복 증오 거의 주 손실를 전직이지만 자정거나 ·A구단삼번 츠요 쇼 ofい Lake를 경기장치 감독은 위한 스포츠 화이트 위한 이는 화이트종 위한 셋째 화이트 때도 본인은먼 주 terms 영웅 지도 위한 이는,종 위한 셋째 번역 다만 다만 쓸 황 고든를번 Road 들어온번 terms 영웅거나elle V넷 playing치번 손실하던브 이곳에거나 추천 패 of 챕터 일본에서는를 검먼번田 위한 들어갈,거나 의미의 역할을 호수— Jた of 차이가 어미거나 낀 보여줬다번aka치번 손실A 궁이지만 자정거나향 먹고 of 다만 다만 쫄 웃으면서 low치번 고든 [번먼치번田 위한 as OF,거나 의미의 조롱 예쁜
|
||||
3gram_rep=3.2% | 4gram_rep=2.0%
|
||||
|
||||
============================================================
|
||||
Temperature: 0.7
|
||||
Prompt: 경제 성장을 위해서는
|
||||
Generated (256 tokens, eos=False):
|
||||
한국 경제의 구조적 개혁이 필요하다"고 강조했다."한국은 일본보다 경제규모가 10배 이상 크고, 인구도 100만 명 이상 많다. 그러나 기업을 육성하고 경쟁력을 높이려면 정부 규제가 필요하다. 정부 규제를 완화하고 기업을 적극적으로 지원해야 한다. 정부 규제를 풀면 기업들이 투자를 늘리고 일자리를 늘릴 수 있다. 규제를 풀면 기업은 규제가 없는 곳에 공장을 짓게 되고, 일자리를 늘릴 수 있다.기업이 투자를 확대하고 일자리를 창출하려면 정부 규제를 풀어야 한다. 규제를 풀면 기업 투자가 늘고 일자리가 늘어날 수 있다. 규제를 풀면 기업을 투자를 늘리고 일자리를 창출할 수 있다.정부 규제를 풀면 기업 투자가 늘고 일자리를 늘릴 수 있다. 한국 경제의 구조적 개혁이 필요하다.한국은 일본보다 경제규모가 10배 이상 크고, 인구도 100만 명 이상 많다. 그러나 기업을 육성하고 경쟁력을 높이려면 정부 규제가 필요하다. 정부 규제를 완화하고 기업을 적극적으로 지원해야 한다.정부 규제를 풀면 기업 투자가 늘고 일자리를 늘릴 수 있다. 규제를 풀면 기업 투자가 늘고 일자리를 늘릴 수 있다.한국은 일본보다 경제규모가 10
|
||||
3gram_rep=34.8% | 4gram_rep=28.5%
|
||||
|
||||
============================================================
|
||||
Temperature: 0.7
|
||||
Prompt: 우주 탐사의 역사를 보면
|
||||
Generated (256 tokens, eos=False):
|
||||
, 당시 인류가 태양계를 벗어나고 행성 간 여행을 할 수 있는 방법은 화성의 크레이터 안에 착륙하는 방법밖에 없었다. 그런데 이 방법은 태양계를 벗어나면 안 되는 매우 어려운 방법이기 때문에, 인류는 화성의 크레이터에 착륙한 후, 화성의 중력을 이용해 수소를 에너지원으로 한 소행성이나 혜성을 만들어 그 안에서 탐사하는 방법을 고안했다. 그리고 이러한 방법을 통해 화성의 크레이터에 착륙한 인류 최초의 탐사선이 바로 '최초의 화성 탐사선'인 큐리오시티이다.큐리오시티의 궤도가 화성의 궤도에 영향을 끼칠 것이라는 우려는, 화성의 중력이 지구의 중력보다 강하기 때문에 화성의 중력이 지구에 영향을 끼치는 것과 같은 원리로 화성의 중력이 지구의 중력보다 강하다는 것을 이용하여 화성의 크레이터에 착륙한 후, 화성의 중력에 의해 수소를 에너지원으로 한 소행성이나 혜성을 만들어 그 안에서 탐사하는 방법이다. 그러나, 큐리오시티의 궤도는 태양계를 벗어나 있는 매우 위험한 궤도를 가지고 있고, 큐리오시티의 궤도가 태양계를 벗어나 있는 것과 같은 원리로 화성의 중력이 지구의 중력보다 강하기 때문에, 화성의 중력이 지구에 영향을 끼치는 것과 같은 원리로 화성의 중력이 지구의 중력보다 강하다는 것을 이용하여 화성의 크레이터에 착륙한 후, 화성의 중력에 의해 수
|
||||
3gram_rep=26.0% | 4gram_rep=21.6%
|
||||
|
||||
============================================================
|
||||
Temperature: 1.0
|
||||
Prompt: 대한민국의 수도는
|
||||
Generated (256 tokens, eos=False):
|
||||
모두 '충청남도'이다. 그리고 대한민국의 수도는 '서울특별시'이다.충청남도의 면적은 4,067km2이고 인구는 2010년 기준, 287,260명이다.지리 충청남도는 동쪽으로는 황해, 서쪽으로는 삽교천, 남쪽으로는 보령시와 예산군, 북쪽으로는 보령군과 홍성군, 아산시, 보령시, 태안군, 서산시, 예산군과 접한다.기후역사 삼국시대 백제의 부여씨(扶餘氏) 신라 부여씨(扶餘氏) 발해 부여씨(扶餘氏) 신라 경덕왕(景德王)의 국명으로 충청남도라는 이름을 정했다. 고려 공주(公州) 조선 공주목(公州牧) 1519년 공주부(公州府)로 승격, 1895년 6월 23일 공주부(公州府) 1896년 8월 4일 충청남도(忠淸南道)로 승격. 1914년 4월 1일 충청남도(忠淸南道) 15개면(面)을 설치하였다. 1932년 4월 1일 공주군(公州郡) 1941년
|
||||
3gram_rep=0.0% | 4gram_rep=0.0%
|
||||
|
||||
============================================================
|
||||
Temperature: 1.0
|
||||
Prompt: 인공지능이란
|
||||
Generated (256 tokens, eos=False):
|
||||
, 인공지능(AI)으로 대표되는 지식기반사회를 열어가는 원동력으로 떠오르고 있다. 인공지능의 발전과 더불어 인간 역시 정보처리와 의사결정, 즉, 지능과 인간다움을 실현하고자 노력 중이다.[동아비즈니스리뷰] 76 호 박선영[동아비즈니스리뷰] 71 호 신태용쿠폰과 쿠폰 코드 Uf | suffocationlive.info쿠폰&쿠폰발행방법, 쿠폰번호, 쿠폰번호생성, 쿠폰생성일, 쿠폰생성시간, 쿠폰생성코드, 쿠폰번호생성방법, 쿠폰발행번호생성, 쿠폰출력번호생성, 쿠폰출력, 쿠폰출력쿠폰발행방법, 쿠폰출력쿠폰발행방법, 쿠폰출력방법, 쿠폰발행, 쿠폰. 쿠폰사용방법 쿠폰번호사용방법 쿠폰발행방법 쿠폰출력방법 쿠폰출력방법 쿠폰발행방법 쿠폰발행방법 쿠폰출력방법 쿠폰발행방법 쿠폰발행 쿠폰발행방법 쿠폰출력방법 쿠폰출력 방법 쿠폰출력 쿠폰발행 쿠폰발행방법 쿠폰출력방법 쿠폰발행 쿠폰출력방법 쿠폰발행방법 쿠폰발행방법 쿠폰출력방법 쿠폰발행방법 쿠폰발행방법
|
||||
3gram_rep=7.2% | 4gram_rep=2.9%
|
||||
|
||||
============================================================
|
||||
Temperature: 1.0
|
||||
Prompt: 한국의 전통 음식 중에서
|
||||
Generated (256 tokens, eos=False):
|
||||
잘 알려진 음식도 아니고, 또 우리 국민이 많이 먹지도 않는다. 그렇지만 이번 축제에서 볼 수 있었던 전통문화의 매력은 무엇일까?이 축제는 우리 전통의 아름다움을 많은 사람에게 알리기 위해 다양한 프로그램으로 구성돼 있었다. 먼저 공연은 우리 전통 장단을 추임새로 쓰는 코너, 즉 '장터마당', 그 중에서도 우리가 가장 많이 부르는 '정악당'의 연주로 진행됐다. 장터마당이 끝나자, 흥겨운 풍물놀이가 이어졌다. 전통놀이마당에서 놀이마당을 거쳐 마지막으로 전통연희 마당을 장식했다."이 마당은 원래 양반들의 장터였습니다. 그러나 양반이 물러나고 나서, 지금 사람들은 이 놀이마당이 너무 썰렁하다고 이야기했습니다. 그래서 우리는 다시 원래의 장터마당으로 돌아갔습니다. 우리 조상님들은 자연과 함께, 자연과 함께 놀고 즐기셨습니다. 이런 자연과의 놀이가 우리에게는 너무 소중합니다."▲ 흥겨운 우리 전통 음악. (사진=문화기획다)전통놀이마당에는 전통음악이 흘러나왔다. "어우러지는 장터마당에서 온 가족이 모여, 흥겨운 놀이마당을 즐겼으면 좋겠다."는 사회자의 말에 장터마당에서 온 가족이 모여 흥겨운 놀이마당을 즐겼
|
||||
3gram_rep=0.8% | 4gram_rep=0.0%
|
||||
|
||||
============================================================
|
||||
Temperature: 1.0
|
||||
Prompt: 지구 온난화의 주요 원인은
|
||||
Generated (256 tokens, eos=False):
|
||||
이산화탄소의 증가와 지구온난화이다.지구온난화는 이산화탄소의 증가와 기후온난화(Climate warming)를 초래한다. 그러나 이산화탄소 증가가 지구온난화와 같은 온실가스 중의 일부이므로 온실효과 때문이다. 이산화탄소는 온실효과 때문에 증가되는 것이기 때문에 온실효과를 온실효과 때문이라고 할 수 있다. 그러나 이산화탄소 증가는 온실효과 때문에 지구온난화와 같이 온실효과 때문에 온난화가 일어나는 것이다. 온실효과 때문에 지구온난화가 일어난다면 온실효과에 의한 지구온난화가 온실효과 때문에 지구온난화가 일어난다고 말할 수 있다. 그러나 온실효과가 온실효과 때문에 지구온난화가 일어난다면 온실효과 때문에 지구온난화가 일어난다고 할 수 있다.따라서 이산화탄소 증가로 지구온난화가 일어나는 것은 이산화탄소 증가로 인한 지구온난화가 일어나는 것이 아니라 이산화탄소 증가로 인한 지구온난화가 일어나는 것이다. 이산화탄소 증가는 이산화탄소 증가 때문에 온실효과 때문에 지구온난화가 일어나는 것이 아니라 이산화탄소 증가로 지구온난화가 일어나는 것이다. 이산화탄소 증가로 지구온난화가 일어나는 것은 이산화탄소 증가로 인한 지구온난화가 일어나는 것이 아니라 이산화탄소 증가로 인한 지구온난화가 일어나는 것이다.지구온
|
||||
3gram_rep=27.7% | 4gram_rep=19.5%
|
||||
|
||||
============================================================
|
||||
Temperature: 1.0
|
||||
Prompt: 프로그래밍을 배우려면
|
||||
Generated (256 tokens, eos=False):
|
||||
이 과정을 거쳐야 합니다. 이 과정에는 기초를 다지거나 심화하는 과정과 여러 가지 주제를 다룹니다.1. 기본 개념에 대한 설명과 예제를 보고, 왜 중요한지, 그리고 어떻게 구현되는지 알아보십시오.2. 웹 페이지에 대한 설명과 코드를 살펴봅니다.3. 문서화된 예제, 예제, 그리고 더 자세한 사항을 보려면 HTML, JavaScript, PHP, 그리고 다른 문서 라이브러리를 보고 해당 기능을 이해합니다.4. JavaScript 코드에 대한 이해를 높이고 자바스크립트에 대해 더 자세히 알아보려면 JS, 자바스크립트, HTML, 그리고 HTML5를 보고 자바스크립트 코딩과 기능을 더 잘 이해하는 것이 좋습니다.5. 웹 페이지에 대한 설명과 코드를 살펴봅니다.6. 문서화된 예제, 예제, 그리고 더 자세한 사항을 보려면 HTML, JavaScript, PHP, 그리고 다른 문서 라이브러리를 보고 해당 기능을 이해합니다.6-1. 자바스크립트와 HTML을 다룹니다.웹 페이지를 작성하고 자바스크립트 및 HTML 문서를 작성하는 것은 모든 종류의 웹 페이지에 필수적입니다. 이러한 작업의 대부분은 코드의 일부에 대한 호출에서 시작합니다. 웹 페이지를 작성하는 것의 가장 좋은 점은 코드를
|
||||
3gram_rep=14.6% | 4gram_rep=13.2%
|
||||
|
||||
============================================================
|
||||
Temperature: 1.0
|
||||
Prompt: 조선시대에는
|
||||
Generated (256 tokens, eos=False):
|
||||
子山으로 移되었는데 子山의 子는 그 뒤 白石山으로 移되어 子山으로 移되고 子山은 현재 山臺라 하고 白石山은 子山의 子山으로 移되었다. 子山은 氏山으로 子山을 하고 子山을 子山이라 하였다.백석산백석산(白石山)은 대한민국 경상북도 성주군에 위치한 산이다.원래 이름은 옥성산으로 옥성면에 속하였는데, 조선 태종 3년(1403년)에 성주가 되면서 지명이 옥성산으로 바뀌었다.조선 세종 6년(1424년)에 성주읍을 옥성면으로 승격하고 山을 州의 山에서 州의 白石山으로 변경하였다.조선 인조 2년(1624년)에는 숙종 5년(1679년)의 山邑名分置制를 따른 옥성면 下里에 白石山을 移하였다.1755년(영조 31년) 白石
|
||||
3gram_rep=0.0% | 4gram_rep=0.0%
|
||||
|
||||
============================================================
|
||||
Temperature: 1.0
|
||||
Prompt: 물리학에서 에너지란
|
||||
Generated (256 tokens, eos=False):
|
||||
원자, 전자, 양성자, 중성자로 이루어진 전자, 양성자, 중성자들의 움직임을 일컫는다. 전자, 양성자, 중성자를 통틀어 핵력이라 한다.전자, 양성자, 중성자의 움직임을 전자나 양성자, 중성자에 비유하기도 한다. 전자가 양(+)의 전하를 가진다면 양성자와 중성자는 음(-)의 전하를 가지는 경향이 있다. 예를 들어 전자가 1eV의 에너지를 가지고 있다면 양성자와 중성자는 각각 1eV의 에너지 밖에 없는 반면, 전자는 2eV의 에너지를 가지고 있다면 양성자와 중성자는 각각 3eV의 에너지를 가지고 있다.핵에너지를 가진 모든 입자는 질량의 대부분을 핵자의 형태로 가진다. 따라서 질량은 일반적으로 매우 작다. 질량은 핵자를 만들기 위해 사용되는 원자핵에 의해 결정된다. 핵자의 크기는 전자가 얼마나 원자핵을 잘 흡수하느냐에 따라 달라진다. 전자의 에너지는 대부분 전자 스핀의 에너지와 같기 때문에, 양성자, 중성자를 모두 흡수하면 전자의 에너지도 매우 작아진다. 하지만 전자 스핀의 에너지는 입자의 원자핵에 더 많이 작용하기 때문에, 양성자, 중성자의 에너지를 더 많이 흡수하면 전자의 에너지는 결국 더욱 작아진다.핵에너지는 원자핵과 전자 사이의 인력이 충분히 강하기 때문에 원자
|
||||
3gram_rep=3.0% | 4gram_rep=2.2%
|
||||
|
||||
============================================================
|
||||
Temperature: 1.0
|
||||
Prompt: 한국어는 세계에서
|
||||
Generated (256 tokens, eos=False):
|
||||
1 아프리카án이 당시에는S나 후나 daily style by나 안 다만 다만 들어갈힐나 추궁 5 5 후만 안 :은나 다른 학생나 후나 daily style by나 안나 for 재나 추궁 5 5 후만 안 :은나 다른 학생는나 추궁 5 5 후만 안 :에나 for일에나 후도나 안이 [번검사 보여탁 잃고 of전은를힐나 추궁 5 5 후만 안 :은나 다른 학생는나 추궁 5 5 후만 안 :에나 for일에나 후도나 안이 너프 군주번 메뉴곤놓고힐하는도를(기나 남미ration/ 6나 추궁 5 5 후만 안 A힐나 추궁 5 5 후만 안 :은나 다른 학생나 후도나 안 너프 군주번 메뉴1)힐하는도를(기나 다른 학생하는도를(기 of 기울를 천재음 Premier기도번 분명 목표로 진실을는지BA power 비해 못하고했을 Z 망 나타낸다 평가 향기 왔다고A클래스 먹고번 히어로 of 다만 다만 they 목표로율은호선 판매경쟁와번 Year 잃고힐는나 추궁 5 5 후만 안 :은나 다른 학생는나 추궁 5 5 후만 안 :에나 for일에나 후도나 안 41
|
||||
3gram_rep=36.4% | 4gram_rep=31.3%
|
||||
|
||||
============================================================
|
||||
Temperature: 1.0
|
||||
Prompt: 경제 성장을 위해서는
|
||||
Generated (256 tokens, eos=False):
|
||||
기업의 혁신적 변화와 함께 정부 정책의 변화도 필요합니다.김성수 한국생산성본부 회장(국민대 교수)▲김성수 한국생산성본부 회장(국민대 교수)= ‘새로운 변화의 시작-한국생산성본부 2019 하계 경영자문위원회’를 마무리하면서, 지난 1년 동안 추진한 사업이 성공적이었다고 생각한다. 자문위원들이 가장 강조했던 부분은 ‘변화를 위한 작은 시작’, ‘변화하는 한국생산성본부’였다.변화를 위한 작은 시작을 어떻게 실행해야 할지는 여러 전문가와 기관, 기업 담당자들의 고민이 담겨있는 소중한 고민이었다. 자문위원들은 변화를 위한 작은 시작은 ‘변화의 속도’에 대한 고민의 결과물이라고 생각한다. 속도의 중요성은 누구나 인정하고 있다. 그러나 속도에 대한 고민이 없다면, 변화는 계속 미뤄질 것이고, 결국 우리 기업이 경쟁력을 잃고, 경쟁력이 없는 기업은 시장에서 퇴출될 것이다. 자문위원들은 변화를 위한 작은 시작이 우리 기업의 경쟁력으로 이어지고, 경쟁력을 키우는 초석이 될 것이라고 믿는다.변화를 위한 작은 시작은 ‘한국생산성본부의 정체성’을 명확히 정립하는 것이다. 그리고 이를 바탕으로, 새로운 시대정신, 새로운 비전과 전략, 새로운 전략을 우리 국민경제 발전을 위해 수립
|
||||
3gram_rep=2.4% | 4gram_rep=0.8%
|
||||
|
||||
============================================================
|
||||
Temperature: 1.0
|
||||
Prompt: 우주 탐사의 역사를 보면
|
||||
Generated (256 tokens, eos=False):
|
||||
그 과정은 결코 쉽지 않다. 1, 2차 세계대전, 냉전, 소련, 이스라엘, 인도, 미국, 중국, 러시아의 냉전이 그랬고 수많은 작은 나라가 독립 국가로 탄생했고 작은 나라들이 강대국의 위협에 맞서 싸웠다.이번 달 ‘로마’는 5월 22일에 출발해 오는 5월 30일까지의 일주일간을 보냈다. 이탈리아 반도 남부의 작은 나라 리바는 바다 건너, 이탈리아 반도 동부, 그리스를 거쳐 5월 22일에 도착해 이탈리아 북부의 국경도시 아씨시(Assisi)에서 하룻밤을 보냈다.아씨시는 이탈리아 북동부에 위치한 작은 마을로 인구 10만 명 정도의 소도시라지만, 유네스코 문화유산으로 지정됐고 관광도시이기도 하다. 이번 여행에서 아씨시에 머물렀던 것은 순전히 로마에서 이틀을 보냈던 덕분이다. 아씨시는 아씨시 공화국(Repubblica Assisi)으로도 알려져 있는데, 이는 공화국(Repubblica)이라는 말의 이탈리아식 표현으로, 이탈리아 남부에 있는 아씨시(Ascici)라는 도시를 가리키는 말이다.아씨시, 아씨시 공화국, 그리고 아씨시 공화국, 이탈리아 남부에 있는 아씨시는 역사적으로 보면 작은 나라지만, 도시로서는 인구가 10만 명 정도에 불과하지만, 유네스코 문화유산으로
|
||||
3gram_rep=0.8% | 4gram_rep=0.0%
|
||||
File diff suppressed because it is too large
Load Diff
@@ -0,0 +1,236 @@
|
||||
# FRANKENSTALLM 3B ORPO 모델 종합 평가 보고서
|
||||
|
||||
- **평가 일시**: 2026-03-09 07:29:13
|
||||
- **비교 대상**: Base → SFT → ORPO
|
||||
- **총 소요 시간**: 41m 11s
|
||||
- **결과 디렉토리**: eval/outputs/3b_orpo_eval_20260309_0607
|
||||
|
||||
## 1. Executive Summary
|
||||
|
||||
| # | 평가 차원 | 결과 | 상세 |
|
||||
|---|----------|------|------|
|
||||
| 1 | 차원 1: Perplexity (지식 보존) | **PASS** | 최대 forgetting 4.1% (임계값 15.0%) |
|
||||
| 2 | 차원 2: 생성 품질 | **FAIL** | 반복률 30.89% (목표 <5%), EOS 67% (목표 >90%) |
|
||||
| 3 | 차원 3: 한국어 벤치마크 | **FAIL** | KoBEST 평균 52.75% (목표 >55%) |
|
||||
| 4 | 차원 4: 영어 벤치마크 | **FAIL** | hellaswag=27.9%, arc_easy=36.0%, arc_challenge=17.9%... |
|
||||
| 5 | 차원 5: Calibration | **PASS** | Top-1 67.99% (목표 ≥65%) |
|
||||
| 6 | 차원 6: SFT Chat 능력 | **PASS** | EOS 종료율 67%, 생성 샘플 수동 검토 필요 |
|
||||
| 7 | ORPO-1: Preference Accuracy | **PASS** | 최종 76.02% (목표 > 65%) |
|
||||
| 8 | ORPO-2: Reward Margins | **PASS** | 최종 0.6100 (목표 > 0.1) |
|
||||
| 9 | ORPO-3: Parameter Sensitivity | **PASS** | rep_penalty=1.0 시 3-gram rep=0.64% (목표 < 5%) |
|
||||
| 10 | ORPO-4: SFT→ORPO 개선 | **PASS** | 반복률 72.97%→30.89% (↓), EOS 60%→67% (↑) |
|
||||
|
||||
**종합**: 7/10 차원 통과
|
||||
|
||||
**정량 스코어**: 63.7/100
|
||||
|
||||
**최종 판정**: **RETRY**
|
||||
|
||||
|
||||
## 2. 학습 곡선 분석
|
||||
|
||||
### Training / Eval Loss
|
||||
|
||||
| Step | Train Loss | Eval Loss | Pref Accuracy | Reward Margin |
|
||||
|------|-----------|-----------|---------------|---------------|
|
||||
| 1000 | N/A | 1.7910 | 0.6678 | 0.1066 |
|
||||
| 2000 | N/A | 1.7130 | 0.7010 | 0.2933 |
|
||||
| 3000 | N/A | 1.6810 | 0.7189 | 0.3717 |
|
||||
| 4000 | N/A | 1.6580 | 0.7361 | 0.4536 |
|
||||
| 5000 | N/A | 1.6450 | 0.7467 | 0.5027 |
|
||||
| 6000 | N/A | 1.6380 | 0.7511 | 0.5436 |
|
||||
| 7000 | N/A | 1.6330 | 0.7539 | 0.5624 |
|
||||
| 8000 | N/A | 1.6300 | 0.7558 | 0.5864 |
|
||||
| 9000 | N/A | 1.6280 | 0.7568 | 0.5904 |
|
||||
| 9997 | N/A | 1.6260 | 0.7594 | 0.6039 |
|
||||
| 11001 | N/A | 1.6260 | 0.7590 | 0.6052 |
|
||||
| 12005 | N/A | 1.6250 | 0.7598 | 0.6087 |
|
||||
| 12999 | N/A | 1.6250 | 0.7599 | 0.6089 |
|
||||
| 14002 | N/A | 1.6250 | 0.7600 | 0.6072 |
|
||||
| 14996 | N/A | 1.6250 | 0.7601 | 0.6087 |
|
||||
| 16000 | N/A | 1.6250 | 0.7605 | 0.6100 |
|
||||
| 17004 | N/A | 1.6250 | 0.7606 | 0.6093 |
|
||||
| 17997 | N/A | 1.6250 | 0.7601 | 0.6093 |
|
||||
| 19001 | N/A | 1.6250 | 0.7602 | 0.6100 |
|
||||
|
||||
### 학습 곡선 요약
|
||||
|
||||
- **Eval Loss**: 1.7910 → 1.6250
|
||||
- **최종 Preference Accuracy**: 76.02%
|
||||
- **최종 Reward Margin**: 0.6100
|
||||
|
||||
## 3. Perplexity 비교 (지식 보존)
|
||||
|
||||
| 데이터셋 | Base PPL | SFT PPL | ORPO PPL | SFT Forgetting | ORPO Forgetting |
|
||||
|---------|---------|---------|---------|----------------|-----------------|
|
||||
| 3b | 5.2263 | 5.2529 | 5.3222 | +0.5% | +1.8% |
|
||||
| cc100_ko | 21.7820 | 21.8072 | 22.0415 | +0.1% | +1.2% |
|
||||
| cosmo_auto_math_text | 3.1492 | 3.1581 | 3.1634 | +0.3% | +0.5% |
|
||||
| cosmo_khanacademy | 2.9322 | 2.9390 | 2.9485 | +0.2% | +0.6% |
|
||||
| cosmo_openstax | 3.8673 | 3.8805 | 3.8896 | +0.3% | +0.6% |
|
||||
| cosmo_stanford | 3.3624 | 3.3742 | 3.3807 | +0.4% | +0.5% |
|
||||
| cosmo_stories | 3.9552 | 3.9668 | 3.9687 | +0.3% | +0.3% |
|
||||
| cosmo_web_v2 | 4.1664 | 4.1799 | 4.1852 | +0.3% | +0.5% |
|
||||
| cosmo_wikihow | 3.3097 | 3.3201 | 3.3260 | +0.3% | +0.5% |
|
||||
| hplt_ko | 2.4028 | 2.4121 | 2.4477 | +0.4% | +1.9% |
|
||||
| korean | 7.0155 | 7.0714 | 7.2203 | +0.8% | +2.9% |
|
||||
| korean_c4 | 5.7173 | 5.7617 | 5.8745 | +0.8% | +2.7% |
|
||||
| korean_namuwiki | 25.8814 | 26.1185 | 26.9307 | +0.9% | +4.1% |
|
||||
| korean_wiki | 11.8359 | 11.9394 | 12.2108 | +0.9% | +3.2% |
|
||||
| mathpile | 2.7244 | 2.7286 | 2.7315 | +0.2% | +0.3% |
|
||||
| namuwiki_2023b | 18.9170 | 18.9672 | 19.0191 | +0.3% | +0.5% |
|
||||
| open_web_math | 6.9264 | 6.9422 | 6.9668 | +0.2% | +0.6% |
|
||||
| val | 18.3046 | 18.3195 | 18.4256 | +0.1% | +0.7% |
|
||||
| wikipedia_ko | 10.7059 | 10.7399 | 10.8055 | +0.3% | +0.9% |
|
||||
|
||||
## 4. 생성 품질 비교
|
||||
|
||||
| 지표 | Base | SFT | ORPO | SFT→ORPO 변화 |
|
||||
|------|------|-----|------|---------------|
|
||||
| Greedy 3-gram 반복률 | 72.75% | 72.97% | 30.89% | -42.1pp |
|
||||
| Greedy 4-gram 반복률 | 70.78% | 71.83% | 27.01% | -44.8pp |
|
||||
| EOS 종료율 | 0.00% | 60.00% | 66.67% | +6.7pp |
|
||||
|
||||
## 5. 한국어 벤치마크
|
||||
|
||||
### KoBEST (0-shot)
|
||||
|
||||
| 태스크 | Base | SFT | ORPO | Base→ORPO |
|
||||
|--------|------|-----|------|-----------|
|
||||
| kobest_boolq | 50.28% | 50.14% | 50.57% | +0.3pp |
|
||||
| kobest_copa | 49.30% | 48.60% | 63.90% | +14.6pp |
|
||||
| kobest_hellaswag | 21.60% | 19.80% | 38.00% | +16.4pp |
|
||||
| kobest_sentineg | 48.61% | 49.12% | 62.47% | +13.9pp |
|
||||
| kobest_wic | 48.65% | 48.65% | 48.81% | +0.2pp |
|
||||
| **평균** | **43.69%** | **43.26%** | **52.75%** | **+9.1pp** |
|
||||
|
||||
### HAE-RAE (0-shot)
|
||||
|
||||
- Base: 19.71% → SFT: 19.89% → ORPO: 21.81%
|
||||
|
||||
### MMLU-KO (0-shot)
|
||||
|
||||
- Base: 22.75% → SFT: 26.00% → ORPO: 24.50%
|
||||
|
||||
## 6. 영어 벤치마크
|
||||
|
||||
| 태스크 | Base | SFT | ORPO | Base→ORPO |
|
||||
|--------|------|-----|------|-----------|
|
||||
| hellaswag | 26.15% | 26.07% | 29.20% | +3.0pp |
|
||||
| arc_easy | 25.63% | 25.93% | 36.03% | +10.4pp |
|
||||
| arc_challenge | 27.90% | 27.56% | 22.61% | -5.3pp |
|
||||
| winogrande | 50.59% | 50.75% | 50.99% | +0.4pp |
|
||||
| piqa | 52.50% | 52.61% | 59.85% | +7.3pp |
|
||||
| MMLU-EN 평균 | 25.81% | 25.72% | 23.26% | -2.6pp |
|
||||
|
||||
## 7. Calibration 비교
|
||||
|
||||
| 지표 | Base | SFT | ORPO |
|
||||
|------|------|-----|------|
|
||||
| Top-1 Accuracy | 0.6875 | 0.6859 | 0.6799 |
|
||||
| Top-5 Accuracy | 0.8164 | 0.8155 | 0.8133 |
|
||||
| Top-10 Accuracy | 0.8593 | 0.8579 | 0.8563 |
|
||||
|
||||
## 8. ORPO 고유 지표
|
||||
|
||||
- **최종 Preference Accuracy**: 76.02%
|
||||
- **최종 Reward Margins**: 0.6100
|
||||
- **Parameter Sensitivity**: rep_penalty=1.0 → 3-gram rep=0.64% (목표 < 5%) → PASS
|
||||
|
||||
## 9. 반복률 그리드 서치
|
||||
|
||||
| 설정 | Temp | Rep Pen | 3-gram | 4-gram | EOS Rate | Avg Tokens |
|
||||
|------|------|---------|--------|--------|----------|-----------|
|
||||
| t0.7_rep1.2 | 0.70 | 1.20 | 0.0000 | 0.0000 | 1.0000 | 189.2 | **← best**
|
||||
| t0.9_rep1.1 | 0.90 | 1.10 | 0.0000 | 0.0000 | 0.2000 | 213.0 |
|
||||
| t0.9_rep1.2 | 0.90 | 1.20 | 0.0000 | 0.0000 | 0.6000 | 200.0 |
|
||||
| t1.0_rep1.1 | 1.00 | 1.10 | 0.0000 | 0.0000 | 0.8000 | 118.4 |
|
||||
| t0.5_rep1.1 | 0.50 | 1.10 | 0.0013 | 0.0000 | 0.6000 | 198.8 |
|
||||
| t0.7_rep1.1 | 0.70 | 1.10 | 0.0017 | 0.0000 | 0.6000 | 177.0 |
|
||||
| t0.7_rep1.3 | 0.70 | 1.30 | 0.0017 | 0.0000 | 1.0000 | 131.4 |
|
||||
| t1.0 | 1.00 | 1.00 | 0.0064 | 0.0024 | 1.0000 | 136.8 |
|
||||
| t0.9 | 0.90 | 1.00 | 0.0376 | 0.0228 | 0.8000 | 150.2 |
|
||||
| t0.7 | 0.70 | 1.00 | 0.0789 | 0.0394 | 0.8000 | 196.2 |
|
||||
| t0.5 | 0.50 | 1.00 | 0.0843 | 0.0620 | 0.8000 | 119.0 |
|
||||
| greedy | 0.00 | 1.00 | 0.3157 | 0.2901 | 0.4000 | 173.2 |
|
||||
|
||||
## 10. 생성 샘플
|
||||
|
||||
### ORPO Greedy 생성 샘플
|
||||
|
||||
**[1]** `대한민국의 수도는`
|
||||
> 대한민국은 서울을 수도로 하는 대한민국의 수도입니다. 서울은 대한민국의 수도이며, 대한민국의 수도입니다.
|
||||
> *EOS=True, 3gram_rep=0.00%, tokens=22*
|
||||
|
||||
**[2]** `인공지능이란`
|
||||
> 인공지능(AI)은 컴퓨터가 인간의 지능을 모방하도록 설계된 인공 지능의 하위 집합입니다. 이는 컴퓨터가 인간과 같은 방식으로 생각하고, 문제를 해결하고, 의사 결정을 내릴 수 있도록 하는 컴퓨터 시스템의 하위 집합입니다. 인공지능은 컴퓨터가 인간과 같은 방식으로 생각하고, 문제를 해결하고, 의사 결정을 내릴 수 있도록 하는 데 도움이 되는 알고리즘, 데이터 구조, 소프트웨어를 개발합니다.
|
||||
> *EOS=True, 3gram_rep=22.92%, tokens=76*
|
||||
|
||||
**[3]** `한국의 전통 음식 중에서`
|
||||
> 한국의 전통 음식 중 몇 가지를 소개해 드릴게요:1. **김치**: 한국의 김치는 한국의 전통 발효 식품으로, 김치를 담그는 방법과 김치를 만드는 방법에 따라 다양한 종류가 있습니다. 일반적으로 김치는 무, 배추, 고추, 마늘, 생강, 파, 고추씨, 고추씨 기름, 소금, 설탕, 식초, 마늘 가루, 생강 가루, 파, 마늘 가루, 생강 가루, 파, 고추씨 기름, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕,
|
||||
> *EOS=False, 3gram_rep=58.97%, tokens=256*
|
||||
|
||||
**[4]** `지구 온난화의 주요 원인은`
|
||||
> 지구 온난화의 주요 원인은 여러 가지가 있습니다. 다음은 주요 원인 중 일부입니다:1. 화석 연료 연소: 화석 연료는 온실가스이며, 이는 지구 온난화의 주요 원인 중 하나입니다. 화석 연료 연소는 온실가스를 대기 중으로 방출하여 지구 온도를 상승시킵니다.2. 산림 벌채: 산림 벌채는 온실가스 배출의 주요 원인 중 하나입니다. 산림 벌채는 산림을 벌채하여 이산화탄소와 기타 온실가스를 대기 중으로 방출합니다.3. 산업 활동: 산업 활동은 온실가스 배출의 주요 원인 중 하나입니다. 산업 활동으로 인한 온실가스 배출은 지구 온난화의 주요 원인 중 하나입니다.4. 삼림 벌채: 삼림 벌채는 온실가스 배출의 주요 원인 중 하나입니다. 삼림 벌채는 삼림을 벌채하여 이산화탄소와 기타 온실가스를 대기 중으로 방출합니다.5. 삼림 벌채에 대한 규제: 삼림 벌채에 대한 규제는 온실가스 배출을 줄이는 데 도움이 될 수 있습니다. 예를 들어, 산림 벌채에 대한 규제는 산림 벌채의 영향을 받는 토지의 면적을
|
||||
> *EOS=False, 3gram_rep=22.73%, tokens=256*
|
||||
|
||||
**[5]** `프로그래밍을 배우려면`
|
||||
> 프로그래밍을 배우는 것은 흥미롭고 도전적인 경험이 될 수 있지만, 학습을 시작하기 전에 고려해야 할 몇 가지 사항이 있습니다:1. 학습 목표: 프로그래밍을 처음 접하는 경우, 학습 목표와 달성하고자 하는 목표를 명확하게 정의하는 것이 중요합니다. 프로그래밍의 기본 사항을 배우고 싶으신가요, 아니면 더 고급 주제를 배우고 싶으신가요? 프로그래밍의 기본 사항을 이해하면 더 깊이 있는 학습을 할 수 있습니다.2. 학습 속도: 프로그래밍을 배우는 데는 시간이 걸릴 수 있으며, 학습 속도는 학습 속도에 영향을 미칠 수 있습니다. 학습 속도를 높이려면 학습 자료를 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더
|
||||
> *EOS=False, 3gram_rep=53.25%, tokens=256*
|
||||
|
||||
**[6]** `조선시대에는`
|
||||
> 조선시대에는 다양한 사회 계층이 존재했습니다. 다음은 조선시대의 사회 계층에 대한 몇 가지 주요 사항입니다:1. 양반: 조선시대에는 양반이 가장 높은 계층이었습니다. 양반은 주로 토지와 노비를 소유하고, 토지와 노비를 통해 부를 축적했습니다. 또한 양반은 관직에 진출하여 관료로 활동했습니다.2. 중인: 중인은 주로 토지와 노비를 소유하고, 관직에 진출하여 관료로 활동했습니다. 그들은 주로 상업과 무역에 종사했습니다.3. 상민: 상민은 주로 토지와 노비를 소유하고, 관직에 진출하여 관료로 활동했습니다. 그들은 주로 상업과 무역에 종사했습니다.4. 천민: 천민은 주로 토지와 노비를 소유하고, 관직에 진출하여 관료로 활동했습니다. 그들은 주로 농업과 상업에 종사했습니다.5. 천민: 천민은 주로 토지와 노비를 소유하고, 관직에 진출하여 관료로 활동했습니다. 그들은 주로 농업과 상업에 종사했습니다.
|
||||
> *EOS=True, 3gram_rep=35.11%, tokens=192*
|
||||
|
||||
**[7]** `물리학에서 에너지란`
|
||||
> 물리학에서 에너지는 물체의 운동, 에너지의 변화, 또는 에너지의 양을 나타내는 양을 말합니다. 에너지는 물체의 운동, 에너지의 변화, 또는 에너지의 양을 나타내는 양을 측정하는 양입니다. 에너지는 물체의 운동, 에너지의 변화, 또는 에너지의 양을 측정하는 양입니다.
|
||||
> *EOS=True, 3gram_rep=46.88%, tokens=67*
|
||||
|
||||
**[8]** `한국어는 세계에서`
|
||||
> 한국어는 세계에서 가장 널리 사용되는 언어 중 하나입니다. 한국어는 한국어를 사용하는 사람들을 위해 만들어진 언어이며, 한국어를 사용하는 사람들은 한국어를 모국어로 사용하는 사람들보다 더 많은 시간을 한국어를 배우고 사용할 수 있습니다. 한국어는 한국어를 사용하는 사람들을 위해 만들어진 언어이며, 한국어를 사용하는 사람들은 한국어를 모국어로 사용하는 사람들보다 더 많은 시간을 한국어를 배우고 사용할 수 있습니다.
|
||||
> *EOS=True, 3gram_rep=40.00%, tokens=76*
|
||||
|
||||
**[9]** `경제 성장을 위해서는`
|
||||
> 경제 성장을 위해서는 여러 가지 방법이 있습니다. 다음은 몇 가지 주요 방법입니다:1. 정부 지출 증가: 정부 지출은 경제 성장을 촉진하는 데 중요한 역할을 합니다. 정부는 경제 성장을 촉진하기 위해 다양한 정책을 시행할 수 있습니다. 예를 들어, 세금 감면, 보조금 제공, 세금 감면 등이 있습니다.2. 기업 투자 촉진: 기업은 새로운 산업을 창출하고 새로운 일자리를 창출하며 경제 성장을 촉진하는 데 중요한 역할을 합니다. 기업은 새로운 제품과 서비스를 개발하고, 새로운 시장을 개척하며, 새로운 시장을 개척하는 데 투자할 수 있습니다.3. 기술 혁신 촉진: 기술 혁신은 경제 성장을 촉진하는 데 중요한 역할을 합니다. 새로운 기술 개발, 새로운 제품 개발, 새로운 시장 개척 등이 경제 성장을 촉진하는 데 도움이 될 수 있습니다.4. 규제 완화: 규제는 경제 성장을 촉진하는 데 중요한 역할을 합니다. 정부는 새로운 규제를 도입하고, 새로운 정책을 시행하며, 새로운 산업을 육성할 수 있습
|
||||
> *EOS=False, 3gram_rep=27.33%, tokens=256*
|
||||
|
||||
**[10]** `우주 탐사의 역사를 보면`
|
||||
> 우주 탐사의 역사는 오래되었으며, 그 역사는 매우 다양합니다. 다음은 우주 탐사의 주요 시대와 그 주요 사건입니다:1. 초기 우주 탐사:1960년대와 1970년대에 우주 탐사가 시작되었습니다. 이 시기에는 우주 탐사선이 발사되어 지구 궤도에 진입하고, 우주선이 지구로 귀환하는 등 우주 탐사가 시작되었습니다.2. 우주 탐사의 발전:1980년대와 1990년대에는 우주 탐사가 더욱 발전하여 우주 탐사 임무가 더욱 다양해졌습니다. 이 시기에는 우주 탐사선이 발사되어 지구 궤도에 진입하고, 우주선이 지구로 귀환하는 등 우주 탐사가 더욱 발전했습니다.3. 우주 탐사의 절정:1990년대에는 우주 탐사가 절정에 달하여 우주 탐사 임무가 더욱 다양해졌습니다. 이 시기에는 우주 탐사선이 발사되어 지구 궤도에 진입하고, 우주선이 지구로 귀환하는 등 우주 탐사가 더욱 발전했습니다.4. 우주 탐사의 쇠퇴:2000년대와 2010년대에는 우주 탐사가 쇠퇴하여 우주 탐사 임무가 더 이상 존재하지 않게 되었습니다
|
||||
> *EOS=True, 3gram_rep=31.20%, tokens=223*
|
||||
|
||||
**[11]** `머신러닝과 딥러닝의 차이는`
|
||||
> 머신 러닝과 딥 러닝은 모두 인공 지능의 하위 집합이지만, 그 정의와 적용 분야에는 차이가 있습니다.머신 러닝은 컴퓨터가 데이터를 통해 학습하고 예측을 수행하는 데 사용되는 인공 지능의 한 유형입니다. 이는 데이터에서 학습하고 패턴을 식별하는 데 중점을 둔 머신 러닝의 하위 집합입니다. 머신 러닝은 데이터에서 학습하고 예측을 수행하는 데 사용되는 알고리즘과 모델을 사용하여 학습할 수 있는 데이터의 유형입니다.머신 러닝은 일반적으로 데이터에서 학습하고 패턴을 식별하는 데 사용되는 알고리즘과 모델을 사용하여 학습할 수 있는 데이터의 유형입니다. 예를 들어, 머신 러닝은 지도 학습, 비지도 학습, 강화 학습의 세 가지 주요 유형으로 분류할 수 있습니다. 지도 학습은 지도 학습이라고도 하며, 데이터에서 학습하고 패턴을 식별하는 데 사용되는 알고리즘과 모델을 사용하여 학습할 수 있는 데이터의 유형입니다. 비지도 학습은 지도 학습과 유사하지만, 데이터에서 학습하고 패턴을 식별하는 데 사용되는
|
||||
> *EOS=True, 3gram_rep=35.42%, tokens=232*
|
||||
|
||||
**[12]** `한국 문학의 대표적인 작품으로는`
|
||||
> 한국 문학의 대표적인 작품으로는 다음과 같은 것들이 있습니다:1. **윤동주 시인의 '서시'**: 윤동주 시인의 시는 한국 문학의 대표작으로, 그의 시는 한국 현대 문학의 발전에 큰 영향을 미쳤습니다.2. **김수영 시인의 '풀'**: 김춘수의 시 '풀'은 한국 현대시의 대표작으로, 그의 시는 한국 현대 문학의 발전에 큰 영향을 미쳤습니다.3. **김수영 시인의 '풀'**: 김춘수의 시 '풀'은 한국 현대시의 대표작으로, 그의 시는 한국 현대 문학의 발전에 큰 영향을 미쳤습니다.4. **김수영 시인의 '풀'**: 김춘수의 시 '풀'은 한국 현대시의 대표작으로, 그의 시는 한국 현대 문학의 발전에 큰 영향을 미쳤습니다.
|
||||
> *EOS=True, 3gram_rep=47.44%, tokens=177*
|
||||
|
||||
**[13]** `양자 컴퓨터란`
|
||||
> 양자 컴퓨터는 양자 역학의 원리를 사용하여 정보를 처리하는 컴퓨터입니다. 이 컴퓨터는 양자 비트 또는 큐비트로 알려진 양자 비트를 사용하여 정보를 처리합니다. 양자 컴퓨터는 양자 비트의 양자 중첩을 사용하여 정보를 저장하고 조작할 수 있습니다.
|
||||
> *EOS=True, 3gram_rep=3.23%, tokens=50*
|
||||
|
||||
**[14]** `건강한 식습관을 위해서는`
|
||||
> 건강한 식습관은 개인의 건강과 웰빙에 매우 중요합니다. 다음은 건강한 식습관을 위해 따라야 할 몇 가지 팁입니다:1. 규칙적인 식사: 매일 일정한 양의 식사를 섭취하면 신체가 필요한 영양소를 공급받을 수 있습니다. 규칙적인 식사는 신체가 필요한 영양소를 더 잘 흡수할 수 있도록 도와줍니다.2. 과일과 채소: 과일과 채소는 비타민, 미네랄, 섬유질 등 다양한 영양소를 제공합니다. 이러한 영양소를 충분히 섭취하면 전반적인 건강을 개선하는 데 도움이 됩니다.3. 건강한 지방: 포화 지방과 트랜스 지방은 건강에 해로울 수 있으므로 피하세요. 대신 건강한 지방을 선택하세요.4. 통곡물: 통곡물은 섬유질, 비타민, 미네랄이 풍부하여 건강한 소화를 돕습니다. 통곡물을 섭취하면 소화가 더 잘 되고 더 많은 영양소를 섭취할 수 있습니다.5. 저지방 단백질: 저지방 단백질은 근육과 뼈 건강에 필수적입니다. 저지방 단백질을 섭취하면 근육량을 늘리고 뼈 건강을 개선하는 데 도움이 됩니다.6. 저지방 유제
|
||||
> *EOS=False, 3gram_rep=7.97%, tokens=256*
|
||||
|
||||
**[15]** `세계 2차 대전 이후`
|
||||
> 세계 2차 대전 이후, 유럽과 아시아의 많은 국가에서 다양한 사회, 경제, 정치 시스템이 변화했습니다. 다음은 몇 가지 주요 변화입니다:1. 경제: 유럽과 아시아의 많은 국가에서 경제는 크게 변화했습니다. 유럽은 산업화와 도시화가 진행되면서 경제가 크게 성장했습니다. 아시아는 여전히 많은 사람들이 일하고 있지만, 많은 사람들이 농촌에서 도시로 이주하면서 경제가 크게 변화했습니다.2. 정치: 유럽과 아시아의 많은 국가에서 정치는 크게 변화했습니다. 유럽은 민주주의와 인권의 확산으로 인해 정치 시스템이 크게 변화했습니다. 아시아는 여전히 많은 사람들이 일하고 있지만, 많은 사람들이 농촌에서 도시로 이주하면서 정치 시스템이 크게 변화했습니다.3. 사회: 유럽과 아시아의 많은 국가에서 사회는 크게 변화했습니다. 유럽은 산업화와 도시화가 진행되면서 사회가 크게 변화했습니다. 아시아는 여전히 많은 사람들이 일하고 있지만, 많은 사람들이 농촌에서 도시로 이주하면서 사회가 크게 변화했습니다.
|
||||
> *EOS=True, 3gram_rep=30.84%, tokens=181*
|
||||
|
||||
## 11. 최종 판정
|
||||
|
||||
### 배포 기준 충족 여부
|
||||
|
||||
| 조건 | 기준 | 현재 값 | 충족 |
|
||||
|------|------|---------|------|
|
||||
| Greedy 3-gram 반복률 | < 5% | 30.89% | NO |
|
||||
| EOS 종료율 | > 90% | 66.67% | NO |
|
||||
| PPL Forgetting | < 5% | 4.1% | YES |
|
||||
| KoBEST 평균 | >= 43% | 52.75% | YES |
|
||||
|
||||
**→ 배포 기준 미달: RETRY (ORPO 재학습 또는 하이퍼파라미터 조정 필요)**
|
||||
|
||||
---
|
||||
|
||||
*이 보고서는 `eval/report_generator.py::generate_three_way_report()`에 의해 자동 생성되었습니다.*
|
||||
@@ -0,0 +1,27 @@
|
||||
{
|
||||
"calibration": {
|
||||
"n_eval_tokens": 144802,
|
||||
"top1_accuracy": 0.6799,
|
||||
"top5_accuracy": 0.8133,
|
||||
"top10_accuracy": 0.8563,
|
||||
"mean_correct_prob": 0.6002,
|
||||
"mean_entropy": 1.6353,
|
||||
"elapsed_sec": 2.2
|
||||
},
|
||||
"token_nll": {
|
||||
"n_eval_tokens": 144802,
|
||||
"nll_mean": 1.5989,
|
||||
"nll_std": 2.5038,
|
||||
"nll_median": 0.1904,
|
||||
"nll_percentiles": {
|
||||
"p5": 0.0,
|
||||
"p25": 0.0021,
|
||||
"p75": 2.4375,
|
||||
"p95": 7.0312,
|
||||
"p99": 10.375
|
||||
},
|
||||
"high_loss_fraction_5": 0.111463,
|
||||
"high_loss_fraction_10": 0.012141,
|
||||
"elapsed_sec": 1.7
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,17 @@
|
||||
[TASK_RUNNER gpu_id=5] Starting task=calib_nll
|
||||
[TASK_RUNNER gpu_id=5] NUMA affinity set: cores 36-71
|
||||
/usr/local/lib/python3.12/dist-packages/torch/library.py:356: UserWarning: Warning only once for all operators, other operators may also be overridden.
|
||||
Overriding a previously registered kernel for the same operator and the same dispatch key
|
||||
operator: flash_attn::_flash_attn_backward(Tensor dout, Tensor q, Tensor k, Tensor v, Tensor out, Tensor softmax_lse, Tensor(a6!)? dq, Tensor(a7!)? dk, Tensor(a8!)? dv, float dropout_p, float softmax_scale, bool causal, SymInt window_size_left, SymInt window_size_right, float softcap, Tensor? alibi_slopes, bool deterministic, Tensor? rng_state=None) -> Tensor
|
||||
registered at /usr/local/lib/python3.12/dist-packages/torch/_library/custom_ops.py:922
|
||||
dispatch key: ADInplaceOrView
|
||||
previous kernel: no debug info
|
||||
new kernel: registered at /usr/local/lib/python3.12/dist-packages/torch/_library/custom_ops.py:922 (Triggered internally at /opt/pytorch/pytorch/aten/src/ATen/core/dispatch/OperatorEntry.cpp:208.)
|
||||
self.m.impl(
|
||||
[CALIB cuda:0] Loading model...
|
||||
[CALIB cuda:0] Using 50,000 tokens from 3b_val.bin
|
||||
[CALIB cuda:0] DONE top1=0.6799, top5=0.8133, top10=0.8563, entropy=1.6353, 2.2s
|
||||
[NLL cuda:0] Loading model...
|
||||
[NLL cuda:0] Using 50,000 tokens from 3b_val.bin
|
||||
[NLL cuda:0] DONE n=144,802, mean=1.5989, std=2.5038, median=0.1904, high_loss(>5)=11.15%, high_loss(>10)=1.21%, 1.7s
|
||||
[TASK_RUNNER gpu_id=5] Done. Result saved to eval/outputs/3b_orpo_eval_20260309_0607/phase1_calib_nll_gpu5.json
|
||||
File diff suppressed because it is too large
Load Diff
@@ -0,0 +1,74 @@
|
||||
[TASK_RUNNER gpu_id=6] Starting task=generation
|
||||
[TASK_RUNNER gpu_id=6] NUMA affinity set: cores 36-71
|
||||
/usr/local/lib/python3.12/dist-packages/torch/library.py:356: UserWarning: Warning only once for all operators, other operators may also be overridden.
|
||||
Overriding a previously registered kernel for the same operator and the same dispatch key
|
||||
operator: flash_attn::_flash_attn_backward(Tensor dout, Tensor q, Tensor k, Tensor v, Tensor out, Tensor softmax_lse, Tensor(a6!)? dq, Tensor(a7!)? dk, Tensor(a8!)? dv, float dropout_p, float softmax_scale, bool causal, SymInt window_size_left, SymInt window_size_right, float softcap, Tensor? alibi_slopes, bool deterministic, Tensor? rng_state=None) -> Tensor
|
||||
registered at /usr/local/lib/python3.12/dist-packages/torch/_library/custom_ops.py:922
|
||||
dispatch key: ADInplaceOrView
|
||||
previous kernel: no debug info
|
||||
new kernel: registered at /usr/local/lib/python3.12/dist-packages/torch/_library/custom_ops.py:922 (Triggered internally at /opt/pytorch/pytorch/aten/src/ATen/core/dispatch/OperatorEntry.cpp:208.)
|
||||
self.m.impl(
|
||||
[GEN cuda:0] Loading model...
|
||||
[GEN cuda:0] Chat template ENABLED
|
||||
[GEN cuda:0] (1/60) 대한민국의 수도는... (greedy): 22tok, 3gram_rep=0.00%, eos=True
|
||||
[GEN cuda:0] (2/60) 대한민국의 수도는... (t=0.5): 256tok, 3gram_rep=44.36%, eos=False
|
||||
[GEN cuda:0] (3/60) 대한민국의 수도는... (t=0.8): 43tok, 3gram_rep=0.00%, eos=True
|
||||
[GEN cuda:0] (4/60) 대한민국의 수도는... (t=1.0): 29tok, 3gram_rep=0.00%, eos=True
|
||||
[GEN cuda:0] (5/60) 인공지능이란... (greedy): 76tok, 3gram_rep=22.92%, eos=True
|
||||
[GEN cuda:0] (6/60) 인공지능이란... (t=0.5): 154tok, 3gram_rep=12.90%, eos=True
|
||||
[GEN cuda:0] (7/60) 인공지능이란... (t=0.8): 191tok, 3gram_rep=5.88%, eos=True
|
||||
[GEN cuda:0] (8/60) 인공지능이란... (t=1.0): 69tok, 3gram_rep=0.00%, eos=True
|
||||
[GEN cuda:0] (9/60) 한국의 전통 음식 중에서... (greedy): 256tok, 3gram_rep=58.97%, eos=False
|
||||
[GEN cuda:0] (10/60) 한국의 전통 음식 중에서... (t=0.5): 231tok, 3gram_rep=21.36%, eos=True
|
||||
[GEN cuda:0] (11/60) 한국의 전통 음식 중에서... (t=0.8): 256tok, 3gram_rep=9.88%, eos=False
|
||||
[GEN cuda:0] (12/60) 한국의 전통 음식 중에서... (t=1.0): 212tok, 3gram_rep=0.83%, eos=True
|
||||
[GEN cuda:0] (13/60) 지구 온난화의 주요 원인은... (greedy): 256tok, 3gram_rep=22.73%, eos=False
|
||||
[GEN cuda:0] (14/60) 지구 온난화의 주요 원인은... (t=0.5): 185tok, 3gram_rep=17.53%, eos=True
|
||||
[GEN cuda:0] (15/60) 지구 온난화의 주요 원인은... (t=0.8): 199tok, 3gram_rep=3.48%, eos=True
|
||||
[GEN cuda:0] (16/60) 지구 온난화의 주요 원인은... (t=1.0): 59tok, 3gram_rep=2.63%, eos=True
|
||||
[GEN cuda:0] (17/60) 프로그래밍을 배우려면... (greedy): 256tok, 3gram_rep=53.25%, eos=False
|
||||
[GEN cuda:0] (18/60) 프로그래밍을 배우려면... (t=0.5): 217tok, 3gram_rep=7.75%, eos=True
|
||||
[GEN cuda:0] (19/60) 프로그래밍을 배우려면... (t=0.8): 256tok, 3gram_rep=10.06%, eos=False
|
||||
[GEN cuda:0] (20/60) 프로그래밍을 배우려면... (t=1.0): 256tok, 3gram_rep=0.60%, eos=False
|
||||
[GEN cuda:0] (21/60) 조선시대에는... (greedy): 192tok, 3gram_rep=35.11%, eos=True
|
||||
[GEN cuda:0] (22/60) 조선시대에는... (t=0.5): 222tok, 3gram_rep=1.79%, eos=True
|
||||
[GEN cuda:0] (23/60) 조선시대에는... (t=0.8): 256tok, 3gram_rep=0.68%, eos=False
|
||||
[GEN cuda:0] (24/60) 조선시대에는... (t=1.0): 171tok, 3gram_rep=0.00%, eos=True
|
||||
[GEN cuda:0] (25/60) 물리학에서 에너지란... (greedy): 67tok, 3gram_rep=46.88%, eos=True
|
||||
[GEN cuda:0] (26/60) 물리학에서 에너지란... (t=0.5): 221tok, 3gram_rep=25.38%, eos=True
|
||||
[GEN cuda:0] (27/60) 물리학에서 에너지란... (t=0.8): 30tok, 3gram_rep=0.00%, eos=True
|
||||
[GEN cuda:0] (28/60) 물리학에서 에너지란... (t=1.0): 55tok, 3gram_rep=0.00%, eos=True
|
||||
[GEN cuda:0] (29/60) 한국어는 세계에서... (greedy): 76tok, 3gram_rep=40.00%, eos=True
|
||||
[GEN cuda:0] (30/60) 한국어는 세계에서... (t=0.5): 92tok, 3gram_rep=53.97%, eos=True
|
||||
[GEN cuda:0] (31/60) 한국어는 세계에서... (t=0.8): 256tok, 3gram_rep=3.17%, eos=False
|
||||
[GEN cuda:0] (32/60) 한국어는 세계에서... (t=1.0): 256tok, 3gram_rep=1.32%, eos=False
|
||||
[GEN cuda:0] (33/60) 경제 성장을 위해서는... (greedy): 256tok, 3gram_rep=27.33%, eos=False
|
||||
[GEN cuda:0] (34/60) 경제 성장을 위해서는... (t=0.5): 256tok, 3gram_rep=14.02%, eos=False
|
||||
[GEN cuda:0] (35/60) 경제 성장을 위해서는... (t=0.8): 213tok, 3gram_rep=1.67%, eos=True
|
||||
[GEN cuda:0] (36/60) 경제 성장을 위해서는... (t=1.0): 135tok, 3gram_rep=0.00%, eos=True
|
||||
[GEN cuda:0] (37/60) 우주 탐사의 역사를 보면... (greedy): 223tok, 3gram_rep=31.20%, eos=True
|
||||
[GEN cuda:0] (38/60) 우주 탐사의 역사를 보면... (t=0.5): 256tok, 3gram_rep=23.61%, eos=False
|
||||
[GEN cuda:0] (39/60) 우주 탐사의 역사를 보면... (t=0.8): 255tok, 3gram_rep=5.30%, eos=True
|
||||
[GEN cuda:0] (40/60) 우주 탐사의 역사를 보면... (t=1.0): 256tok, 3gram_rep=0.00%, eos=False
|
||||
[GEN cuda:0] (41/60) 머신러닝과 딥러닝의 차이는... (greedy): 232tok, 3gram_rep=35.42%, eos=True
|
||||
[GEN cuda:0] (42/60) 머신러닝과 딥러닝의 차이는... (t=0.5): 242tok, 3gram_rep=25.49%, eos=True
|
||||
[GEN cuda:0] (43/60) 머신러닝과 딥러닝의 차이는... (t=0.8): 224tok, 3gram_rep=19.31%, eos=True
|
||||
[GEN cuda:0] (44/60) 머신러닝과 딥러닝의 차이는... (t=1.0): 185tok, 3gram_rep=0.78%, eos=True
|
||||
[GEN cuda:0] (45/60) 한국 문학의 대표적인 작품으... (greedy): 177tok, 3gram_rep=47.44%, eos=True
|
||||
[GEN cuda:0] (46/60) 한국 문학의 대표적인 작품으... (t=0.5): 189tok, 3gram_rep=22.99%, eos=True
|
||||
[GEN cuda:0] (47/60) 한국 문학의 대표적인 작품으... (t=0.8): 256tok, 3gram_rep=0.00%, eos=False
|
||||
[GEN cuda:0] (48/60) 한국 문학의 대표적인 작품으... (t=1.0): 238tok, 3gram_rep=0.00%, eos=True
|
||||
[GEN cuda:0] (49/60) 양자 컴퓨터란... (greedy): 50tok, 3gram_rep=3.23%, eos=True
|
||||
[GEN cuda:0] (50/60) 양자 컴퓨터란... (t=0.5): 210tok, 3gram_rep=39.57%, eos=True
|
||||
[GEN cuda:0] (51/60) 양자 컴퓨터란... (t=0.8): 56tok, 3gram_rep=5.71%, eos=True
|
||||
[GEN cuda:0] (52/60) 양자 컴퓨터란... (t=1.0): 54tok, 3gram_rep=0.00%, eos=True
|
||||
[GEN cuda:0] (53/60) 건강한 식습관을 위해서는... (greedy): 256tok, 3gram_rep=7.97%, eos=False
|
||||
[GEN cuda:0] (54/60) 건강한 식습관을 위해서는... (t=0.5): 224tok, 3gram_rep=0.00%, eos=True
|
||||
[GEN cuda:0] (55/60) 건강한 식습관을 위해서는... (t=0.8): 256tok, 3gram_rep=2.72%, eos=False
|
||||
[GEN cuda:0] (56/60) 건강한 식습관을 위해서는... (t=1.0): 256tok, 3gram_rep=1.52%, eos=False
|
||||
[GEN cuda:0] (57/60) 세계 2차 대전 이후... (greedy): 181tok, 3gram_rep=30.84%, eos=True
|
||||
[GEN cuda:0] (58/60) 세계 2차 대전 이후... (t=0.5): 30tok, 3gram_rep=0.00%, eos=True
|
||||
[GEN cuda:0] (59/60) 세계 2차 대전 이후... (t=0.8): 56tok, 3gram_rep=0.00%, eos=True
|
||||
[GEN cuda:0] (60/60) 세계 2차 대전 이후... (t=1.0): 198tok, 3gram_rep=0.00%, eos=True
|
||||
[GEN cuda:0] DONE greedy 3gram_rep=0.3089, eos_rate=66.67%, 81.1s
|
||||
[TASK_RUNNER gpu_id=6] Done. Result saved to eval/outputs/3b_orpo_eval_20260309_0607/phase1_generation_gpu6.json
|
||||
@@ -0,0 +1,24 @@
|
||||
[
|
||||
{
|
||||
"name": "korean_c4",
|
||||
"file": "korean_c4_val.bin",
|
||||
"n_tokens": 15159838,
|
||||
"n_eval_tokens": 45445722,
|
||||
"ppl": 5.8745,
|
||||
"bits_per_token": 2.5545,
|
||||
"avg_nll": 1.770626,
|
||||
"elapsed_sec": 491.2,
|
||||
"device": "cuda:0"
|
||||
},
|
||||
{
|
||||
"name": "korean",
|
||||
"file": "korean_val.bin",
|
||||
"n_tokens": 17850578,
|
||||
"n_eval_tokens": 53512147,
|
||||
"ppl": 7.2203,
|
||||
"bits_per_token": 2.8521,
|
||||
"avg_nll": 1.9769,
|
||||
"elapsed_sec": 578.3,
|
||||
"device": "cuda:0"
|
||||
}
|
||||
]
|
||||
@@ -0,0 +1,55 @@
|
||||
[TASK_RUNNER gpu_id=1] Starting task=ppl_multi
|
||||
[TASK_RUNNER gpu_id=1] NUMA affinity set: cores 0-35
|
||||
/usr/local/lib/python3.12/dist-packages/torch/library.py:356: UserWarning: Warning only once for all operators, other operators may also be overridden.
|
||||
Overriding a previously registered kernel for the same operator and the same dispatch key
|
||||
operator: flash_attn::_flash_attn_backward(Tensor dout, Tensor q, Tensor k, Tensor v, Tensor out, Tensor softmax_lse, Tensor(a6!)? dq, Tensor(a7!)? dk, Tensor(a8!)? dv, float dropout_p, float softmax_scale, bool causal, SymInt window_size_left, SymInt window_size_right, float softcap, Tensor? alibi_slopes, bool deterministic, Tensor? rng_state=None) -> Tensor
|
||||
registered at /usr/local/lib/python3.12/dist-packages/torch/_library/custom_ops.py:922
|
||||
dispatch key: ADInplaceOrView
|
||||
previous kernel: no debug info
|
||||
new kernel: registered at /usr/local/lib/python3.12/dist-packages/torch/_library/custom_ops.py:922 (Triggered internally at /opt/pytorch/pytorch/aten/src/ATen/core/dispatch/OperatorEntry.cpp:208.)
|
||||
self.m.impl(
|
||||
[PPL_MULTI cuda:0] Loading model once for 2 files...
|
||||
[PPL cuda:0] korean_c4: 15,159,838 tokens, 30.3 MB
|
||||
[PPL cuda:0] korean_c4: batch 50/926, running PPL=5.5121, 27s
|
||||
[PPL cuda:0] korean_c4: batch 100/926, running PPL=6.1635, 53s
|
||||
[PPL cuda:0] korean_c4: batch 150/926, running PPL=5.6819, 80s
|
||||
[PPL cuda:0] korean_c4: batch 200/926, running PPL=6.2143, 106s
|
||||
[PPL cuda:0] korean_c4: batch 250/926, running PPL=6.1376, 133s
|
||||
[PPL cuda:0] korean_c4: batch 300/926, running PPL=6.1179, 159s
|
||||
[PPL cuda:0] korean_c4: batch 350/926, running PPL=6.0748, 186s
|
||||
[PPL cuda:0] korean_c4: batch 400/926, running PPL=6.0394, 212s
|
||||
[PPL cuda:0] korean_c4: batch 450/926, running PPL=6.0028, 239s
|
||||
[PPL cuda:0] korean_c4: batch 500/926, running PPL=5.8109, 265s
|
||||
[PPL cuda:0] korean_c4: batch 550/926, running PPL=5.8244, 292s
|
||||
[PPL cuda:0] korean_c4: batch 600/926, running PPL=5.8171, 319s
|
||||
[PPL cuda:0] korean_c4: batch 650/926, running PPL=5.7737, 345s
|
||||
[PPL cuda:0] korean_c4: batch 700/926, running PPL=5.8390, 372s
|
||||
[PPL cuda:0] korean_c4: batch 750/926, running PPL=5.8929, 398s
|
||||
[PPL cuda:0] korean_c4: batch 800/926, running PPL=5.8987, 425s
|
||||
[PPL cuda:0] korean_c4: batch 850/926, running PPL=5.8780, 451s
|
||||
[PPL cuda:0] korean_c4: batch 900/926, running PPL=5.8598, 478s
|
||||
[PPL cuda:0] DONE korean_c4: PPL=5.8745, BPT=2.5545, 491.2s
|
||||
[PPL cuda:0] korean: 17,850,578 tokens, 35.7 MB
|
||||
[PPL cuda:0] korean: batch 50/1090, running PPL=5.5121, 27s
|
||||
[PPL cuda:0] korean: batch 100/1090, running PPL=6.1635, 53s
|
||||
[PPL cuda:0] korean: batch 150/1090, running PPL=5.6819, 80s
|
||||
[PPL cuda:0] korean: batch 200/1090, running PPL=6.2143, 106s
|
||||
[PPL cuda:0] korean: batch 250/1090, running PPL=6.1376, 133s
|
||||
[PPL cuda:0] korean: batch 300/1090, running PPL=6.1179, 159s
|
||||
[PPL cuda:0] korean: batch 350/1090, running PPL=6.0748, 186s
|
||||
[PPL cuda:0] korean: batch 400/1090, running PPL=6.0394, 213s
|
||||
[PPL cuda:0] korean: batch 450/1090, running PPL=6.0028, 239s
|
||||
[PPL cuda:0] korean: batch 500/1090, running PPL=5.8109, 266s
|
||||
[PPL cuda:0] korean: batch 550/1090, running PPL=5.8244, 292s
|
||||
[PPL cuda:0] korean: batch 600/1090, running PPL=5.8171, 319s
|
||||
[PPL cuda:0] korean: batch 650/1090, running PPL=5.7737, 345s
|
||||
[PPL cuda:0] korean: batch 700/1090, running PPL=5.8390, 372s
|
||||
[PPL cuda:0] korean: batch 750/1090, running PPL=5.8929, 398s
|
||||
[PPL cuda:0] korean: batch 800/1090, running PPL=5.8987, 425s
|
||||
[PPL cuda:0] korean: batch 850/1090, running PPL=5.8780, 451s
|
||||
[PPL cuda:0] korean: batch 900/1090, running PPL=5.8598, 478s
|
||||
[PPL cuda:0] korean: batch 950/1090, running PPL=6.1163, 504s
|
||||
[PPL cuda:0] korean: batch 1000/1090, running PPL=6.5863, 531s
|
||||
[PPL cuda:0] korean: batch 1050/1090, running PPL=7.0441, 557s
|
||||
[PPL cuda:0] DONE korean: PPL=7.2203, BPT=2.8521, 578.3s
|
||||
[TASK_RUNNER gpu_id=1] Done. Result saved to eval/outputs/3b_orpo_eval_20260309_0607/phase1_ppl_multi_gpu1.json
|
||||
@@ -0,0 +1,24 @@
|
||||
[
|
||||
{
|
||||
"name": "hplt_ko",
|
||||
"file": "hplt_ko_val.bin",
|
||||
"n_tokens": 16165735,
|
||||
"n_eval_tokens": 48460462,
|
||||
"ppl": 2.4477,
|
||||
"bits_per_token": 1.2915,
|
||||
"avg_nll": 0.895169,
|
||||
"elapsed_sec": 524.1,
|
||||
"device": "cuda:0"
|
||||
},
|
||||
{
|
||||
"name": "cc100_ko",
|
||||
"file": "cc100_ko_val.bin",
|
||||
"n_tokens": 4532995,
|
||||
"n_eval_tokens": 13585262,
|
||||
"ppl": 22.0415,
|
||||
"bits_per_token": 4.4621,
|
||||
"avg_nll": 3.092925,
|
||||
"elapsed_sec": 146.6,
|
||||
"device": "cuda:0"
|
||||
}
|
||||
]
|
||||
@@ -0,0 +1,40 @@
|
||||
[TASK_RUNNER gpu_id=2] Starting task=ppl_multi
|
||||
[TASK_RUNNER gpu_id=2] NUMA affinity set: cores 0-35
|
||||
/usr/local/lib/python3.12/dist-packages/torch/library.py:356: UserWarning: Warning only once for all operators, other operators may also be overridden.
|
||||
Overriding a previously registered kernel for the same operator and the same dispatch key
|
||||
operator: flash_attn::_flash_attn_backward(Tensor dout, Tensor q, Tensor k, Tensor v, Tensor out, Tensor softmax_lse, Tensor(a6!)? dq, Tensor(a7!)? dk, Tensor(a8!)? dv, float dropout_p, float softmax_scale, bool causal, SymInt window_size_left, SymInt window_size_right, float softcap, Tensor? alibi_slopes, bool deterministic, Tensor? rng_state=None) -> Tensor
|
||||
registered at /usr/local/lib/python3.12/dist-packages/torch/_library/custom_ops.py:922
|
||||
dispatch key: ADInplaceOrView
|
||||
previous kernel: no debug info
|
||||
new kernel: registered at /usr/local/lib/python3.12/dist-packages/torch/_library/custom_ops.py:922 (Triggered internally at /opt/pytorch/pytorch/aten/src/ATen/core/dispatch/OperatorEntry.cpp:208.)
|
||||
self.m.impl(
|
||||
[PPL_MULTI cuda:0] Loading model once for 2 files...
|
||||
[PPL cuda:0] hplt_ko: 16,165,735 tokens, 32.3 MB
|
||||
[PPL cuda:0] hplt_ko: batch 50/987, running PPL=2.9094, 27s
|
||||
[PPL cuda:0] hplt_ko: batch 100/987, running PPL=3.0206, 53s
|
||||
[PPL cuda:0] hplt_ko: batch 150/987, running PPL=2.7206, 80s
|
||||
[PPL cuda:0] hplt_ko: batch 200/987, running PPL=2.6531, 106s
|
||||
[PPL cuda:0] hplt_ko: batch 250/987, running PPL=2.9085, 133s
|
||||
[PPL cuda:0] hplt_ko: batch 300/987, running PPL=2.9928, 159s
|
||||
[PPL cuda:0] hplt_ko: batch 350/987, running PPL=2.9987, 186s
|
||||
[PPL cuda:0] hplt_ko: batch 400/987, running PPL=2.9838, 213s
|
||||
[PPL cuda:0] hplt_ko: batch 450/987, running PPL=2.9263, 239s
|
||||
[PPL cuda:0] hplt_ko: batch 500/987, running PPL=2.8678, 266s
|
||||
[PPL cuda:0] hplt_ko: batch 550/987, running PPL=2.8428, 292s
|
||||
[PPL cuda:0] hplt_ko: batch 600/987, running PPL=2.9569, 319s
|
||||
[PPL cuda:0] hplt_ko: batch 650/987, running PPL=2.9650, 345s
|
||||
[PPL cuda:0] hplt_ko: batch 700/987, running PPL=2.8144, 372s
|
||||
[PPL cuda:0] hplt_ko: batch 750/987, running PPL=2.8644, 398s
|
||||
[PPL cuda:0] hplt_ko: batch 800/987, running PPL=2.8529, 425s
|
||||
[PPL cuda:0] hplt_ko: batch 850/987, running PPL=2.7166, 451s
|
||||
[PPL cuda:0] hplt_ko: batch 900/987, running PPL=2.5834, 478s
|
||||
[PPL cuda:0] hplt_ko: batch 950/987, running PPL=2.4666, 505s
|
||||
[PPL cuda:0] DONE hplt_ko: PPL=2.4477, BPT=1.2915, 524.1s
|
||||
[PPL cuda:0] cc100_ko: 4,532,995 tokens, 9.1 MB
|
||||
[PPL cuda:0] cc100_ko: batch 50/277, running PPL=20.9802, 27s
|
||||
[PPL cuda:0] cc100_ko: batch 100/277, running PPL=21.4499, 53s
|
||||
[PPL cuda:0] cc100_ko: batch 150/277, running PPL=21.7434, 80s
|
||||
[PPL cuda:0] cc100_ko: batch 200/277, running PPL=21.8991, 106s
|
||||
[PPL cuda:0] cc100_ko: batch 250/277, running PPL=21.9568, 133s
|
||||
[PPL cuda:0] DONE cc100_ko: PPL=22.0415, BPT=4.4621, 146.6s
|
||||
[TASK_RUNNER gpu_id=2] Done. Result saved to eval/outputs/3b_orpo_eval_20260309_0607/phase1_ppl_multi_gpu2.json
|
||||
@@ -0,0 +1,79 @@
|
||||
[
|
||||
{
|
||||
"name": "cosmo_auto_math_text",
|
||||
"file": "cosmo_auto_math_text_val.bin",
|
||||
"n_tokens": 2632946,
|
||||
"n_eval_tokens": 7888877,
|
||||
"ppl": 3.1634,
|
||||
"bits_per_token": 1.6615,
|
||||
"avg_nll": 1.151656,
|
||||
"elapsed_sec": 84.7,
|
||||
"device": "cuda:0"
|
||||
},
|
||||
{
|
||||
"name": "cosmo_stories",
|
||||
"file": "cosmo_stories_val.bin",
|
||||
"n_tokens": 6299229,
|
||||
"n_eval_tokens": 18881012,
|
||||
"ppl": 3.9687,
|
||||
"bits_per_token": 1.9887,
|
||||
"avg_nll": 1.378443,
|
||||
"elapsed_sec": 202.1,
|
||||
"device": "cuda:0"
|
||||
},
|
||||
{
|
||||
"name": "cosmo_web_v2",
|
||||
"file": "cosmo_web_v2_val.bin",
|
||||
"n_tokens": 2875418,
|
||||
"n_eval_tokens": 8616467,
|
||||
"ppl": 4.1852,
|
||||
"bits_per_token": 2.0653,
|
||||
"avg_nll": 1.431563,
|
||||
"elapsed_sec": 92.4,
|
||||
"device": "cuda:0"
|
||||
},
|
||||
{
|
||||
"name": "cosmo_stanford",
|
||||
"file": "cosmo_stanford_val.bin",
|
||||
"n_tokens": 2217375,
|
||||
"n_eval_tokens": 6642457,
|
||||
"ppl": 3.3807,
|
||||
"bits_per_token": 1.7573,
|
||||
"avg_nll": 1.218085,
|
||||
"elapsed_sec": 71.3,
|
||||
"device": "cuda:0"
|
||||
},
|
||||
{
|
||||
"name": "cosmo_khanacademy",
|
||||
"file": "cosmo_khanacademy_val.bin",
|
||||
"n_tokens": 47751,
|
||||
"n_eval_tokens": 138662,
|
||||
"ppl": 2.9485,
|
||||
"bits_per_token": 1.56,
|
||||
"avg_nll": 1.081312,
|
||||
"elapsed_sec": 1.6,
|
||||
"device": "cuda:0"
|
||||
},
|
||||
{
|
||||
"name": "cosmo_openstax",
|
||||
"file": "cosmo_openstax_val.bin",
|
||||
"n_tokens": 242751,
|
||||
"n_eval_tokens": 723497,
|
||||
"ppl": 3.8896,
|
||||
"bits_per_token": 1.9596,
|
||||
"avg_nll": 1.358295,
|
||||
"elapsed_sec": 7.9,
|
||||
"device": "cuda:0"
|
||||
},
|
||||
{
|
||||
"name": "cosmo_wikihow",
|
||||
"file": "cosmo_wikihow_val.bin",
|
||||
"n_tokens": 395586,
|
||||
"n_eval_tokens": 1180927,
|
||||
"ppl": 3.326,
|
||||
"bits_per_token": 1.7338,
|
||||
"avg_nll": 1.201766,
|
||||
"elapsed_sec": 12.8,
|
||||
"device": "cuda:0"
|
||||
}
|
||||
]
|
||||
@@ -0,0 +1,41 @@
|
||||
[TASK_RUNNER gpu_id=3] Starting task=ppl_multi
|
||||
[TASK_RUNNER gpu_id=3] NUMA affinity set: cores 0-35
|
||||
/usr/local/lib/python3.12/dist-packages/torch/library.py:356: UserWarning: Warning only once for all operators, other operators may also be overridden.
|
||||
Overriding a previously registered kernel for the same operator and the same dispatch key
|
||||
operator: flash_attn::_flash_attn_backward(Tensor dout, Tensor q, Tensor k, Tensor v, Tensor out, Tensor softmax_lse, Tensor(a6!)? dq, Tensor(a7!)? dk, Tensor(a8!)? dv, float dropout_p, float softmax_scale, bool causal, SymInt window_size_left, SymInt window_size_right, float softcap, Tensor? alibi_slopes, bool deterministic, Tensor? rng_state=None) -> Tensor
|
||||
registered at /usr/local/lib/python3.12/dist-packages/torch/_library/custom_ops.py:922
|
||||
dispatch key: ADInplaceOrView
|
||||
previous kernel: no debug info
|
||||
new kernel: registered at /usr/local/lib/python3.12/dist-packages/torch/_library/custom_ops.py:922 (Triggered internally at /opt/pytorch/pytorch/aten/src/ATen/core/dispatch/OperatorEntry.cpp:208.)
|
||||
self.m.impl(
|
||||
[PPL_MULTI cuda:0] Loading model once for 7 files...
|
||||
[PPL cuda:0] cosmo_auto_math_text: 2,632,946 tokens, 5.3 MB
|
||||
[PPL cuda:0] cosmo_auto_math_text: batch 50/161, running PPL=3.1428, 27s
|
||||
[PPL cuda:0] cosmo_auto_math_text: batch 100/161, running PPL=3.1307, 53s
|
||||
[PPL cuda:0] cosmo_auto_math_text: batch 150/161, running PPL=3.1642, 79s
|
||||
[PPL cuda:0] DONE cosmo_auto_math_text: PPL=3.1634, BPT=1.6615, 84.7s
|
||||
[PPL cuda:0] cosmo_stories: 6,299,229 tokens, 12.6 MB
|
||||
[PPL cuda:0] cosmo_stories: batch 50/385, running PPL=3.9330, 26s
|
||||
[PPL cuda:0] cosmo_stories: batch 100/385, running PPL=3.9408, 53s
|
||||
[PPL cuda:0] cosmo_stories: batch 150/385, running PPL=3.9626, 79s
|
||||
[PPL cuda:0] cosmo_stories: batch 200/385, running PPL=3.9601, 105s
|
||||
[PPL cuda:0] cosmo_stories: batch 250/385, running PPL=3.9662, 131s
|
||||
[PPL cuda:0] cosmo_stories: batch 300/385, running PPL=3.9604, 158s
|
||||
[PPL cuda:0] cosmo_stories: batch 350/385, running PPL=3.9661, 184s
|
||||
[PPL cuda:0] DONE cosmo_stories: PPL=3.9687, BPT=1.9887, 202.1s
|
||||
[PPL cuda:0] cosmo_web_v2: 2,875,418 tokens, 5.8 MB
|
||||
[PPL cuda:0] cosmo_web_v2: batch 50/176, running PPL=4.1437, 26s
|
||||
[PPL cuda:0] cosmo_web_v2: batch 100/176, running PPL=4.1547, 53s
|
||||
[PPL cuda:0] cosmo_web_v2: batch 150/176, running PPL=4.1711, 79s
|
||||
[PPL cuda:0] DONE cosmo_web_v2: PPL=4.1852, BPT=2.0653, 92.4s
|
||||
[PPL cuda:0] cosmo_stanford: 2,217,375 tokens, 4.4 MB
|
||||
[PPL cuda:0] cosmo_stanford: batch 50/136, running PPL=3.3885, 26s
|
||||
[PPL cuda:0] cosmo_stanford: batch 100/136, running PPL=3.3782, 53s
|
||||
[PPL cuda:0] DONE cosmo_stanford: PPL=3.3807, BPT=1.7573, 71.3s
|
||||
[PPL cuda:0] cosmo_khanacademy: 47,751 tokens, 0.1 MB
|
||||
[PPL cuda:0] DONE cosmo_khanacademy: PPL=2.9485, BPT=1.5600, 1.6s
|
||||
[PPL cuda:0] cosmo_openstax: 242,751 tokens, 0.5 MB
|
||||
[PPL cuda:0] DONE cosmo_openstax: PPL=3.8896, BPT=1.9596, 7.9s
|
||||
[PPL cuda:0] cosmo_wikihow: 395,586 tokens, 0.8 MB
|
||||
[PPL cuda:0] DONE cosmo_wikihow: PPL=3.3260, BPT=1.7338, 12.8s
|
||||
[TASK_RUNNER gpu_id=3] Done. Result saved to eval/outputs/3b_orpo_eval_20260309_0607/phase1_ppl_multi_gpu3.json
|
||||
@@ -0,0 +1,79 @@
|
||||
[
|
||||
{
|
||||
"name": "korean_namuwiki",
|
||||
"file": "korean_namuwiki_val.bin",
|
||||
"n_tokens": 2166179,
|
||||
"n_eval_tokens": 6488957,
|
||||
"ppl": 26.9307,
|
||||
"bits_per_token": 4.7512,
|
||||
"avg_nll": 3.293268,
|
||||
"elapsed_sec": 70.1,
|
||||
"device": "cuda:0"
|
||||
},
|
||||
{
|
||||
"name": "korean_wiki",
|
||||
"file": "korean_wiki_val.bin",
|
||||
"n_tokens": 524561,
|
||||
"n_eval_tokens": 1567747,
|
||||
"ppl": 12.2108,
|
||||
"bits_per_token": 3.6101,
|
||||
"avg_nll": 2.502318,
|
||||
"elapsed_sec": 17.0,
|
||||
"device": "cuda:0"
|
||||
},
|
||||
{
|
||||
"name": "namuwiki_2023b",
|
||||
"file": "namuwiki_2023b_val.bin",
|
||||
"n_tokens": 2554574,
|
||||
"n_eval_tokens": 7654022,
|
||||
"ppl": 19.0191,
|
||||
"bits_per_token": 4.2494,
|
||||
"avg_nll": 2.945444,
|
||||
"elapsed_sec": 82.6,
|
||||
"device": "cuda:0"
|
||||
},
|
||||
{
|
||||
"name": "wikipedia_ko",
|
||||
"file": "wikipedia_ko_val.bin",
|
||||
"n_tokens": 590691,
|
||||
"n_eval_tokens": 1765762,
|
||||
"ppl": 10.8055,
|
||||
"bits_per_token": 3.4337,
|
||||
"avg_nll": 2.380058,
|
||||
"elapsed_sec": 19.2,
|
||||
"device": "cuda:0"
|
||||
},
|
||||
{
|
||||
"name": "mathpile",
|
||||
"file": "mathpile_val.bin",
|
||||
"n_tokens": 2379696,
|
||||
"n_eval_tokens": 7129052,
|
||||
"ppl": 2.7315,
|
||||
"bits_per_token": 1.4497,
|
||||
"avg_nll": 1.004868,
|
||||
"elapsed_sec": 76.8,
|
||||
"device": "cuda:0"
|
||||
},
|
||||
{
|
||||
"name": "open_web_math",
|
||||
"file": "open_web_math_val.bin",
|
||||
"n_tokens": 5230614,
|
||||
"n_eval_tokens": 15677467,
|
||||
"ppl": 6.9668,
|
||||
"bits_per_token": 2.8005,
|
||||
"avg_nll": 1.941158,
|
||||
"elapsed_sec": 168.8,
|
||||
"device": "cuda:0"
|
||||
},
|
||||
{
|
||||
"name": "val",
|
||||
"file": "val.bin",
|
||||
"n_tokens": 3040344,
|
||||
"n_eval_tokens": 9110737,
|
||||
"ppl": 18.4256,
|
||||
"bits_per_token": 4.2036,
|
||||
"avg_nll": 2.913741,
|
||||
"elapsed_sec": 98.3,
|
||||
"device": "cuda:0"
|
||||
}
|
||||
]
|
||||
@@ -0,0 +1,42 @@
|
||||
[TASK_RUNNER gpu_id=4] Starting task=ppl_multi
|
||||
[TASK_RUNNER gpu_id=4] NUMA affinity set: cores 36-71
|
||||
/usr/local/lib/python3.12/dist-packages/torch/library.py:356: UserWarning: Warning only once for all operators, other operators may also be overridden.
|
||||
Overriding a previously registered kernel for the same operator and the same dispatch key
|
||||
operator: flash_attn::_flash_attn_backward(Tensor dout, Tensor q, Tensor k, Tensor v, Tensor out, Tensor softmax_lse, Tensor(a6!)? dq, Tensor(a7!)? dk, Tensor(a8!)? dv, float dropout_p, float softmax_scale, bool causal, SymInt window_size_left, SymInt window_size_right, float softcap, Tensor? alibi_slopes, bool deterministic, Tensor? rng_state=None) -> Tensor
|
||||
registered at /usr/local/lib/python3.12/dist-packages/torch/_library/custom_ops.py:922
|
||||
dispatch key: ADInplaceOrView
|
||||
previous kernel: no debug info
|
||||
new kernel: registered at /usr/local/lib/python3.12/dist-packages/torch/_library/custom_ops.py:922 (Triggered internally at /opt/pytorch/pytorch/aten/src/ATen/core/dispatch/OperatorEntry.cpp:208.)
|
||||
self.m.impl(
|
||||
[PPL_MULTI cuda:0] Loading model once for 7 files...
|
||||
[PPL cuda:0] korean_namuwiki: 2,166,179 tokens, 4.3 MB
|
||||
[PPL cuda:0] korean_namuwiki: batch 50/133, running PPL=26.7511, 27s
|
||||
[PPL cuda:0] korean_namuwiki: batch 100/133, running PPL=26.9125, 53s
|
||||
[PPL cuda:0] DONE korean_namuwiki: PPL=26.9307, BPT=4.7512, 70.1s
|
||||
[PPL cuda:0] korean_wiki: 524,561 tokens, 1.0 MB
|
||||
[PPL cuda:0] DONE korean_wiki: PPL=12.2108, BPT=3.6101, 17.0s
|
||||
[PPL cuda:0] namuwiki_2023b: 2,554,574 tokens, 5.1 MB
|
||||
[PPL cuda:0] namuwiki_2023b: batch 50/156, running PPL=19.1798, 27s
|
||||
[PPL cuda:0] namuwiki_2023b: batch 100/156, running PPL=20.1219, 53s
|
||||
[PPL cuda:0] namuwiki_2023b: batch 150/156, running PPL=19.0264, 79s
|
||||
[PPL cuda:0] DONE namuwiki_2023b: PPL=19.0191, BPT=4.2494, 82.6s
|
||||
[PPL cuda:0] wikipedia_ko: 590,691 tokens, 1.2 MB
|
||||
[PPL cuda:0] DONE wikipedia_ko: PPL=10.8055, BPT=3.4337, 19.2s
|
||||
[PPL cuda:0] mathpile: 2,379,696 tokens, 4.8 MB
|
||||
[PPL cuda:0] mathpile: batch 50/146, running PPL=2.7377, 26s
|
||||
[PPL cuda:0] mathpile: batch 100/146, running PPL=2.6441, 53s
|
||||
[PPL cuda:0] DONE mathpile: PPL=2.7315, BPT=1.4497, 76.8s
|
||||
[PPL cuda:0] open_web_math: 5,230,614 tokens, 10.5 MB
|
||||
[PPL cuda:0] open_web_math: batch 50/320, running PPL=6.1030, 27s
|
||||
[PPL cuda:0] open_web_math: batch 100/320, running PPL=7.2361, 53s
|
||||
[PPL cuda:0] open_web_math: batch 150/320, running PPL=6.9186, 79s
|
||||
[PPL cuda:0] open_web_math: batch 200/320, running PPL=6.9636, 106s
|
||||
[PPL cuda:0] open_web_math: batch 250/320, running PPL=6.8942, 132s
|
||||
[PPL cuda:0] open_web_math: batch 300/320, running PPL=7.0007, 159s
|
||||
[PPL cuda:0] DONE open_web_math: PPL=6.9668, BPT=2.8005, 168.8s
|
||||
[PPL cuda:0] val: 3,040,344 tokens, 6.1 MB
|
||||
[PPL cuda:0] val: batch 50/186, running PPL=18.5004, 27s
|
||||
[PPL cuda:0] val: batch 100/186, running PPL=18.7740, 53s
|
||||
[PPL cuda:0] val: batch 150/186, running PPL=18.5457, 79s
|
||||
[PPL cuda:0] DONE val: PPL=18.4256, BPT=4.2036, 98.3s
|
||||
[TASK_RUNNER gpu_id=4] Done. Result saved to eval/outputs/3b_orpo_eval_20260309_0607/phase1_ppl_multi_gpu4.json
|
||||
@@ -0,0 +1,11 @@
|
||||
{
|
||||
"name": "3b",
|
||||
"file": "3b_val.bin",
|
||||
"n_tokens": 75681623,
|
||||
"n_eval_tokens": 226891932,
|
||||
"ppl": 5.3222,
|
||||
"bits_per_token": 2.412,
|
||||
"avg_nll": 1.671889,
|
||||
"elapsed_sec": 2426.4,
|
||||
"device": "cuda:0"
|
||||
}
|
||||
@@ -0,0 +1,106 @@
|
||||
[TASK_RUNNER gpu_id=0] Starting task=ppl_single
|
||||
[TASK_RUNNER gpu_id=0] NUMA affinity set: cores 0-35
|
||||
/usr/local/lib/python3.12/dist-packages/torch/library.py:356: UserWarning: Warning only once for all operators, other operators may also be overridden.
|
||||
Overriding a previously registered kernel for the same operator and the same dispatch key
|
||||
operator: flash_attn::_flash_attn_backward(Tensor dout, Tensor q, Tensor k, Tensor v, Tensor out, Tensor softmax_lse, Tensor(a6!)? dq, Tensor(a7!)? dk, Tensor(a8!)? dv, float dropout_p, float softmax_scale, bool causal, SymInt window_size_left, SymInt window_size_right, float softcap, Tensor? alibi_slopes, bool deterministic, Tensor? rng_state=None) -> Tensor
|
||||
registered at /usr/local/lib/python3.12/dist-packages/torch/_library/custom_ops.py:922
|
||||
dispatch key: ADInplaceOrView
|
||||
previous kernel: no debug info
|
||||
new kernel: registered at /usr/local/lib/python3.12/dist-packages/torch/_library/custom_ops.py:922 (Triggered internally at /opt/pytorch/pytorch/aten/src/ATen/core/dispatch/OperatorEntry.cpp:208.)
|
||||
self.m.impl(
|
||||
[PPL cuda:0] Loading model for 3b...
|
||||
[PPL cuda:0] 3b: 75,681,623 tokens, 151.4 MB
|
||||
[PPL cuda:0] 3b: batch 50/4620, running PPL=5.5121, 26s
|
||||
[PPL cuda:0] 3b: batch 100/4620, running PPL=6.1635, 53s
|
||||
[PPL cuda:0] 3b: batch 150/4620, running PPL=5.6819, 79s
|
||||
[PPL cuda:0] 3b: batch 200/4620, running PPL=6.2143, 105s
|
||||
[PPL cuda:0] 3b: batch 250/4620, running PPL=6.1376, 131s
|
||||
[PPL cuda:0] 3b: batch 300/4620, running PPL=6.1179, 158s
|
||||
[PPL cuda:0] 3b: batch 350/4620, running PPL=6.0748, 184s
|
||||
[PPL cuda:0] 3b: batch 400/4620, running PPL=6.0394, 210s
|
||||
[PPL cuda:0] 3b: batch 450/4620, running PPL=6.0028, 237s
|
||||
[PPL cuda:0] 3b: batch 500/4620, running PPL=5.8109, 263s
|
||||
[PPL cuda:0] 3b: batch 550/4620, running PPL=5.8244, 289s
|
||||
[PPL cuda:0] 3b: batch 600/4620, running PPL=5.8171, 316s
|
||||
[PPL cuda:0] 3b: batch 650/4620, running PPL=5.7737, 342s
|
||||
[PPL cuda:0] 3b: batch 700/4620, running PPL=5.8390, 368s
|
||||
[PPL cuda:0] 3b: batch 750/4620, running PPL=5.8929, 394s
|
||||
[PPL cuda:0] 3b: batch 800/4620, running PPL=5.8987, 421s
|
||||
[PPL cuda:0] 3b: batch 850/4620, running PPL=5.8780, 447s
|
||||
[PPL cuda:0] 3b: batch 900/4620, running PPL=5.8598, 473s
|
||||
[PPL cuda:0] 3b: batch 950/4620, running PPL=6.1163, 499s
|
||||
[PPL cuda:0] 3b: batch 1000/4620, running PPL=6.5863, 526s
|
||||
[PPL cuda:0] 3b: batch 1050/4620, running PPL=7.0441, 552s
|
||||
[PPL cuda:0] 3b: batch 1100/4620, running PPL=7.1624, 578s
|
||||
[PPL cuda:0] 3b: batch 1150/4620, running PPL=6.8709, 605s
|
||||
[PPL cuda:0] 3b: batch 1200/4620, running PPL=6.6688, 631s
|
||||
[PPL cuda:0] 3b: batch 1250/4620, running PPL=6.3543, 657s
|
||||
[PPL cuda:0] 3b: batch 1300/4620, running PPL=6.1695, 684s
|
||||
[PPL cuda:0] 3b: batch 1350/4620, running PPL=6.0666, 710s
|
||||
[PPL cuda:0] 3b: batch 1400/4620, running PPL=5.9098, 736s
|
||||
[PPL cuda:0] 3b: batch 1450/4620, running PPL=5.7964, 762s
|
||||
[PPL cuda:0] 3b: batch 1500/4620, running PPL=5.6837, 789s
|
||||
[PPL cuda:0] 3b: batch 1550/4620, running PPL=5.5119, 815s
|
||||
[PPL cuda:0] 3b: batch 1600/4620, running PPL=5.3612, 841s
|
||||
[PPL cuda:0] 3b: batch 1650/4620, running PPL=5.2583, 867s
|
||||
[PPL cuda:0] 3b: batch 1700/4620, running PPL=5.2631, 894s
|
||||
[PPL cuda:0] 3b: batch 1750/4620, running PPL=5.1320, 920s
|
||||
[PPL cuda:0] 3b: batch 1800/4620, running PPL=5.0010, 946s
|
||||
[PPL cuda:0] 3b: batch 1850/4620, running PPL=4.9501, 973s
|
||||
[PPL cuda:0] 3b: batch 1900/4620, running PPL=4.8355, 999s
|
||||
[PPL cuda:0] 3b: batch 1950/4620, running PPL=4.6664, 1025s
|
||||
[PPL cuda:0] 3b: batch 2000/4620, running PPL=4.5007, 1052s
|
||||
[PPL cuda:0] 3b: batch 2050/4620, running PPL=4.3495, 1078s
|
||||
[PPL cuda:0] 3b: batch 2100/4620, running PPL=4.3223, 1104s
|
||||
[PPL cuda:0] 3b: batch 2150/4620, running PPL=4.3722, 1131s
|
||||
[PPL cuda:0] 3b: batch 2200/4620, running PPL=4.3987, 1157s
|
||||
[PPL cuda:0] 3b: batch 2250/4620, running PPL=4.4308, 1183s
|
||||
[PPL cuda:0] 3b: batch 2300/4620, running PPL=4.4625, 1209s
|
||||
[PPL cuda:0] 3b: batch 2350/4620, running PPL=4.4965, 1236s
|
||||
[PPL cuda:0] 3b: batch 2400/4620, running PPL=4.5178, 1262s
|
||||
[PPL cuda:0] 3b: batch 2450/4620, running PPL=4.5485, 1288s
|
||||
[PPL cuda:0] 3b: batch 2500/4620, running PPL=4.5646, 1314s
|
||||
[PPL cuda:0] 3b: batch 2550/4620, running PPL=4.5792, 1341s
|
||||
[PPL cuda:0] 3b: batch 2600/4620, running PPL=4.5829, 1367s
|
||||
[PPL cuda:0] 3b: batch 2650/4620, running PPL=4.5943, 1393s
|
||||
[PPL cuda:0] 3b: batch 2700/4620, running PPL=4.6278, 1419s
|
||||
[PPL cuda:0] 3b: batch 2750/4620, running PPL=4.6390, 1446s
|
||||
[PPL cuda:0] 3b: batch 2800/4620, running PPL=4.6767, 1472s
|
||||
[PPL cuda:0] 3b: batch 2850/4620, running PPL=4.6950, 1498s
|
||||
[PPL cuda:0] 3b: batch 2900/4620, running PPL=4.7125, 1524s
|
||||
[PPL cuda:0] 3b: batch 2950/4620, running PPL=4.7331, 1551s
|
||||
[PPL cuda:0] 3b: batch 3000/4620, running PPL=4.7480, 1577s
|
||||
[PPL cuda:0] 3b: batch 3050/4620, running PPL=4.8623, 1603s
|
||||
[PPL cuda:0] 3b: batch 3100/4620, running PPL=4.9818, 1629s
|
||||
[PPL cuda:0] 3b: batch 3150/4620, running PPL=5.1017, 1656s
|
||||
[PPL cuda:0] 3b: batch 3200/4620, running PPL=5.2211, 1682s
|
||||
[PPL cuda:0] 3b: batch 3250/4620, running PPL=5.3390, 1708s
|
||||
[PPL cuda:0] 3b: batch 3300/4620, running PPL=5.4478, 1734s
|
||||
[PPL cuda:0] 3b: batch 3350/4620, running PPL=5.5587, 1761s
|
||||
[PPL cuda:0] 3b: batch 3400/4620, running PPL=5.6595, 1787s
|
||||
[PPL cuda:0] 3b: batch 3450/4620, running PPL=5.7225, 1813s
|
||||
[PPL cuda:0] 3b: batch 3500/4620, running PPL=5.7292, 1839s
|
||||
[PPL cuda:0] 3b: batch 3550/4620, running PPL=5.7630, 1865s
|
||||
[PPL cuda:0] 3b: batch 3600/4620, running PPL=5.7747, 1892s
|
||||
[PPL cuda:0] 3b: batch 3650/4620, running PPL=5.7855, 1918s
|
||||
[PPL cuda:0] 3b: batch 3700/4620, running PPL=5.8090, 1944s
|
||||
[PPL cuda:0] 3b: batch 3750/4620, running PPL=5.8192, 1970s
|
||||
[PPL cuda:0] 3b: batch 3800/4620, running PPL=5.7669, 1997s
|
||||
[PPL cuda:0] 3b: batch 3850/4620, running PPL=5.7048, 2023s
|
||||
[PPL cuda:0] 3b: batch 3900/4620, running PPL=5.6570, 2049s
|
||||
[PPL cuda:0] 3b: batch 3950/4620, running PPL=5.6148, 2075s
|
||||
[PPL cuda:0] 3b: batch 4000/4620, running PPL=5.5738, 2101s
|
||||
[PPL cuda:0] 3b: batch 4050/4620, running PPL=5.5365, 2128s
|
||||
[PPL cuda:0] 3b: batch 4100/4620, running PPL=5.5107, 2154s
|
||||
[PPL cuda:0] 3b: batch 4150/4620, running PPL=5.4884, 2180s
|
||||
[PPL cuda:0] 3b: batch 4200/4620, running PPL=5.4681, 2206s
|
||||
[PPL cuda:0] 3b: batch 4250/4620, running PPL=5.4470, 2233s
|
||||
[PPL cuda:0] 3b: batch 4300/4620, running PPL=5.4272, 2259s
|
||||
[PPL cuda:0] 3b: batch 4350/4620, running PPL=5.4074, 2285s
|
||||
[PPL cuda:0] 3b: batch 4400/4620, running PPL=5.3888, 2311s
|
||||
[PPL cuda:0] 3b: batch 4450/4620, running PPL=5.3710, 2338s
|
||||
[PPL cuda:0] 3b: batch 4500/4620, running PPL=5.3555, 2364s
|
||||
[PPL cuda:0] 3b: batch 4550/4620, running PPL=5.3406, 2390s
|
||||
[PPL cuda:0] 3b: batch 4600/4620, running PPL=5.3268, 2416s
|
||||
[PPL cuda:0] DONE 3b: PPL=5.3222, BPT=2.4120, 2426.4s
|
||||
[TASK_RUNNER gpu_id=0] Done. Result saved to eval/outputs/3b_orpo_eval_20260309_0607/phase1_ppl_single_gpu0.json
|
||||
@@ -0,0 +1,684 @@
|
||||
{
|
||||
"grid_results": [
|
||||
{
|
||||
"params": "t0.7_rep1.2",
|
||||
"temperature": 0.7,
|
||||
"repetition_penalty": 1.2,
|
||||
"avg_3gram_rep": 0.0,
|
||||
"avg_4gram_rep": 0.0,
|
||||
"eos_rate": 1.0,
|
||||
"avg_tokens": 189.2,
|
||||
"per_prompt": [
|
||||
{
|
||||
"prompt": "대한민국의 수도는",
|
||||
"n_tokens": 166,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.021739130434782594,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "인공지능이란",
|
||||
"n_tokens": 126,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.059523809523809534,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "한국의 전통 음식 중에서",
|
||||
"n_tokens": 254,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.037878787878787845,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "지구 온난화의 주요 원인은",
|
||||
"n_tokens": 255,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.065359477124183,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "프로그래밍을 배우려면",
|
||||
"n_tokens": 145,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.0,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"params": "t0.9_rep1.1",
|
||||
"temperature": 0.9,
|
||||
"repetition_penalty": 1.1,
|
||||
"avg_3gram_rep": 0.0,
|
||||
"avg_4gram_rep": 0.0,
|
||||
"eos_rate": 0.2,
|
||||
"avg_tokens": 213.0,
|
||||
"per_prompt": [
|
||||
{
|
||||
"prompt": "대한민국의 수도는",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.1578947368421053,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "인공지능이란",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.09999999999999998,
|
||||
"2gram_rep": 0.0062893081761006275,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "한국의 전통 음식 중에서",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.08843537414965985,
|
||||
"2gram_rep": 0.006849315068493178,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "지구 온난화의 주요 원인은",
|
||||
"n_tokens": 41,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.04347826086956519,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "프로그래밍을 배우려면",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.24528301886792447,
|
||||
"2gram_rep": 0.03797468354430378,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"params": "t0.9_rep1.2",
|
||||
"temperature": 0.9,
|
||||
"repetition_penalty": 1.2,
|
||||
"avg_3gram_rep": 0.0,
|
||||
"avg_4gram_rep": 0.0,
|
||||
"eos_rate": 0.6,
|
||||
"avg_tokens": 200.0,
|
||||
"per_prompt": [
|
||||
{
|
||||
"prompt": "대한민국의 수도는",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.1063829787234043,
|
||||
"2gram_rep": 0.016042780748663055,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "인공지능이란",
|
||||
"n_tokens": 243,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.07954545454545459,
|
||||
"2gram_rep": 0.005714285714285672,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "한국의 전통 음식 중에서",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.05035971223021585,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "지구 온난화의 주요 원인은",
|
||||
"n_tokens": 57,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.0,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "프로그래밍을 배우려면",
|
||||
"n_tokens": 188,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.054545454545454564,
|
||||
"2gram_rep": 0.00917431192660545,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"params": "t1.0_rep1.1",
|
||||
"temperature": 1.0,
|
||||
"repetition_penalty": 1.1,
|
||||
"avg_3gram_rep": 0.0,
|
||||
"avg_4gram_rep": 0.0,
|
||||
"eos_rate": 0.8,
|
||||
"avg_tokens": 118.4,
|
||||
"per_prompt": [
|
||||
{
|
||||
"prompt": "대한민국의 수도는",
|
||||
"n_tokens": 31,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.0,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "인공지능이란",
|
||||
"n_tokens": 62,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.0,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "한국의 전통 음식 중에서",
|
||||
"n_tokens": 191,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.14893617021276595,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "지구 온난화의 주요 원인은",
|
||||
"n_tokens": 52,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.05882352941176472,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "프로그래밍을 배우려면",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.21383647798742134,
|
||||
"2gram_rep": 0.012658227848101222,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"params": "t0.5_rep1.1",
|
||||
"temperature": 0.5,
|
||||
"repetition_penalty": 1.1,
|
||||
"avg_3gram_rep": 0.0013,
|
||||
"avg_4gram_rep": 0.0,
|
||||
"eos_rate": 0.6,
|
||||
"avg_tokens": 198.8,
|
||||
"per_prompt": [
|
||||
{
|
||||
"prompt": "대한민국의 수도는",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.1496598639455783,
|
||||
"2gram_rep": 0.020547945205479423,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "인공지능이란",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.17834394904458595,
|
||||
"2gram_rep": 0.02564102564102566,
|
||||
"3gram_rep": 0.006451612903225823,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "한국의 전통 음식 중에서",
|
||||
"n_tokens": 205,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.15254237288135597,
|
||||
"2gram_rep": 0.008547008547008517,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "지구 온난화의 주요 원인은",
|
||||
"n_tokens": 33,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.050000000000000044,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "프로그래밍을 배우려면",
|
||||
"n_tokens": 244,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.16778523489932884,
|
||||
"2gram_rep": 0.013513513513513487,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"params": "t0.7_rep1.1",
|
||||
"temperature": 0.7,
|
||||
"repetition_penalty": 1.1,
|
||||
"avg_3gram_rep": 0.0017,
|
||||
"avg_4gram_rep": 0.0,
|
||||
"eos_rate": 0.6,
|
||||
"avg_tokens": 177.0,
|
||||
"per_prompt": [
|
||||
{
|
||||
"prompt": "대한민국의 수도는",
|
||||
"n_tokens": 23,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.0,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "인공지능이란",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.12,
|
||||
"2gram_rep": 0.01342281879194629,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "한국의 전통 음식 중에서",
|
||||
"n_tokens": 157,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.06382978723404253,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "지구 온난화의 주요 원인은",
|
||||
"n_tokens": 193,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.17213114754098358,
|
||||
"2gram_rep": 0.03305785123966942,
|
||||
"3gram_rep": 0.008333333333333304,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "프로그래밍을 배우려면",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.16666666666666663,
|
||||
"2gram_rep": 0.0119760479041916,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"params": "t0.7_rep1.3",
|
||||
"temperature": 0.7,
|
||||
"repetition_penalty": 1.3,
|
||||
"avg_3gram_rep": 0.0017,
|
||||
"avg_4gram_rep": 0.0,
|
||||
"eos_rate": 1.0,
|
||||
"avg_tokens": 131.4,
|
||||
"per_prompt": [
|
||||
{
|
||||
"prompt": "대한민국의 수도는",
|
||||
"n_tokens": 33,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.0,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "인공지능이란",
|
||||
"n_tokens": 70,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.020000000000000018,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "한국의 전통 음식 중에서",
|
||||
"n_tokens": 93,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.0535714285714286,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "지구 온난화의 주요 원인은",
|
||||
"n_tokens": 217,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.07317073170731703,
|
||||
"2gram_rep": 0.016393442622950838,
|
||||
"3gram_rep": 0.008264462809917328,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "프로그래밍을 배우려면",
|
||||
"n_tokens": 244,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.07096774193548383,
|
||||
"2gram_rep": 0.012987012987012991,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"params": "t1.0",
|
||||
"temperature": 1.0,
|
||||
"repetition_penalty": 1.0,
|
||||
"avg_3gram_rep": 0.0064,
|
||||
"avg_4gram_rep": 0.0024,
|
||||
"eos_rate": 1.0,
|
||||
"avg_tokens": 136.8,
|
||||
"per_prompt": [
|
||||
{
|
||||
"prompt": "대한민국의 수도는",
|
||||
"n_tokens": 39,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.0,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "인공지능이란",
|
||||
"n_tokens": 128,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.1428571428571429,
|
||||
"2gram_rep": 0.022222222222222254,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "한국의 전통 음식 중에서",
|
||||
"n_tokens": 247,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.30597014925373134,
|
||||
"2gram_rep": 0.06766917293233088,
|
||||
"3gram_rep": 0.007575757575757569,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "지구 온난화의 주요 원인은",
|
||||
"n_tokens": 26,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.0,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "프로그래밍을 배우려면",
|
||||
"n_tokens": 244,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.35928143712574845,
|
||||
"2gram_rep": 0.10843373493975905,
|
||||
"3gram_rep": 0.024242424242424288,
|
||||
"4gram_rep": 0.012195121951219523
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"params": "t0.9",
|
||||
"temperature": 0.9,
|
||||
"repetition_penalty": 1.0,
|
||||
"avg_3gram_rep": 0.0376,
|
||||
"avg_4gram_rep": 0.0228,
|
||||
"eos_rate": 0.8,
|
||||
"avg_tokens": 150.2,
|
||||
"per_prompt": [
|
||||
{
|
||||
"prompt": "대한민국의 수도는",
|
||||
"n_tokens": 28,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.1875,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "인공지능이란",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.2955974842767296,
|
||||
"2gram_rep": 0.08227848101265822,
|
||||
"3gram_rep": 0.05095541401273884,
|
||||
"4gram_rep": 0.04487179487179482
|
||||
},
|
||||
{
|
||||
"prompt": "한국의 전통 음식 중에서",
|
||||
"n_tokens": 193,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.22340425531914898,
|
||||
"2gram_rep": 0.06451612903225812,
|
||||
"3gram_rep": 0.021739130434782594,
|
||||
"4gram_rep": 0.01098901098901095
|
||||
},
|
||||
{
|
||||
"prompt": "지구 온난화의 주요 원인은",
|
||||
"n_tokens": 197,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.32407407407407407,
|
||||
"2gram_rep": 0.12149532710280375,
|
||||
"3gram_rep": 0.05660377358490565,
|
||||
"4gram_rep": 0.03809523809523807
|
||||
},
|
||||
{
|
||||
"prompt": "프로그래밍을 배우려면",
|
||||
"n_tokens": 77,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.3584905660377359,
|
||||
"2gram_rep": 0.15384615384615385,
|
||||
"3gram_rep": 0.05882352941176472,
|
||||
"4gram_rep": 0.020000000000000018
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"params": "t0.7",
|
||||
"temperature": 0.7,
|
||||
"repetition_penalty": 1.0,
|
||||
"avg_3gram_rep": 0.0789,
|
||||
"avg_4gram_rep": 0.0394,
|
||||
"eos_rate": 0.8,
|
||||
"avg_tokens": 196.2,
|
||||
"per_prompt": [
|
||||
{
|
||||
"prompt": "대한민국의 수도는",
|
||||
"n_tokens": 237,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.40601503759398494,
|
||||
"2gram_rep": 0.16666666666666663,
|
||||
"3gram_rep": 0.05343511450381677,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "인공지능이란",
|
||||
"n_tokens": 109,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.18840579710144922,
|
||||
"2gram_rep": 0.08823529411764708,
|
||||
"3gram_rep": 0.02985074626865669,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "한국의 전통 음식 중에서",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.28688524590163933,
|
||||
"2gram_rep": 0.07438016528925617,
|
||||
"3gram_rep": 0.025000000000000022,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "지구 온난화의 주요 원인은",
|
||||
"n_tokens": 195,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.4,
|
||||
"2gram_rep": 0.18085106382978722,
|
||||
"3gram_rep": 0.08602150537634412,
|
||||
"4gram_rep": 0.021739130434782594
|
||||
},
|
||||
{
|
||||
"prompt": "프로그래밍을 배우려면",
|
||||
"n_tokens": 184,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.4273504273504274,
|
||||
"2gram_rep": 0.25,
|
||||
"3gram_rep": 0.19999999999999996,
|
||||
"4gram_rep": 0.17543859649122806
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"params": "t0.5",
|
||||
"temperature": 0.5,
|
||||
"repetition_penalty": 1.0,
|
||||
"avg_3gram_rep": 0.0843,
|
||||
"avg_4gram_rep": 0.062,
|
||||
"eos_rate": 0.8,
|
||||
"avg_tokens": 119.0,
|
||||
"per_prompt": [
|
||||
{
|
||||
"prompt": "대한민국의 수도는",
|
||||
"n_tokens": 34,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.1428571428571429,
|
||||
"2gram_rep": 0.050000000000000044,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "인공지능이란",
|
||||
"n_tokens": 64,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.13888888888888884,
|
||||
"2gram_rep": 0.08571428571428574,
|
||||
"3gram_rep": 0.05882352941176472,
|
||||
"4gram_rep": 0.030303030303030276
|
||||
},
|
||||
{
|
||||
"prompt": "한국의 전통 음식 중에서",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.5474452554744526,
|
||||
"2gram_rep": 0.3529411764705882,
|
||||
"3gram_rep": 0.274074074074074,
|
||||
"4gram_rep": 0.23880597014925375
|
||||
},
|
||||
{
|
||||
"prompt": "지구 온난화의 주요 원인은",
|
||||
"n_tokens": 46,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.04347826086956519,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "프로그래밍을 배우려면",
|
||||
"n_tokens": 195,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.39682539682539686,
|
||||
"2gram_rep": 0.19999999999999996,
|
||||
"3gram_rep": 0.08870967741935487,
|
||||
"4gram_rep": 0.04065040650406504
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"params": "greedy",
|
||||
"temperature": 0.0,
|
||||
"repetition_penalty": 1.0,
|
||||
"avg_3gram_rep": 0.3157,
|
||||
"avg_4gram_rep": 0.2901,
|
||||
"eos_rate": 0.4,
|
||||
"avg_tokens": 173.2,
|
||||
"per_prompt": [
|
||||
{
|
||||
"prompt": "대한민국의 수도는",
|
||||
"n_tokens": 22,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.2727272727272727,
|
||||
"2gram_rep": 0.09999999999999998,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "인공지능이란",
|
||||
"n_tokens": 76,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.31999999999999995,
|
||||
"2gram_rep": 0.26530612244897955,
|
||||
"3gram_rep": 0.22916666666666663,
|
||||
"4gram_rep": 0.21276595744680848
|
||||
},
|
||||
{
|
||||
"prompt": "한국의 전통 음식 중에서",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.6890756302521008,
|
||||
"2gram_rep": 0.6186440677966102,
|
||||
"3gram_rep": 0.5897435897435898,
|
||||
"4gram_rep": 0.5689655172413793
|
||||
},
|
||||
{
|
||||
"prompt": "지구 온난화의 주요 원인은",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.5298507462686567,
|
||||
"2gram_rep": 0.3308270676691729,
|
||||
"3gram_rep": 0.2272727272727273,
|
||||
"4gram_rep": 0.14503816793893132
|
||||
},
|
||||
{
|
||||
"prompt": "프로그래밍을 배우려면",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.6491228070175439,
|
||||
"2gram_rep": 0.5470588235294118,
|
||||
"3gram_rep": 0.5325443786982249,
|
||||
"4gram_rep": 0.5238095238095238
|
||||
}
|
||||
]
|
||||
}
|
||||
],
|
||||
"best": {
|
||||
"params": "t0.7_rep1.2",
|
||||
"temperature": 0.7,
|
||||
"repetition_penalty": 1.2,
|
||||
"avg_3gram_rep": 0.0,
|
||||
"avg_4gram_rep": 0.0
|
||||
},
|
||||
"elapsed_sec": 88.8
|
||||
}
|
||||
@@ -0,0 +1,26 @@
|
||||
[TASK_RUNNER gpu_id=7] Starting task=repetition_grid
|
||||
[TASK_RUNNER gpu_id=7] NUMA affinity set: cores 36-71
|
||||
/usr/local/lib/python3.12/dist-packages/torch/library.py:356: UserWarning: Warning only once for all operators, other operators may also be overridden.
|
||||
Overriding a previously registered kernel for the same operator and the same dispatch key
|
||||
operator: flash_attn::_flash_attn_backward(Tensor dout, Tensor q, Tensor k, Tensor v, Tensor out, Tensor softmax_lse, Tensor(a6!)? dq, Tensor(a7!)? dk, Tensor(a8!)? dv, float dropout_p, float softmax_scale, bool causal, SymInt window_size_left, SymInt window_size_right, float softcap, Tensor? alibi_slopes, bool deterministic, Tensor? rng_state=None) -> Tensor
|
||||
registered at /usr/local/lib/python3.12/dist-packages/torch/_library/custom_ops.py:922
|
||||
dispatch key: ADInplaceOrView
|
||||
previous kernel: no debug info
|
||||
new kernel: registered at /usr/local/lib/python3.12/dist-packages/torch/_library/custom_ops.py:922 (Triggered internally at /opt/pytorch/pytorch/aten/src/ATen/core/dispatch/OperatorEntry.cpp:208.)
|
||||
self.m.impl(
|
||||
[REP cuda:0] Loading model...
|
||||
[REP cuda:0] Chat template ENABLED
|
||||
[REP cuda:0] greedy: 3gram=31.57%, 4gram=29.01%, eos=40%, 173tok
|
||||
[REP cuda:0] t0.5: 3gram=8.43%, 4gram=6.20%, eos=80%, 119tok
|
||||
[REP cuda:0] t0.5_rep1.1: 3gram=0.13%, 4gram=0.00%, eos=60%, 199tok
|
||||
[REP cuda:0] t0.7: 3gram=7.89%, 4gram=3.94%, eos=80%, 196tok
|
||||
[REP cuda:0] t0.7_rep1.1: 3gram=0.17%, 4gram=0.00%, eos=60%, 177tok
|
||||
[REP cuda:0] t0.7_rep1.2: 3gram=0.00%, 4gram=0.00%, eos=100%, 189tok
|
||||
[REP cuda:0] t0.7_rep1.3: 3gram=0.17%, 4gram=0.00%, eos=100%, 131tok
|
||||
[REP cuda:0] t0.9: 3gram=3.76%, 4gram=2.28%, eos=80%, 150tok
|
||||
[REP cuda:0] t0.9_rep1.1: 3gram=0.00%, 4gram=0.00%, eos=20%, 213tok
|
||||
[REP cuda:0] t0.9_rep1.2: 3gram=0.00%, 4gram=0.00%, eos=60%, 200tok
|
||||
[REP cuda:0] t1.0: 3gram=0.64%, 4gram=0.24%, eos=100%, 137tok
|
||||
[REP cuda:0] t1.0_rep1.1: 3gram=0.00%, 4gram=0.00%, eos=80%, 118tok
|
||||
[REP cuda:0] DONE best=t0.7_rep1.2 (3gram=0.00%), 88.8s
|
||||
[TASK_RUNNER gpu_id=7] Done. Result saved to eval/outputs/3b_orpo_eval_20260309_0607/phase1_repetition_grid_gpu7.json
|
||||
@@ -0,0 +1,65 @@
|
||||
2026-03-09 06:47:56 [INFO] ========================================================================
|
||||
2026-03-09 06:47:56 [INFO] FRANKENSTALLM 3B — ORPO Evaluation Pipeline
|
||||
2026-03-09 06:47:56 [INFO] ========================================================================
|
||||
2026-03-09 06:47:56 [INFO] ORPO Checkpoint : checkpoints/korean_3b_orpo_v1/checkpoint-9840
|
||||
2026-03-09 06:47:56 [INFO] Tokenizer : checkpoints/korean_3b_orpo_v1/checkpoint-9840/tokenizer.json
|
||||
2026-03-09 06:47:56 [INFO] HF Model Path : checkpoints/korean_3b_orpo_v1/checkpoint-9840 (same as checkpoint)
|
||||
2026-03-09 06:47:56 [INFO] Base Results : /PROJECT/0325120031_A/ghong/taketimes/llm-bang/eval/outputs/3b_reeval_20260305_1451
|
||||
2026-03-09 06:47:56 [INFO] SFT Results : /PROJECT/0325120031_A/ghong/taketimes/llm-bang/eval/outputs/3b_sft_eval_20260306_1536
|
||||
2026-03-09 06:47:56 [INFO] Output dir : eval/outputs/3b_orpo_eval_20260309_0607
|
||||
2026-03-09 06:47:56 [INFO] GPUs : [0, 1, 2, 3, 4, 5, 6, 7]
|
||||
2026-03-09 06:47:56 [INFO] Phases : phase1=run phase2=skip
|
||||
2026-03-09 06:47:56 [INFO] Preflight OK: checkpoint=checkpoints/korean_3b_orpo_v1/checkpoint-9840, tokenizer=checkpoints/korean_3b_orpo_v1/checkpoint-9840/tokenizer.json
|
||||
2026-03-09 06:47:56 [INFO]
|
||||
2026-03-09 06:47:56 [INFO] ------------------------------------------------------------------------
|
||||
2026-03-09 06:47:56 [INFO] PRE-PHASE — Extract Training Curve from train.log
|
||||
2026-03-09 06:47:56 [INFO] ------------------------------------------------------------------------
|
||||
2026-03-09 06:47:56 [INFO] Parsing training log: /PROJECT/0325120031_A/ghong/taketimes/llm-bang/checkpoints/korean_3b_orpo_v1/train.log
|
||||
2026-03-09 06:47:56 [INFO] Extracted 985 train steps, 19 eval steps from log.
|
||||
2026-03-09 06:47:56 [INFO] Training curve saved: eval/outputs/3b_orpo_eval_20260309_0607/training_curve.json
|
||||
2026-03-09 06:47:56 [INFO]
|
||||
2026-03-09 06:47:56 [INFO] ------------------------------------------------------------------------
|
||||
2026-03-09 06:47:56 [INFO] PHASE 1 — ORPO Internal Evaluation — 8 GPU Parallel
|
||||
2026-03-09 06:47:56 [INFO] ------------------------------------------------------------------------
|
||||
2026-03-09 06:47:56 [INFO] Spawning: GPU 5 — Calibration + Token NLL (GPU 5) [ORPO]
|
||||
2026-03-09 06:47:56 [INFO] Spawning: GPU 6 — Generation (15 prompts × 4 temps) (GPU 6) [ORPO]
|
||||
2026-03-09 06:47:56 [INFO] Spawning: GPU 7 — Repetition grid (12 × 5) (GPU 7) [ORPO]
|
||||
2026-03-09 06:47:56 [INFO] Spawning: GPU 0 — PPL: 3b_val.bin (GPU 0) [ORPO]
|
||||
2026-03-09 06:47:56 [INFO] Spawning: GPU 1 — PPL: korean_c4 + korean_val (GPU 1) [ORPO]
|
||||
2026-03-09 06:47:56 [INFO] Spawning: GPU 2 — PPL: hplt_ko + cc100_ko (GPU 2) [ORPO]
|
||||
2026-03-09 06:47:56 [INFO] Spawning: GPU 3 — PPL: 7 cosmo files (GPU 3) [ORPO]
|
||||
2026-03-09 06:47:56 [INFO] Spawning: GPU 4 — PPL: 7 remaining files (GPU 4) [ORPO]
|
||||
2026-03-09 06:49:02 [INFO] [DONE] GPU 5 — Calibration + Token NLL
|
||||
2026-03-09 06:49:58 [INFO] [DONE] GPU 6 — Generation (15 prompts × 4 temps)
|
||||
2026-03-09 06:50:06 [INFO] [DONE] GPU 7 — Repetition grid (12 × 5)
|
||||
2026-03-09 06:56:30 [INFO] [DONE] GPU 3 — PPL: 7 cosmo files
|
||||
2026-03-09 06:57:30 [INFO] [DONE] GPU 4 — PPL: 7 remaining files
|
||||
2026-03-09 06:59:48 [INFO] [DONE] GPU 2 — PPL: hplt_ko + cc100_ko
|
||||
2026-03-09 07:06:26 [INFO] [DONE] GPU 1 — PPL: korean_c4 + korean_val
|
||||
2026-03-09 07:29:04 [INFO] [DONE] GPU 0 — PPL: 3b_val.bin
|
||||
2026-03-09 07:29:04 [INFO] Complete: 8 succeeded, 0 failed
|
||||
2026-03-09 07:29:04 [INFO] Phase 1 results saved: eval/outputs/3b_orpo_eval_20260309_0607/phase1_results.json
|
||||
2026-03-09 07:29:04 [INFO] Generation samples saved: eval/outputs/3b_orpo_eval_20260309_0607/generation_samples.json
|
||||
2026-03-09 07:29:04 [INFO] Phase 1 complete in 41m 8s.
|
||||
2026-03-09 07:29:04 [INFO]
|
||||
2026-03-09 07:29:04 [INFO] ------------------------------------------------------------------------
|
||||
2026-03-09 07:29:04 [INFO] PHASE 2 — ORPO Benchmarks — 8 GPU Parallel
|
||||
2026-03-09 07:29:04 [INFO] ------------------------------------------------------------------------
|
||||
2026-03-09 07:29:04 [INFO] Skipping Phase 2.
|
||||
2026-03-09 07:29:08 [INFO] Loaded existing Phase 2 results.
|
||||
2026-03-09 07:29:08 [INFO]
|
||||
2026-03-09 07:29:08 [INFO] ------------------------------------------------------------------------
|
||||
2026-03-09 07:29:08 [INFO] PHASE 3 — Base vs SFT vs ORPO — 3-Way Comparison Report
|
||||
2026-03-09 07:29:08 [INFO] ------------------------------------------------------------------------
|
||||
2026-03-09 07:29:13 [INFO] 3-way comparison report saved: /PROJECT/0325120031_A/ghong/taketimes/llm-bang/reports/2026-03-09_ORPO_EVALUATION_REPORT.md
|
||||
2026-03-09 07:29:13 [INFO] Phase 3 complete in 5s.
|
||||
2026-03-09 07:29:13 [INFO] ========================================================================
|
||||
2026-03-09 07:29:13 [INFO] ORPO EVALUATION PIPELINE COMPLETE
|
||||
2026-03-09 07:29:13 [INFO] ========================================================================
|
||||
2026-03-09 07:29:13 [INFO] Total time : 41m 17s
|
||||
2026-03-09 07:29:13 [INFO] Output dir : eval/outputs/3b_orpo_eval_20260309_0607
|
||||
2026-03-09 07:29:13 [INFO] Training curve : eval/outputs/3b_orpo_eval_20260309_0607/training_curve.json
|
||||
2026-03-09 07:29:13 [INFO] Phase 1 results : eval/outputs/3b_orpo_eval_20260309_0607/phase1_results.json
|
||||
2026-03-09 07:29:13 [INFO] Phase 2 results : eval/outputs/3b_orpo_eval_20260309_0607/phase2_results.json
|
||||
2026-03-09 07:29:13 [INFO] Report : /PROJECT/0325120031_A/ghong/taketimes/llm-bang/reports/2026-03-09_ORPO_EVALUATION_REPORT.md
|
||||
2026-03-09 07:29:13 [INFO] ========================================================================
|
||||
1982
source/eval/outputs/3b_orpo_eval_20260309_0607/phase1_results.json
Normal file
1982
source/eval/outputs/3b_orpo_eval_20260309_0607/phase1_results.json
Normal file
File diff suppressed because it is too large
Load Diff
208766
source/eval/outputs/3b_orpo_eval_20260309_0607/phase2_gpu0_0shot.json
Normal file
208766
source/eval/outputs/3b_orpo_eval_20260309_0607/phase2_gpu0_0shot.json
Normal file
File diff suppressed because one or more lines are too long
File diff suppressed because one or more lines are too long
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:6571e4dcae74ccb51fcb49f5099753a23d50fd6f5437292e1b19793b46177d44
|
||||
size 19264181
|
||||
File diff suppressed because one or more lines are too long
70582
source/eval/outputs/3b_orpo_eval_20260309_0607/phase2_gpu1_0shot.json
Normal file
70582
source/eval/outputs/3b_orpo_eval_20260309_0607/phase2_gpu1_0shot.json
Normal file
File diff suppressed because one or more lines are too long
File diff suppressed because one or more lines are too long
File diff suppressed because one or more lines are too long
File diff suppressed because one or more lines are too long
104181
source/eval/outputs/3b_orpo_eval_20260309_0607/phase2_gpu2_0shot.json
Normal file
104181
source/eval/outputs/3b_orpo_eval_20260309_0607/phase2_gpu2_0shot.json
Normal file
File diff suppressed because one or more lines are too long
File diff suppressed because one or more lines are too long
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:67d221bf2ea07bb58c64c7db3e229b549f84ad6ebd97fe685c975c3992ba171c
|
||||
size 13087292
|
||||
File diff suppressed because one or more lines are too long
37750
source/eval/outputs/3b_orpo_eval_20260309_0607/phase2_gpu3_0shot.json
Normal file
37750
source/eval/outputs/3b_orpo_eval_20260309_0607/phase2_gpu3_0shot.json
Normal file
File diff suppressed because one or more lines are too long
File diff suppressed because one or more lines are too long
File diff suppressed because one or more lines are too long
File diff suppressed because one or more lines are too long
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:bfaac7fef7009a2df97e1b2ef84b3ccd0308a1316c7e6da884c01966671fbbe0
|
||||
size 64393750
|
||||
File diff suppressed because one or more lines are too long
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:0dfa55edcc94b70b273dc2fa64a3ee9e3554cec55e4f409af48abb7f565dffef
|
||||
size 148110843
|
||||
File diff suppressed because one or more lines are too long
165351
source/eval/outputs/3b_orpo_eval_20260309_0607/phase2_gpu5_0shot.json
Normal file
165351
source/eval/outputs/3b_orpo_eval_20260309_0607/phase2_gpu5_0shot.json
Normal file
File diff suppressed because one or more lines are too long
Some files were not shown because too many files have changed in this diff Show More
Reference in New Issue
Block a user