351 lines
29 KiB
Plaintext
351 lines
29 KiB
Plaintext
/usr/local/lib/python3.12/dist-packages/torch/library.py:356: UserWarning: Warning only once for all operators, other operators may also be overridden.
|
||
Overriding a previously registered kernel for the same operator and the same dispatch key
|
||
operator: flash_attn::_flash_attn_backward(Tensor dout, Tensor q, Tensor k, Tensor v, Tensor out, Tensor softmax_lse, Tensor(a6!)? dq, Tensor(a7!)? dk, Tensor(a8!)? dv, float dropout_p, float softmax_scale, bool causal, SymInt window_size_left, SymInt window_size_right, float softcap, Tensor? alibi_slopes, bool deterministic, Tensor? rng_state=None) -> Tensor
|
||
registered at /usr/local/lib/python3.12/dist-packages/torch/_library/custom_ops.py:922
|
||
dispatch key: ADInplaceOrView
|
||
previous kernel: no debug info
|
||
new kernel: registered at /usr/local/lib/python3.12/dist-packages/torch/_library/custom_ops.py:922 (Triggered internally at /opt/pytorch/pytorch/aten/src/ATen/core/dispatch/OperatorEntry.cpp:208.)
|
||
self.m.impl(
|
||
|
||
========================================================================
|
||
COMPREHENSIVE EVAL — Korean 1B LLM
|
||
========================================================================
|
||
Checkpoint : /PROJECT/0325120031_A/ghong/taketimes/llm-bang/checkpoints/korean_3b_fp8_run1/checkpoint-0057000
|
||
Device : cuda:0
|
||
Data dir : /PROJECT/0325120031_A/ghong/taketimes/llm-bang/data
|
||
seq_len : 2048 stride=512 batch=4
|
||
|
||
========================================================================
|
||
LOADING MODEL & TOKENIZER
|
||
========================================================================
|
||
Loading model weights from: /PROJECT/0325120031_A/ghong/taketimes/llm-bang/checkpoints/korean_3b_fp8_run1/checkpoint-0057000
|
||
Model parameters: 3015.4M | dtype: torch.bfloat16
|
||
Loading tokenizer from: /PROJECT/0325120031_A/ghong/taketimes/llm-bang/tokenizer/korean_sp/tokenizer.json
|
||
|
||
========================================================================
|
||
1. MULTI-SOURCE PERPLEXITY
|
||
========================================================================
|
||
Evaluating 3b_val.bin ...
|
||
3b_val.bin: 75,681,623 tokens (using 2,000,000)
|
||
PPL = 5.9034 | bits/token = 2.5615 | tokens = 5,991,617
|
||
Evaluating korean_wiki_val.bin ...
|
||
korean_wiki_val.bin: 524,561 tokens (using 524,561)
|
||
PPL = 11.8359 | bits/token = 3.5651 | tokens = 1,567,747
|
||
Evaluating korean_c4_val.bin ...
|
||
korean_c4_val.bin: 15,159,838 tokens (using 2,000,000)
|
||
PPL = 5.9034 | bits/token = 2.5615 | tokens = 5,991,617
|
||
Evaluating korean_namuwiki_val.bin ...
|
||
korean_namuwiki_val.bin: 2,166,179 tokens (using 2,000,000)
|
||
PPL = 25.8307 | bits/token = 4.6910 | tokens = 5,991,617
|
||
|
||
Dataset PPL bits/tok tokens
|
||
------------------------------ ---------- ---------- ------------
|
||
3b_val 5.9034 2.5615 5,991,617
|
||
korean_wiki_val 11.8359 3.5651 1,567,747
|
||
korean_c4_val 5.9034 2.5615 5,991,617
|
||
korean_namuwiki_val 25.8307 4.6910 5,991,617
|
||
|
||
========================================================================
|
||
2. TOKEN-LEVEL NLL ANALYSIS
|
||
========================================================================
|
||
Total token positions analysed: 2,047
|
||
|
||
NLL range count percentage
|
||
---------- ---------- ------------
|
||
<1 838 40.94%
|
||
1-2 268 13.09%
|
||
2-3 184 8.99%
|
||
3-5 338 16.51%
|
||
5-10 348 17.00%
|
||
>10 71 3.47%
|
||
|
||
Mean NLL: 2.7110 Std: 3.0572
|
||
Median NLL: 1.6328
|
||
|
||
Top-50 HIGHEST-loss tokens (model struggles with):
|
||
rank token_id avg_nll count decoded
|
||
----- ---------- -------- -------- ------------------------------
|
||
1 2703 19.375 1 '절'
|
||
2 54538 15.125 1 '리딩'
|
||
3 38808 14.812 1 '부드럽게'
|
||
4 38361 13.812 1 '모터스'
|
||
5 15157 13.604 3 'Ana'
|
||
6 797 13.312 1 '인'
|
||
7 3601 13.062 1 '가입'
|
||
8 454 13.000 1 '['
|
||
9 4636 12.938 1 '델'
|
||
10 23914 12.812 1 '차종'
|
||
11 48107 12.812 1 '240'
|
||
12 12162 12.750 1 '휴식'
|
||
13 13948 12.562 1 '발명'
|
||
14 750 12.375 1 '원래'
|
||
15 8371 12.312 1 '넘어가'
|
||
16 12957 12.062 1 '프라'
|
||
17 42565 12.062 1 '높'
|
||
18 20749 12.000 1 '경찰관'
|
||
19 28930 11.938 1 '2/3'
|
||
20 8804 11.812 1 '전체가'
|
||
21 46758 11.625 1 '인산'
|
||
22 404 11.625 1 '13'
|
||
23 17211 11.625 1 '특수'
|
||
24 47755 11.500 1 '갇히'
|
||
25 14335 11.375 1 '찾'
|
||
26 46 11.312 1 '"'
|
||
27 3248 11.188 3 '레이'
|
||
28 3873 11.125 1 '비교'
|
||
29 1249 11.125 1 '별'
|
||
30 16682 11.125 1 '박성'
|
||
31 6958 11.000 1 '차량'
|
||
32 27391 10.875 1 '마라'
|
||
33 19879 10.875 1 '반짝'
|
||
34 11335 10.875 1 '하루'
|
||
35 5827 10.750 1 '텐'
|
||
36 25799 10.750 1 'hon'
|
||
37 1663 10.625 1 '탈'
|
||
38 1098 10.625 1 '열'
|
||
39 178 10.625 1 '?'
|
||
40 190 10.625 1 '해서'
|
||
41 21711 10.562 1 '출근'
|
||
42 60160 10.500 1 '여러분'
|
||
43 34104 10.500 1 'Mu'
|
||
44 36520 10.438 1 '꼼꼼'
|
||
45 13829 10.438 1 '대기업'
|
||
46 29317 10.438 1 '새끼'
|
||
47 8408 10.375 1 '더이상'
|
||
48 37737 10.375 1 '윗'
|
||
49 3842 10.312 1 '거부'
|
||
50 283 10.250 1 '가'
|
||
|
||
Top-50 LOWEST-loss tokens (model handles well):
|
||
rank token_id avg_nll count decoded
|
||
----- ---------- -------- -------- ------------------------------
|
||
1 18307 0.000 2 '톡'
|
||
2 53478 0.000 2 '〕'
|
||
3 39976 0.000 2 '블러'
|
||
4 2650 0.000 2 '27'
|
||
5 63 0.000 1 '나'
|
||
6 1644 0.000 1 '귀'
|
||
7 2861 0.000 1 '흥'
|
||
8 175 0.000 1 '상'
|
||
9 9096 0.000 1 '묵'
|
||
10 2901 0.000 2 '시아'
|
||
11 183 0.001 37 '장'
|
||
12 13090 0.001 1 '앉'
|
||
13 6394 0.001 1 '시스'
|
||
14 781 0.001 1 're'
|
||
15 62 0.001 1 '하는'
|
||
16 28235 0.001 1 'usa'
|
||
17 10071 0.002 1 'BA'
|
||
18 1492 0.002 1 'com'
|
||
19 33432 0.002 1 '즐거워'
|
||
20 8020 0.003 1 '】'
|
||
21 4893 0.003 1 'ino'
|
||
22 1360 0.004 1 '평'
|
||
23 2487 0.004 2 'der'
|
||
24 415 0.004 2 '천'
|
||
25 3279 0.004 1 'lo'
|
||
26 24967 0.005 1 'zon'
|
||
27 27218 0.005 1 'dies'
|
||
28 48385 0.005 1 'Net'
|
||
29 29867 0.005 1 '대행'
|
||
30 35897 0.005 1 'gia'
|
||
31 1158 0.005 1 '통'
|
||
32 3538 0.007 1 '자리에'
|
||
33 228 0.008 1 'm'
|
||
34 33953 0.008 1 'Archive'
|
||
35 18621 0.010 1 '스틱'
|
||
36 337 0.010 2 'i'
|
||
37 34 0.010 2 '-'
|
||
38 54057 0.012 1 'wig'
|
||
39 13665 0.013 1 '자의'
|
||
40 49731 0.013 2 '율법'
|
||
41 44957 0.013 1 '같으니'
|
||
42 20658 0.015 1 '서지'
|
||
43 24244 0.015 1 'vocal'
|
||
44 53746 0.016 1 'Translation'
|
||
45 970 0.016 1 '난'
|
||
46 43222 0.016 1 'that'
|
||
47 5677 0.017 2 '텔'
|
||
48 59995 0.023 1 '여호와'
|
||
49 15087 0.026 1 '꾀'
|
||
50 5195 0.026 1 '뉴'
|
||
|
||
========================================================================
|
||
3. MULTI-PROMPT GENERATION
|
||
========================================================================
|
||
|
||
[01/10] Prompt: '한국의 수도는'
|
||
----------------------------------------------------------------------
|
||
한국의 수도는서울이 아니라 서울공화국이다.서울의 인구를 서울공화국의 인구로 환산하면 대략 5800만 명으로 추정된다. 이는 한반도 전체의 0.1%에 해당하는 인구로, 이 정도면 남한 인구의 0.4%에 해당한다.그리고 서울공화국이 아닌 서울공화국이라는 표현으로도 표현이 가능한 한반도의 거의 대부분의 지역이 서울공화국에 속한다. 또한, 서울공화국은 "서울이 한반도 전체를 차지한다"는 전제에서 비롯된 것으로, 대한민국은 남북분단으로 인해 하나의 국가로서 서울을 비롯한 수도권에 대한 통제권이 거의 없다.서울 공화국이라는 표현이 공식적으로 사용된 것이 1989년이지만, 그 이전에도 '서울공화국'이라는 표현이 쓰인 적이 있었다. 대표적으로 1990년 제5공화국 당시 김영삼 대통령의 신년 기자회견에서 나온 "서울 공화국"이라는 표현이 있다. 그리고 이명박 정부 출범 이후, 서울 공화국이라는 표현이 공식적으로 등장하였다.그리고 서울 공화국에 대한 논의는 대한민국의 정치에 대한 관심과 밀접한 관련이 있다. 특히, 대한민국에서 가장 인구가 많은 수도권을 관할하는 광역자치단체의 수장인 서울시장이 서울
|
||
|
||
[generated 114 words in 3.0s]
|
||
|
||
[02/10] Prompt: '인공지능이란'
|
||
----------------------------------------------------------------------
|
||
인공지능이란?5[리서치뷰] 차기 ‘차기 대권주자 선호도’ 이낙연 1위, 황교안 2위, 이재명 3위6[리서치뷰] 차기 ‘문재인 대통령 지지율’ 50% 육박, 부정평가 46.7%7‘문재인 대통령’ 41.4%, ‘황교안 국무총리’ 30.5%, ‘이재명 경기지사’ 29.5%, ‘안희정 충남지사’ 19.1%8[리서치뷰] 차기 대선 ‘정당 지지도’ 이낙연 41.4%, 황교안 28.9%, 이재명 19.9%, 유승민 11.2%9[리서치뷰] 차기 대선 ‘정당 지지도’ 이낙연 41.4%, 황교안 28.9%, 이재명 19.9%, 유승민 11.2%10[리서치뷰] 차기 대선 ‘정당 지지도’ 이재명 19.9%, 이낙연 41.3%, 황교안 20.4%, 이재명 11.3%UPDATE: 2020년 04월 06일 22시 50분김천출장
|
||
|
||
[generated 71 words in 2.7s]
|
||
|
||
[03/10] Prompt: '오늘 날씨가 좋아서'
|
||
----------------------------------------------------------------------
|
||
오늘 날씨가 좋아서기분도 더 좋아지는 것 같아요! 오늘은 미세먼지로 인해서 마스크를 쓰는 것도 좋지만, 기분전환 겸 산책을 할겸 밖으로 나갔어요.저는 이번에 미세먼지로 인해서 마스크를 쓰고 밖으로 나가서 산책을 했어요.우선, 미세먼지가 심했던 날은 밖에서 운동하기 좀 꺼려지더라고요.그런데 공원에 가면 산책도 할겸, 운동도 할겸 하는 게 좋아서 그런지 미세먼지가 심했던 날은 밖에 나가서 산책을 하고 산책을 마치고 집으로 돌아와서는 밖에 나가서 미세먼지를 씻어내기도 하고요.그리고 미세먼지가 심했던 날은 공기청정기가 없으면 안될 정도로 미세먼지가 정말 심하더라고요.그래서 공기청정기 하나씩 가지고 가고 싶다는 생각이 들더라고요.근데 미세먼지가 심했던 날은 미세먼지로 인해서 마스크를 써야 한다는 게 조금 부담스럽기도 해요.마스크를 써야할 것 같아서 안쓰고 나가는 경우도 많은데,이미 미세먼지가 심했던 날에는 미세먼지로 인해서 마스크를 써야한다는 게 조금 부담스럽기도 하더라고
|
||
|
||
[generated 107 words in 2.7s]
|
||
|
||
[04/10] Prompt: '대한민국의 역사에서 가장 중요한 사건은'
|
||
----------------------------------------------------------------------
|
||
대한민국의 역사에서 가장 중요한 사건은1392년(태조 원년)에 일어난 태조 이성계(李成桂)와 정도전(鄭道傳)의 삼한통일전쟁이었다. 그 후 1400년(조선 정종 2년)에 이성계와 정도전이 이방원(李芳遠)에게 피살되었다.이성계의 조선 건국 조선 개국은 조선이 이성계의 조선(朝鮮)으로 국호를 바꾼 사건을 가리킨다. 1392년(태조 원년)에 개국하여 1398년(태조 7년)에 수도를 개성으로 옮기면서 1393년(태조 2년)까지 3년 동안 존속하였다. 태조는 정도전을 등용하여 개혁정치를 펼치기로 하고, 조선 태조(太祖)로 국호를 바꾸었다.태조는 즉위 원년(1392년)에 태조 이성계(李成桂)를 조선(朝鮮)의 제1대 임금으로 임명하고, 도읍을 한양(漢陽)으로 정하고 연호를 정하여 태조(太祖)
|
||
|
||
[generated 64 words in 2.8s]
|
||
|
||
[05/10] Prompt: '서울에서 부산까지 가는 방법은'
|
||
----------------------------------------------------------------------
|
||
서울에서 부산까지 가는 방법은지하철과 버스가 가장 편리하다. 부산역, 남포동, 자갈치시장, 국제시장 등 부산의 주요 관광지를 편리하게 갈 수 있다. 그러나 부산역, 남포동, 자갈치시장 등 부산의 주요 관광지를 들르는 데만 하루가 꼬박 걸린다. 그래서 아침과 저녁의 두 배가 넘는 시간을 할애해 부산의 명소를 둘러보는 데 투자하는 사람들이 늘고 있다.그러나 부산의 주요 관광지를 모두 둘러보는 데는 적지 않은 비용이 든다. 지하철, 버스, 택시 등을 이용하면 비교적 저렴하지만, 부산의 주요 관광지를 모두 돌아보는 데는 몇 배의 비용이 든다. 따라서 부산 여행을 계획할 때 가장 먼저 고려해야 할 것은 부산의 대표 관광지를 둘러보는 데 드는 비용이다. 부산은 해안과 도시 전체가 아름다운 항구도시이며, 아름다운 해안을 따라 많은 관광지가 조성되어 있다.부산은 해안을 따라 관광지가 매우 발달해 있다. 부산의 명소를 둘러보는 데는 적게는 몇 천 원에서 몇만 원
|
||
|
||
[generated 118 words in 2.7s]
|
||
|
||
[06/10] Prompt: '다음은 파이썬 코드입니다:\ndef hello():'
|
||
----------------------------------------------------------------------
|
||
다음은 파이썬 코드입니다:
|
||
def hello():이 코드는 모든 웹 페이지에 대해 웹 소켓을 통해 연결할 수 있습니다.<div> <div class="foo"> <div class="foo"> <div class="foo"> <p class="foo"> <p class="foo"> <p class="foo"> <p class="foo"> <p class="foo"> <p class="foo"> <p class="foo"> <p class="foo"> <p class="foo"> <p class="foo"> <p class="foo"> <p class="foo"> <p class="foo"> <p class="foo"> <p class="foo"> <p class="foo"> <p class="foo"> <p class="foo"> <p class="foo"> <p
|
||
|
||
[generated 57 words in 2.8s]
|
||
|
||
[07/10] Prompt: '1 + 1 = 2이고, 2 + 2 ='
|
||
----------------------------------------------------------------------
|
||
1 + 1 = 2이고, 2 + 2 =3, 3 = 2, 2 = 1이다.이제, 두 변수에 대한 비교를 살펴보자.먼저, 2가 1보다 작다는 것을 알 수 있다. 2는 1보다 크다. 따라서, 두 변수는 같은 개수의 값을 가진다.먼저, 2를 계산하는 방법을 살펴보자.먼저, 두 변수의 비교 결과를 먼저 살펴보자.먼저, 두 변수의 합은 2이다. 즉, 1 + 1 = 2이고, 2 + 2 = 3, 3 = 2, 2 = 1이다.두 변수의 합은 2이므로, 2는 1보다 작다. 따라서, 두 변수의 합은 2이다.다음으로, 두 변수의 비교 결과를 살펴보자.먼저, 두 변수의 합은 2이다. 즉, 1 + 1 = 2이고, 2 + 2 = 3, 3 = 2, 2 = 1이다.두 변수의 합은 2이므로, 2
|
||
|
||
[generated 101 words in 2.8s]
|
||
|
||
[08/10] Prompt: '봄이 오면 꽃이 피고'
|
||
----------------------------------------------------------------------
|
||
봄이 오면 꽃이 피고새가 지저귀는 계절이다. 이런 때에 우리의 마음을 따뜻하게 하여 마음을 상쾌하게 해주는 향이 있다. 그 향은 바로 봄의 향이다.봄의 향은 향내음이 나는 꽃향기이다. 봄은 봄에 나는 꽃이다. 봄에는 꽃이 피고, 새들이 지저귀고, 사람들은 봄을 맞아 꽃이 피고 새가 지저귀는 계절이다. 봄에는 그 꽃과 새들이 피고, 새들이 지저귀는 계절이다. 이런 때에 우리의 마음을 따뜻하게 하여 마음을 상쾌하게 해주는 향이 있다. 그 향은 바로 봄의 향이다.봄의 향은 꽃향기이다. 봄은 봄에 나는 꽃이다. 봄에는 꽃이 피고, 새들이 지저귀는 계절이다. 봄에는 그 꽃과 새들이 피고, 새들이 지저귀는 계절이다. 이런 때에 우리의 마음을 따뜻하게 하여 마음을 상쾌하게 해주는 향이 있다. 그 향은 바로 봄의 향이다.봄의 향은 나무향기
|
||
|
||
[generated 102 words in 2.7s]
|
||
|
||
[09/10] Prompt: '맛있는 김치찌개를 만들려면'
|
||
----------------------------------------------------------------------
|
||
맛있는 김치찌개를 만들려면어떻게 해야할까. 김치찌개는 찌개의 맛을 좌우하는 중요한 음식이다. 김치찌개는 김치를 기본으로 육수, 양념, 고명, 조리법 등을 적절하게 혼합해 만드는 음식이기 때문에 잘 끓이는 것이 김치찌개의 맛을 결정한다.재료도 중요하지만 김치찌개의 맛도 중요할 때가 많다. 김치찌개에 들어가는 재료에 따라 맛이 달라지는 음식이기 때문이다. 김치찌개를 끓이기 위해서는 우선 김치가루를 준비한다. 김치는 소금으로 간을 한다. 김치에 들어가는 재료의 양은 많지 않다. 김치의 양이 많은 것은 김치를 찌게에 넣을 때 부피가 커지기 때문이다. 김치를 찌는 것은 보통 2~3인분 정도이다. 김치를 찌는 과정에서 물을 버려야 하는데 김치찌개에 들어가는 물은 일반 물이다. 물은 김치찌개의 맛을 좌우하는 중요한 역할을 한다. 김치찌개의 물은 보통 생수나 생수찌개에 들어가는 생수를 쓴다.김치찌개의 김치가루를 끓인다. 냄비에 물을 끓여
|
||
|
||
[generated 105 words in 2.7s]
|
||
|
||
[10/10] Prompt: '세종대왕은'
|
||
----------------------------------------------------------------------
|
||
세종대왕은'구약성서'의 한 대목을 인용했다. "너희 조상 아브라함은 나의 규례와 법도를 지켜 행하여 너희를 축복하였다."(창세기 20:2,3) 이것은 '유대교'의 경전 '토라'와 '하디스'에 나오는 내용이다.그들의 경전은 구약성경의 한 구절을 인용했다. 그들의 경전은 '유대교'의 경전 '토라'와 '하디스'의 내용을 담았다. '토라'는 '히브리어 토라'의 약자이고 '하디스'는 '그리스어 하디스'의 약자이다. 이 두 경전은 모두 '히브리어'와 '그리스어'를 같이 사용하는 유대교의 경전이다.'히브리어'는 '토라'에 나오는 '히브리어 토라'이다. '히브리어'는 '토라'와 '하디스'를 같이 사용하는 유대교의 경전이다.'토라'는 '히브리어 토라'
|
||
|
||
[generated 66 words in 2.7s]
|
||
|
||
========================================================================
|
||
4. REPETITION ANALYSIS
|
||
========================================================================
|
||
Prompt (truncated) %rep-{n}gram %rep-{n}gram %rep-{n}gram %rep-{n}gram FLAG
|
||
---------------------------------------------------------------------------------------------
|
||
한국의 수도는 11.4% 1.8% 0.9% 0.0%
|
||
인공지능이란 36.6% 20.0% 15.9% 13.2%
|
||
오늘 날씨가 좋아서 31.8% 16.0% 6.7% 0.0%
|
||
대한민국의 역사에서 가장 중요한 사건은 9.4% 1.6% 0.0% 0.0%
|
||
서울에서 부산까지 가는 방법은 28.0% 12.8% 5.2% 1.7%
|
||
다음은 파이썬 코드입니다:
|
||
def hello(): 75.4% 71.4% 69.1% 66.7% [DEGENERATE]
|
||
1 + 1 = 2이고, 2 + 2 = 57.4% 40.0% 31.3% 26.5% [DEGENERATE]
|
||
봄이 오면 꽃이 피고 65.7% 55.4% 52.0% 47.5% [DEGENERATE]
|
||
맛있는 김치찌개를 만들려면 23.8% 4.8% 1.0% 0.0%
|
||
세종대왕은 21.2% 6.2% 3.1% 0.0%
|
||
|
||
WARNING: 3 generation(s) exceed 30% trigram repetition:
|
||
- '다음은 파이썬 코드입니다:\ndef hello():'
|
||
- '1 + 1 = 2이고, 2 + 2 ='
|
||
- '봄이 오면 꽃이 피고'
|
||
|
||
========================================================================
|
||
5. GREEDY vs. SAMPLING COMPARISON
|
||
========================================================================
|
||
|
||
Prompt: '한국의 수도는'
|
||
==========================================================================
|
||
|
||
[Greedy (T=0.0)]
|
||
한국의 수도는서울이다.서울은 대한민국의 수도이다.서울은 대한민국의 수도이다.서울은 대한민국의 수도이다.서울은 대한민국의 수도이다.서울은 대한민국의 수도이다.서울은 대한민국의 수도이다.서울은 대한민국의 수도이다.서울은 대한민국의 수도이다.서울은 대한민국의 수도이다.서울은 대한민국의 수도이다.서울은 대한민국의 수도이다.서울은 대한민국의 수도이다.서울은 대한민국의 수도이다.서울은 대한민국의 수도이다
|
||
|
||
[Low (T=0.3)]
|
||
한국의 수도는서울이 될 것이다.서울은 세계도시의 수도가 될 것이다.서울은 세계도시의 수도가 될 것이다.서울은 세계도시의 수도가 될 것이다.서울은 세계도시의 수도가 될 것이다.서울은 세계도시의 수도가 될 것이다.서울은 세계도시의 수도가 될 것이다.서울은 세계도시의 수도가 될 것이다.서울은 세계도시의 수도가 될 것이다.서울은 세계도시의 수도
|
||
|
||
[Normal (T=0.8)]
|
||
한국의 수도는서울이 된다. 서울의 면적은 805.44이며, 인구는 약 1,506,914명이다. 경기도와 서울특별시에 둘러싸여 있다.역사 기원전 18년 고조선을 멸망시킨 한사군(漢四郡)이 설치되었고, 기원전 108년 한사군 중 하나인 낙랑군은 평양으로 천도했다. 고조선의 마지막 왕인 준왕이 항복하면서 고조선은 멸망하였다.《삼국사기》에는 마한의 54개 부족이 멸망하였다고 기록되어 있으며
|
||
|
||
[High (T=1.2)]
|
||
한국의 수도는그 나라의 국민이 거주하는 도시를 말한다.국호이 용어는 원래 유럽에서 일반적으로 사용되었으며 그 나라의 법률 용어 및 일반적으로 사용되는 용어를 설명하는 데 사용됩니다. 또한 영국, 아일랜드, 몰타, 캐나다의 일부 지역에는이 제도가 없으며 수도는 국가에 따라 국가별로 자체 명칭을 가질 수 있습니다. 이것은 모든 주요 영어 영토와 마찬가지로 영국입니다. 잉글랜드 (특히 영국에서 영어는 다른 나라의 국가와 달리 영국이 아닌 국가의 국민을 표현하는 것을 의미 함) 및 스코틀랜드, 아일랜드의 언어입니다.공식적인
|
||
|
||
|
||
Prompt: '인공지능이란'
|
||
==========================================================================
|
||
|
||
[Greedy (T=0.0)]
|
||
인공지능이란무엇인가?[1] 235 2018.10.12216 [SAT1] SAT 시험일정[2] 246 2018.10.11215 [SAT1] SAT 시험일정[2] 246 2018.10.11214 [SAT1] SAT 시험일정[2] 246 2018.10.11
|
||
|
||
[Low (T=0.3)]
|
||
인공지능이란무엇인가?[1] 263 2018.10.12309 [SAT/AP] SAT Reading + Writing + SAT Math[2] 359 2018.10.11308 [SAT/AP] SAT Reading + Writing[2] 308 2018.10.11307 [SAT/AP] SAT Math[2] 283
|
||
|
||
[Normal (T=0.8)]
|
||
인공지능이란(주)이노베이션랩스Changing your own business is a huge challenge, but we are always excited to work with our partners with great opportunities to improve business growth and maximize value for our customers.In our global expansion, we are constantly seeking ways to enhance our global clients’ value, and we are constantly looking for ways to improve our business growth.We are currently in the position of leading technology company in Japan, and we are currently
|
||
|
||
[High (T=1.2)]
|
||
인공지능이란무엇일까?"라며 궁금증을 풀어본다.Q1. '고령사회', '공시생', 'NEET', '불확실성'.. 앞으로는 무엇이 우리를 불안하게 할까지금부터 소개할 내용은 바로, 최근의 다양한 이슈 중 '사회적 불안감'에 대해 다루고자 한다. 먼저, 고령화 사회에 대한 설명이다.▲ 사진 = 노성인교육학회장노성인교육학회는 한국사회가 직면한 급속한 고령화와
|
||
|
||
|
||
Prompt: '봄이 오면 꽃이 피고'
|
||
==========================================================================
|
||
|
||
[Greedy (T=0.0)]
|
||
봄이 오면 꽃이 피고새가 노래하는 아름다운 계절이 옵니다.이 계절에 우리 모두는 아름다운 계절을 맞이하기 위해 열심히 노력해야 합니다.우리의 아름다운 계절을 위해 우리가 할 수 있는 일은 무엇일까요?1. 우리 모두는 아름다운 계절을 맞이하기 위해 열심히 노력해야 합니다.2. 우리 모두는 아름다운 계절을 맞이하기 위해 열심히 노력해야 합니다.3. 우리 모두는 아름다운 계절을 맞이하기 위해 열심히 노력해야 합니다.4. 우리 모두는
|
||
|
||
[Low (T=0.3)]
|
||
봄이 오면 꽃이 피고새들이 노래하는 그런 계절이 되었으면 좋겠습니다.우리의 삶이 꽃과 같이 아름답고 향기로운 그런 계절이 되었으면 좋겠습니다.우리의 삶이 꽃과 같이 아름답고 향기로운 그런 계절이 되었으면 좋겠습니다.우리의 삶이 꽃과 같이 아름답고 향기로운 그런 계절이 되었으면 좋겠습니다.김영란 2019-01-28 (화) 22:09이제 꽃은 다 지고새들은 노래하고꽃은 다 지고 새
|
||
|
||
[Normal (T=0.8)]
|
||
봄이 오면 꽃이 피고가을이 오면 열매 맺고 겨울이 오면 꽃을 피우고 봄에는 씨앗이 맺히고 여름이 오면 씨를 뿌리며 가을에는 열매가 맺고 겨울에는 열매를 맺고..‘고맙습니다’, 시청률 3.1%로 출발최고의 1분 ‘두 번째 이야기’‘고맙습니다’가 시청률 3.1%로 출발했다. 시청률 조사기관 닐슨코리아에 따르면 지난 14일 방송된 SBS ‘고맙습니다’ 1회는 1부 8.1%(전국 기준,
|
||
|
||
[High (T=1.2)]
|
||
봄이 오면 꽃이 피고또 가을이 오면 새 잎을 우듯이, 인간은 이 세상 그 누구보다 아름답고 행복한 삶을 누려야 한다고 역설하며, 우리도 다른 누구의 삶에, 누구와 어울려 그 삶을 누리지 못한다면 더 이상 우리에게는 축복이 아니고 무엇일까.저자가 이 책을 통해 하고 싶었던 것은 우리의 행복이다. 행복한 삶은 내 삶의 질과 밀접하게 연관되어 있다. 이 책에서 이야기했던 행복을 누리는 방법과 내가 행복해지는 것이 무엇인지를 생각해보게 될 것이다.행복한
|
||
|
||
|
||
========================================================================
|
||
6. CALIBRATION CHECK
|
||
========================================================================
|
||
Using first 10,512 tokens for calibration.
|
||
Positions evaluated: 10,240
|
||
Mean correct-token prob: 0.4705
|
||
Mean predicted entropy: 2.2992 nats
|
||
Accuracy @1: 56.24%
|
||
Accuracy @5: 71.80%
|
||
Accuracy @10: 77.53%
|
||
|
||
========================================================================
|
||
SUMMARY TABLE
|
||
========================================================================
|
||
[Perplexity]
|
||
Dataset PPL bits/tok
|
||
------------------------------ ---------- ----------
|
||
3b_val 5.9034 2.5615
|
||
korean_wiki_val 11.8359 3.5651
|
||
korean_c4_val 5.9034 2.5615
|
||
korean_namuwiki_val 25.8307 4.6910
|
||
|
||
[Repetition (avg over all prompts)]
|
||
1-gram avg rep ratio: 36.1%
|
||
2-gram avg rep ratio: 23.0%
|
||
3-gram avg rep ratio: 18.5%
|
||
4-gram avg rep ratio: 15.6%
|
||
Degenerate outputs (>30% trigram): 3/10
|
||
|
||
[Calibration]
|
||
mean_correct_prob 0.4705
|
||
mean_entropy_nats 2.2992
|
||
accuracy_at_1 56.24%
|
||
accuracy_at_5 71.80%
|
||
accuracy_at_10 77.53%
|
||
|
||
============================================================
|
||
Evaluation complete.
|
||
============================================================
|