/usr/local/lib/python3.12/dist-packages/torch/library.py:356: UserWarning: Warning only once for all operators,  other operators may also be overridden.
  Overriding a previously registered kernel for the same operator and the same dispatch key
  operator: flash_attn::_flash_attn_backward(Tensor dout, Tensor q, Tensor k, Tensor v, Tensor out, Tensor softmax_lse, Tensor(a6!)? dq, Tensor(a7!)? dk, Tensor(a8!)? dv, float dropout_p, float softmax_scale, bool causal, SymInt window_size_left, SymInt window_size_right, float softcap, Tensor? alibi_slopes, bool deterministic, Tensor? rng_state=None) -> Tensor
    registered at /usr/local/lib/python3.12/dist-packages/torch/_library/custom_ops.py:922
  dispatch key: ADInplaceOrView
  previous kernel: no debug info
       new kernel: registered at /usr/local/lib/python3.12/dist-packages/torch/_library/custom_ops.py:922 (Triggered internally at /opt/pytorch/pytorch/aten/src/ATen/core/dispatch/OperatorEntry.cpp:208.)
  self.m.impl(

========================================================================
  COMPREHENSIVE EVAL — Korean 1B LLM
========================================================================
  Checkpoint : /PROJECT/0325120031_A/ghong/taketimes/llm-bang/checkpoints/korean_3b_fp8_run1/checkpoint-0057000
  Device     : cuda:0
  Data dir   : /PROJECT/0325120031_A/ghong/taketimes/llm-bang/data
  seq_len    : 2048  stride=512  batch=4

========================================================================
  LOADING MODEL & TOKENIZER
========================================================================
  Loading model weights from: /PROJECT/0325120031_A/ghong/taketimes/llm-bang/checkpoints/korean_3b_fp8_run1/checkpoint-0057000
  Model parameters: 3015.4M  |  dtype: torch.bfloat16
  Loading tokenizer from: /PROJECT/0325120031_A/ghong/taketimes/llm-bang/tokenizer/korean_sp/tokenizer.json

========================================================================
  1. MULTI-SOURCE PERPLEXITY
========================================================================
  Evaluating 3b_val.bin ...
    3b_val.bin: 75,681,623 tokens (using 2,000,000)
    PPL = 5.9034  |  bits/token = 2.5615  |  tokens = 5,991,617
  Evaluating korean_wiki_val.bin ...
    korean_wiki_val.bin: 524,561 tokens (using 524,561)
    PPL = 11.8359  |  bits/token = 3.5651  |  tokens = 1,567,747
  Evaluating korean_c4_val.bin ...
    korean_c4_val.bin: 15,159,838 tokens (using 2,000,000)
    PPL = 5.9034  |  bits/token = 2.5615  |  tokens = 5,991,617
  Evaluating korean_namuwiki_val.bin ...
    korean_namuwiki_val.bin: 2,166,179 tokens (using 2,000,000)
    PPL = 25.8307  |  bits/token = 4.6910  |  tokens = 5,991,617

  Dataset                               PPL   bits/tok       tokens
  ------------------------------ ---------- ---------- ------------
  3b_val                             5.9034     2.5615    5,991,617
  korean_wiki_val                   11.8359     3.5651    1,567,747
  korean_c4_val                      5.9034     2.5615    5,991,617
  korean_namuwiki_val               25.8307     4.6910    5,991,617

========================================================================
  2. TOKEN-LEVEL NLL ANALYSIS
========================================================================
  Total token positions analysed: 2,047

  NLL range       count   percentage
  ---------- ---------- ------------
  <1                838       40.94%
  1-2               268       13.09%
  2-3               184        8.99%
  3-5               338       16.51%
  5-10              348       17.00%
  >10                71        3.47%

  Mean NLL: 2.7110   Std: 3.0572
  Median NLL: 1.6328

  Top-50 HIGHEST-loss tokens (model struggles with):
  rank  token_id    avg_nll    count decoded
  ----- ---------- -------- -------- ------------------------------
  1     2703         19.375        1 '절'
  2     54538        15.125        1 '리딩'
  3     38808        14.812        1 '부드럽게'
  4     38361        13.812        1 '모터스'
  5     15157        13.604        3 'Ana'
  6     797          13.312        1 '인'
  7     3601         13.062        1 '가입'
  8     454          13.000        1 '['
  9     4636         12.938        1 '델'
  10    23914        12.812        1 '차종'
  11    48107        12.812        1 '240'
  12    12162        12.750        1 '휴식'
  13    13948        12.562        1 '발명'
  14    750          12.375        1 '원래'
  15    8371         12.312        1 '넘어가'
  16    12957        12.062        1 '프라'
  17    42565        12.062        1 '높'
  18    20749        12.000        1 '경찰관'
  19    28930        11.938        1 '2/3'
  20    8804         11.812        1 '전체가'
  21    46758        11.625        1 '인산'
  22    404          11.625        1 '13'
  23    17211        11.625        1 '특수'
  24    47755        11.500        1 '갇히'
  25    14335        11.375        1 '찾'
  26    46           11.312        1 '"'
  27    3248         11.188        3 '레이'
  28    3873         11.125        1 '비교'
  29    1249         11.125        1 '별'
  30    16682        11.125        1 '박성'
  31    6958         11.000        1 '차량'
  32    27391        10.875        1 '마라'
  33    19879        10.875        1 '반짝'
  34    11335        10.875        1 '하루'
  35    5827         10.750        1 '텐'
  36    25799        10.750        1 'hon'
  37    1663         10.625        1 '탈'
  38    1098         10.625        1 '열'
  39    178          10.625        1 '?'
  40    190          10.625        1 '해서'
  41    21711        10.562        1 '출근'
  42    60160        10.500        1 '여러분'
  43    34104        10.500        1 'Mu'
  44    36520        10.438        1 '꼼꼼'
  45    13829        10.438        1 '대기업'
  46    29317        10.438        1 '새끼'
  47    8408         10.375        1 '더이상'
  48    37737        10.375        1 '윗'
  49    3842         10.312        1 '거부'
  50    283          10.250        1 '가'

  Top-50 LOWEST-loss tokens (model handles well):
  rank  token_id    avg_nll    count decoded
  ----- ---------- -------- -------- ------------------------------
  1     18307         0.000        2 '톡'
  2     53478         0.000        2 '〕'
  3     39976         0.000        2 '블러'
  4     2650          0.000        2 '27'
  5     63            0.000        1 '나'
  6     1644          0.000        1 '귀'
  7     2861          0.000        1 '흥'
  8     175           0.000        1 '상'
  9     9096          0.000        1 '묵'
  10    2901          0.000        2 '시아'
  11    183           0.001       37 '장'
  12    13090         0.001        1 '앉'
  13    6394          0.001        1 '시스'
  14    781           0.001        1 're'
  15    62            0.001        1 '하는'
  16    28235         0.001        1 'usa'
  17    10071         0.002        1 'BA'
  18    1492          0.002        1 'com'
  19    33432         0.002        1 '즐거워'
  20    8020          0.003        1 '】'
  21    4893          0.003        1 'ino'
  22    1360          0.004        1 '평'
  23    2487          0.004        2 'der'
  24    415           0.004        2 '천'
  25    3279          0.004        1 'lo'
  26    24967         0.005        1 'zon'
  27    27218         0.005        1 'dies'
  28    48385         0.005        1 'Net'
  29    29867         0.005        1 '대행'
  30    35897         0.005        1 'gia'
  31    1158          0.005        1 '통'
  32    3538          0.007        1 '자리에'
  33    228           0.008        1 'm'
  34    33953         0.008        1 'Archive'
  35    18621         0.010        1 '스틱'
  36    337           0.010        2 'i'
  37    34            0.010        2 '-'
  38    54057         0.012        1 'wig'
  39    13665         0.013        1 '자의'
  40    49731         0.013        2 '율법'
  41    44957         0.013        1 '같으니'
  42    20658         0.015        1 '서지'
  43    24244         0.015        1 'vocal'
  44    53746         0.016        1 'Translation'
  45    970           0.016        1 '난'
  46    43222         0.016        1 'that'
  47    5677          0.017        2 '텔'
  48    59995         0.023        1 '여호와'
  49    15087         0.026        1 '꾀'
  50    5195          0.026        1 '뉴'

========================================================================
  3. MULTI-PROMPT GENERATION
========================================================================

  [01/10] Prompt: '한국의 수도는'
  ----------------------------------------------------------------------
  한국의 수도는서울이 아니라 서울공화국이다.서울의 인구를 서울공화국의 인구로 환산하면 대략 5800만 명으로 추정된다. 이는 한반도 전체의 0.1%에 해당하는 인구로, 이 정도면 남한 인구의 0.4%에 해당한다.그리고 서울공화국이 아닌 서울공화국이라는 표현으로도 표현이 가능한 한반도의 거의 대부분의 지역이 서울공화국에 속한다. 또한, 서울공화국은 "서울이 한반도 전체를 차지한다"는 전제에서 비롯된 것으로, 대한민국은 남북분단으로 인해 하나의 국가로서 서울을 비롯한 수도권에 대한 통제권이 거의 없다.서울 공화국이라는 표현이 공식적으로 사용된 것이 1989년이지만, 그 이전에도 '서울공화국'이라는 표현이 쓰인 적이 있었다. 대표적으로 1990년 제5공화국 당시 김영삼 대통령의 신년 기자회견에서 나온 "서울 공화국"이라는 표현이 있다. 그리고 이명박 정부 출범 이후, 서울 공화국이라는 표현이 공식적으로 등장하였다.그리고 서울 공화국에 대한 논의는 대한민국의 정치에 대한 관심과 밀접한 관련이 있다. 특히, 대한민국에서 가장 인구가 많은 수도권을 관할하는 광역자치단체의 수장인 서울시장이 서울

  [generated 114 words in 3.0s]

  [02/10] Prompt: '인공지능이란'
  ----------------------------------------------------------------------
  인공지능이란?5[리서치뷰] 차기 ‘차기 대권주자 선호도’ 이낙연 1위, 황교안 2위, 이재명 3위6[리서치뷰] 차기 ‘문재인 대통령 지지율’ 50% 육박, 부정평가 46.7%7‘문재인 대통령’ 41.4%, ‘황교안 국무총리’ 30.5%, ‘이재명 경기지사’ 29.5%, ‘안희정 충남지사’ 19.1%8[리서치뷰] 차기 대선 ‘정당 지지도’ 이낙연 41.4%, 황교안 28.9%, 이재명 19.9%, 유승민 11.2%9[리서치뷰] 차기 대선 ‘정당 지지도’ 이낙연 41.4%, 황교안 28.9%, 이재명 19.9%, 유승민 11.2%10[리서치뷰] 차기 대선 ‘정당 지지도’ 이재명 19.9%, 이낙연 41.3%, 황교안 20.4%, 이재명 11.3%UPDATE: 2020년 04월 06일 22시 50분김천출장

  [generated 71 words in 2.7s]

  [03/10] Prompt: '오늘 날씨가 좋아서'
  ----------------------------------------------------------------------
  오늘 날씨가 좋아서기분도 더 좋아지는 것 같아요! 오늘은 미세먼지로 인해서 마스크를 쓰는 것도 좋지만, 기분전환 겸 산책을 할겸 밖으로 나갔어요.저는 이번에 미세먼지로 인해서 마스크를 쓰고 밖으로 나가서 산책을 했어요.우선, 미세먼지가 심했던 날은 밖에서 운동하기 좀 꺼려지더라고요.그런데 공원에 가면 산책도 할겸, 운동도 할겸 하는 게 좋아서 그런지 미세먼지가 심했던 날은 밖에 나가서 산책을 하고 산책을 마치고 집으로 돌아와서는 밖에 나가서 미세먼지를 씻어내기도 하고요.그리고 미세먼지가 심했던 날은 공기청정기가 없으면 안될 정도로 미세먼지가 정말 심하더라고요.그래서 공기청정기 하나씩 가지고 가고 싶다는 생각이 들더라고요.근데 미세먼지가 심했던 날은 미세먼지로 인해서 마스크를 써야 한다는 게 조금 부담스럽기도 해요.마스크를 써야할 것 같아서 안쓰고 나가는 경우도 많은데,이미 미세먼지가 심했던 날에는 미세먼지로 인해서 마스크를 써야한다는 게 조금 부담스럽기도 하더라고

  [generated 107 words in 2.7s]

  [04/10] Prompt: '대한민국의 역사에서 가장 중요한 사건은'
  ----------------------------------------------------------------------
  대한민국의 역사에서 가장 중요한 사건은1392년(태조 원년)에 일어난 태조 이성계(李成桂)와 정도전(鄭道傳)의 삼한통일전쟁이었다. 그 후 1400년(조선 정종 2년)에 이성계와 정도전이 이방원(李芳遠)에게 피살되었다.이성계의 조선 건국 조선 개국은 조선이 이성계의 조선(朝鮮)으로 국호를 바꾼 사건을 가리킨다. 1392년(태조 원년)에 개국하여 1398년(태조 7년)에 수도를 개성으로 옮기면서 1393년(태조 2년)까지 3년 동안 존속하였다. 태조는 정도전을 등용하여 개혁정치를 펼치기로 하고, 조선 태조(太祖)로 국호를 바꾸었다.태조는 즉위 원년(1392년)에 태조 이성계(李成桂)를 조선(朝鮮)의 제1대 임금으로 임명하고, 도읍을 한양(漢陽)으로 정하고 연호를 정하여 태조(太祖)

  [generated 64 words in 2.8s]

  [05/10] Prompt: '서울에서 부산까지 가는 방법은'
  ----------------------------------------------------------------------
  서울에서 부산까지 가는 방법은지하철과 버스가 가장 편리하다. 부산역, 남포동, 자갈치시장, 국제시장 등 부산의 주요 관광지를 편리하게 갈 수 있다. 그러나 부산역, 남포동, 자갈치시장 등 부산의 주요 관광지를 들르는 데만 하루가 꼬박 걸린다. 그래서 아침과 저녁의 두 배가 넘는 시간을 할애해 부산의 명소를 둘러보는 데 투자하는 사람들이 늘고 있다.그러나 부산의 주요 관광지를 모두 둘러보는 데는 적지 않은 비용이 든다. 지하철, 버스, 택시 등을 이용하면 비교적 저렴하지만, 부산의 주요 관광지를 모두 돌아보는 데는 몇 배의 비용이 든다. 따라서 부산 여행을 계획할 때 가장 먼저 고려해야 할 것은 부산의 대표 관광지를 둘러보는 데 드는 비용이다. 부산은 해안과 도시 전체가 아름다운 항구도시이며, 아름다운 해안을 따라 많은 관광지가 조성되어 있다.부산은 해안을 따라 관광지가 매우 발달해 있다. 부산의 명소를 둘러보는 데는 적게는 몇 천 원에서 몇만 원

  [generated 118 words in 2.7s]

  [06/10] Prompt: '다음은 파이썬 코드입니다:\ndef hello():'
  ----------------------------------------------------------------------
  다음은 파이썬 코드입니다:
def hello():이 코드는 모든 웹 페이지에 대해 웹 소켓을 통해 연결할 수 있습니다.<div> <div class="foo"> <div class="foo"> <div class="foo"> <p class="foo"> <p class="foo"> <p class="foo"> <p class="foo"> <p class="foo"> <p class="foo"> <p class="foo"> <p class="foo"> <p class="foo"> <p class="foo"> <p class="foo"> <p class="foo"> <p class="foo"> <p class="foo"> <p class="foo"> <p class="foo"> <p class="foo"> <p class="foo"> <p class="foo"> <p

  [generated 57 words in 2.8s]

  [07/10] Prompt: '1 + 1 = 2이고, 2 + 2 ='
  ----------------------------------------------------------------------
  1 + 1 = 2이고, 2 + 2 =3, 3 = 2, 2 = 1이다.이제, 두 변수에 대한 비교를 살펴보자.먼저, 2가 1보다 작다는 것을 알 수 있다. 2는 1보다 크다. 따라서, 두 변수는 같은 개수의 값을 가진다.먼저, 2를 계산하는 방법을 살펴보자.먼저, 두 변수의 비교 결과를 먼저 살펴보자.먼저, 두 변수의 합은 2이다. 즉, 1 + 1 = 2이고, 2 + 2 = 3, 3 = 2, 2 = 1이다.두 변수의 합은 2이므로, 2는 1보다 작다. 따라서, 두 변수의 합은 2이다.다음으로, 두 변수의 비교 결과를 살펴보자.먼저, 두 변수의 합은 2이다. 즉, 1 + 1 = 2이고, 2 + 2 = 3, 3 = 2, 2 = 1이다.두 변수의 합은 2이므로, 2

  [generated 101 words in 2.8s]

  [08/10] Prompt: '봄이 오면 꽃이 피고'
  ----------------------------------------------------------------------
  봄이 오면 꽃이 피고새가 지저귀는 계절이다. 이런 때에 우리의 마음을 따뜻하게 하여 마음을 상쾌하게 해주는 향이 있다. 그 향은 바로 봄의 향이다.봄의 향은 향내음이 나는 꽃향기이다. 봄은 봄에 나는 꽃이다. 봄에는 꽃이 피고, 새들이 지저귀고, 사람들은 봄을 맞아 꽃이 피고 새가 지저귀는 계절이다. 봄에는 그 꽃과 새들이 피고, 새들이 지저귀는 계절이다. 이런 때에 우리의 마음을 따뜻하게 하여 마음을 상쾌하게 해주는 향이 있다. 그 향은 바로 봄의 향이다.봄의 향은 꽃향기이다. 봄은 봄에 나는 꽃이다. 봄에는 꽃이 피고, 새들이 지저귀는 계절이다. 봄에는 그 꽃과 새들이 피고, 새들이 지저귀는 계절이다. 이런 때에 우리의 마음을 따뜻하게 하여 마음을 상쾌하게 해주는 향이 있다. 그 향은 바로 봄의 향이다.봄의 향은 나무향기

  [generated 102 words in 2.7s]

  [09/10] Prompt: '맛있는 김치찌개를 만들려면'
  ----------------------------------------------------------------------
  맛있는 김치찌개를 만들려면어떻게 해야할까. 김치찌개는 찌개의 맛을 좌우하는 중요한 음식이다. 김치찌개는 김치를 기본으로 육수, 양념, 고명, 조리법 등을 적절하게 혼합해 만드는 음식이기 때문에 잘 끓이는 것이 김치찌개의 맛을 결정한다.재료도 중요하지만 김치찌개의 맛도 중요할 때가 많다. 김치찌개에 들어가는 재료에 따라 맛이 달라지는 음식이기 때문이다. 김치찌개를 끓이기 위해서는 우선 김치가루를 준비한다. 김치는 소금으로 간을 한다. 김치에 들어가는 재료의 양은 많지 않다. 김치의 양이 많은 것은 김치를 찌게에 넣을 때 부피가 커지기 때문이다. 김치를 찌는 것은 보통 2~3인분 정도이다. 김치를 찌는 과정에서 물을 버려야 하는데 김치찌개에 들어가는 물은 일반 물이다. 물은 김치찌개의 맛을 좌우하는 중요한 역할을 한다. 김치찌개의 물은 보통 생수나 생수찌개에 들어가는 생수를 쓴다.김치찌개의 김치가루를 끓인다. 냄비에 물을 끓여

  [generated 105 words in 2.7s]

  [10/10] Prompt: '세종대왕은'
  ----------------------------------------------------------------------
  세종대왕은'구약성서'의 한 대목을 인용했다. "너희 조상 아브라함은 나의 규례와 법도를 지켜 행하여 너희를 축복하였다."(창세기 20:2,3) 이것은 '유대교'의 경전 '토라'와 '하디스'에 나오는 내용이다.그들의 경전은 구약성경의 한 구절을 인용했다. 그들의 경전은 '유대교'의 경전 '토라'와 '하디스'의 내용을 담았다. '토라'는 '히브리어 토라'의 약자이고 '하디스'는 '그리스어 하디스'의 약자이다. 이 두 경전은 모두 '히브리어'와 '그리스어'를 같이 사용하는 유대교의 경전이다.'히브리어'는 '토라'에 나오는 '히브리어 토라'이다. '히브리어'는 '토라'와 '하디스'를 같이 사용하는 유대교의 경전이다.'토라'는 '히브리어 토라'

  [generated 66 words in 2.7s]

========================================================================
  4. REPETITION ANALYSIS
========================================================================
  Prompt (truncated)                  %rep-{n}gram %rep-{n}gram %rep-{n}gram %rep-{n}gram    FLAG
  ---------------------------------------------------------------------------------------------
  한국의 수도는                                    11.4%         1.8%         0.9%         0.0%  
  인공지능이란                                     36.6%        20.0%        15.9%        13.2%  
  오늘 날씨가 좋아서                                 31.8%        16.0%         6.7%         0.0%  
  대한민국의 역사에서 가장 중요한 사건은                       9.4%         1.6%         0.0%         0.0%  
  서울에서 부산까지 가는 방법은                           28.0%        12.8%         5.2%         1.7%  
  다음은 파이썬 코드입니다:
def hello():                75.4%        71.4%        69.1%        66.7%  [DEGENERATE]
  1 + 1 = 2이고, 2 + 2 =                       57.4%        40.0%        31.3%        26.5%  [DEGENERATE]
  봄이 오면 꽃이 피고                                65.7%        55.4%        52.0%        47.5%  [DEGENERATE]
  맛있는 김치찌개를 만들려면                             23.8%         4.8%         1.0%         0.0%  
  세종대왕은                                      21.2%         6.2%         3.1%         0.0%  

  WARNING: 3 generation(s) exceed 30% trigram repetition:
    - '다음은 파이썬 코드입니다:\ndef hello():'
    - '1 + 1 = 2이고, 2 + 2 ='
    - '봄이 오면 꽃이 피고'

========================================================================
  5. GREEDY vs. SAMPLING COMPARISON
========================================================================

  Prompt: '한국의 수도는'
  ==========================================================================

  [Greedy (T=0.0)]
  한국의 수도는서울이다.서울은 대한민국의 수도이다.서울은 대한민국의 수도이다.서울은 대한민국의 수도이다.서울은 대한민국의 수도이다.서울은 대한민국의 수도이다.서울은 대한민국의 수도이다.서울은 대한민국의 수도이다.서울은 대한민국의 수도이다.서울은 대한민국의 수도이다.서울은 대한민국의 수도이다.서울은 대한민국의 수도이다.서울은 대한민국의 수도이다.서울은 대한민국의 수도이다.서울은 대한민국의 수도이다

  [Low    (T=0.3)]
  한국의 수도는서울이 될 것이다.서울은 세계도시의 수도가 될 것이다.서울은 세계도시의 수도가 될 것이다.서울은 세계도시의 수도가 될 것이다.서울은 세계도시의 수도가 될 것이다.서울은 세계도시의 수도가 될 것이다.서울은 세계도시의 수도가 될 것이다.서울은 세계도시의 수도가 될 것이다.서울은 세계도시의 수도가 될 것이다.서울은 세계도시의 수도

  [Normal (T=0.8)]
  한국의 수도는서울이 된다. 서울의 면적은 805.44이며, 인구는 약 1,506,914명이다. 경기도와 서울특별시에 둘러싸여 있다.역사 기원전 18년 고조선을 멸망시킨 한사군(漢四郡)이 설치되었고, 기원전 108년 한사군 중 하나인 낙랑군은 평양으로 천도했다. 고조선의 마지막 왕인 준왕이 항복하면서 고조선은 멸망하였다.《삼국사기》에는 마한의 54개 부족이 멸망하였다고 기록되어 있으며

  [High   (T=1.2)]
  한국의 수도는그 나라의 국민이 거주하는 도시를 말한다.국호이 용어는 원래 유럽에서 일반적으로 사용되었으며 그 나라의 법률 용어 및 일반적으로 사용되는 용어를 설명하는 데 사용됩니다. 또한 영국, 아일랜드, 몰타, 캐나다의 일부 지역에는이 제도가 없으며 수도는 국가에 따라 국가별로 자체 명칭을 가질 수 있습니다. 이것은 모든 주요 영어 영토와 마찬가지로 영국입니다. 잉글랜드 (특히 영국에서 영어는 다른 나라의 국가와 달리 영국이 아닌 국가의 국민을 표현하는 것을 의미 함) 및 스코틀랜드, 아일랜드의 언어입니다.공식적인


  Prompt: '인공지능이란'
  ==========================================================================

  [Greedy (T=0.0)]
  인공지능이란무엇인가?[1]  235 2018.10.12216 [SAT1] SAT 시험일정[2]  246 2018.10.11215 [SAT1] SAT 시험일정[2]  246 2018.10.11214 [SAT1] SAT 시험일정[2]  246 2018.10.11

  [Low    (T=0.3)]
  인공지능이란무엇인가?[1]  263 2018.10.12309 [SAT/AP] SAT Reading + Writing + SAT Math[2]  359 2018.10.11308 [SAT/AP] SAT Reading + Writing[2]  308 2018.10.11307 [SAT/AP] SAT Math[2]  283

  [Normal (T=0.8)]
  인공지능이란(주)이노베이션랩스Changing your own business is a huge challenge, but we are always excited to work with our partners with great opportunities to improve business growth and maximize value for our customers.In our global expansion, we are constantly seeking ways to enhance our global clients’ value, and we are constantly looking for ways to improve our business growth.We are currently in the position of leading technology company in Japan, and we are currently

  [High   (T=1.2)]
  인공지능이란무엇일까?"라며 궁금증을 풀어본다.Q1. '고령사회', '공시생', 'NEET', '불확실성'.. 앞으로는 무엇이 우리를 불안하게 할까지금부터 소개할 내용은 바로, 최근의 다양한 이슈 중 '사회적 불안감'에 대해 다루고자 한다. 먼저, 고령화 사회에 대한 설명이다.▲ 사진 = 노성인교육학회장노성인교육학회는 한국사회가 직면한 급속한 고령화와


  Prompt: '봄이 오면 꽃이 피고'
  ==========================================================================

  [Greedy (T=0.0)]
  봄이 오면 꽃이 피고새가 노래하는 아름다운 계절이 옵니다.이 계절에 우리 모두는 아름다운 계절을 맞이하기 위해 열심히 노력해야 합니다.우리의 아름다운 계절을 위해 우리가 할 수 있는 일은 무엇일까요?1. 우리 모두는 아름다운 계절을 맞이하기 위해 열심히 노력해야 합니다.2. 우리 모두는 아름다운 계절을 맞이하기 위해 열심히 노력해야 합니다.3. 우리 모두는 아름다운 계절을 맞이하기 위해 열심히 노력해야 합니다.4. 우리 모두는

  [Low    (T=0.3)]
  봄이 오면 꽃이 피고새들이 노래하는 그런 계절이 되었으면 좋겠습니다.우리의 삶이 꽃과 같이 아름답고 향기로운 그런 계절이 되었으면 좋겠습니다.우리의 삶이 꽃과 같이 아름답고 향기로운 그런 계절이 되었으면 좋겠습니다.우리의 삶이 꽃과 같이 아름답고 향기로운 그런 계절이 되었으면 좋겠습니다.김영란 2019-01-28 (화) 22:09이제 꽃은 다 지고새들은 노래하고꽃은 다 지고 새

  [Normal (T=0.8)]
  봄이 오면 꽃이 피고가을이 오면 열매 맺고 겨울이 오면 꽃을 피우고 봄에는 씨앗이 맺히고 여름이 오면 씨를 뿌리며 가을에는 열매가 맺고 겨울에는 열매를 맺고..‘고맙습니다’, 시청률 3.1%로 출발최고의 1분 ‘두 번째 이야기’‘고맙습니다’가 시청률 3.1%로 출발했다. 시청률 조사기관 닐슨코리아에 따르면 지난 14일 방송된 SBS ‘고맙습니다’ 1회는 1부 8.1%(전국 기준,

  [High   (T=1.2)]
  봄이 오면 꽃이 피고또 가을이 오면 새 잎을 우듯이, 인간은 이 세상 그 누구보다 아름답고 행복한 삶을 누려야 한다고 역설하며, 우리도 다른 누구의 삶에, 누구와 어울려 그 삶을 누리지 못한다면 더 이상 우리에게는 축복이 아니고 무엇일까.저자가 이 책을 통해 하고 싶었던 것은 우리의 행복이다. 행복한 삶은 내 삶의 질과 밀접하게 연관되어 있다. 이 책에서 이야기했던 행복을 누리는 방법과 내가 행복해지는 것이 무엇인지를 생각해보게 될 것이다.행복한


========================================================================
  6. CALIBRATION CHECK
========================================================================
  Using first 10,512 tokens for calibration.
  Positions evaluated:       10,240
  Mean correct-token prob:   0.4705
  Mean predicted entropy:    2.2992 nats
  Accuracy @1:               56.24%
  Accuracy @5:               71.80%
  Accuracy @10:              77.53%

========================================================================
  SUMMARY TABLE
========================================================================
  [Perplexity]
  Dataset                               PPL   bits/tok
  ------------------------------ ---------- ----------
  3b_val                             5.9034     2.5615
  korean_wiki_val                   11.8359     3.5651
  korean_c4_val                      5.9034     2.5615
  korean_namuwiki_val               25.8307     4.6910

  [Repetition (avg over all prompts)]
  1-gram avg rep ratio:  36.1%
  2-gram avg rep ratio:  23.0%
  3-gram avg rep ratio:  18.5%
  4-gram avg rep ratio:  15.6%
  Degenerate outputs (>30% trigram): 3/10

  [Calibration]
  mean_correct_prob              0.4705
  mean_entropy_nats              2.2992
  accuracy_at_1                  56.24%
  accuracy_at_5                  71.80%
  accuracy_at_10                 77.53%

  ============================================================
  Evaluation complete.
  ============================================================