初始化项目，由ModelHub XC社区提供模型

Model: heegyu/polyglot-ko-1.3b-chat Source: Original Platform
2026-06-20 23:52:52 +08:00
commit 0074bf9e0b
9 changed files with 60071 additions and 0 deletions
--- a/.gitattributes
+++ b/.gitattributes
@@ -0,0 +1,35 @@
+*.7z filter=lfs diff=lfs merge=lfs -text
+*.arrow filter=lfs diff=lfs merge=lfs -text
+*.bin filter=lfs diff=lfs merge=lfs -text
+*.bz2 filter=lfs diff=lfs merge=lfs -text
+*.ckpt filter=lfs diff=lfs merge=lfs -text
+*.ftz filter=lfs diff=lfs merge=lfs -text
+*.gz filter=lfs diff=lfs merge=lfs -text
+*.h5 filter=lfs diff=lfs merge=lfs -text
+*.joblib filter=lfs diff=lfs merge=lfs -text
+*.lfs.* filter=lfs diff=lfs merge=lfs -text
+*.mlmodel filter=lfs diff=lfs merge=lfs -text
+*.model filter=lfs diff=lfs merge=lfs -text
+*.msgpack filter=lfs diff=lfs merge=lfs -text
+*.npy filter=lfs diff=lfs merge=lfs -text
+*.npz filter=lfs diff=lfs merge=lfs -text
+*.onnx filter=lfs diff=lfs merge=lfs -text
+*.ot filter=lfs diff=lfs merge=lfs -text
+*.parquet filter=lfs diff=lfs merge=lfs -text
+*.pb filter=lfs diff=lfs merge=lfs -text
+*.pickle filter=lfs diff=lfs merge=lfs -text
+*.pkl filter=lfs diff=lfs merge=lfs -text
+*.pt filter=lfs diff=lfs merge=lfs -text
+*.pth filter=lfs diff=lfs merge=lfs -text
+*.rar filter=lfs diff=lfs merge=lfs -text
+*.safetensors filter=lfs diff=lfs merge=lfs -text
+saved_model/**/* filter=lfs diff=lfs merge=lfs -text
+*.tar.* filter=lfs diff=lfs merge=lfs -text
+*.tar filter=lfs diff=lfs merge=lfs -text
+*.tflite filter=lfs diff=lfs merge=lfs -text
+*.tgz filter=lfs diff=lfs merge=lfs -text
+*.wasm filter=lfs diff=lfs merge=lfs -text
+*.xz filter=lfs diff=lfs merge=lfs -text
+*.zip filter=lfs diff=lfs merge=lfs -text
+*.zst filter=lfs diff=lfs merge=lfs -text
+*tfevents* filter=lfs diff=lfs merge=lfs -text
--- a/README.md
+++ b/README.md
@@ -0,0 +1,122 @@
+---
+datasets:
+- beomi/KoAlpaca-v1.1a
+- dbdu/ShareGPT-74k-ko
+- heegyu/korquad-chat-v1
+- HAERAE-HUB/KoInstruct-QA
+- changpt/ko-lima-vicuna
+- nlpai-lab/kullm-v2
+language:
+- ko
+---
+# heegyu/polyglot-ko-1.3b-chat
+
+- [EleutherAI/polyglot-ko-1.3b](https://huggingface.co/EleutherAI/polyglot-ko-1.3b)를 여러 한국어 instruction 데이터셋으로 학습한 모델
+
+
+## 사용한 데이터셋
+
+| Dataset | # instance | 타입 |
+| --- | --- | --- |
+| [KoAlpaca v1.1](https://raw.githubusercontent.com/Beomi/KoAlpaca/main/KoAlpaca_v1.1.jsonl) | 50K | 싱글턴 |
+| [dbdu/ShareGPT-74k-ko 의 part2_ko_uncleaned](https://huggingface.co/datasets/dbdu/ShareGPT-74k-ko/resolve/main/part2_ko_uncleaned.json) | 36K | 멀티턴 |
+| [heegyu/korquad-chat-v1](https://huggingface.co/datasets/heegyu/korquad-chat-v1) | 9.6K | 멀티턴, 지식기반 |
+| [lcw99/evolve-instruct](https://github.com/lcw99/evolve-instruct/) | 37K | 싱글턴 |
+| [HAERAE-HUB/KoInstruct-QA](https://huggingface.co/datasets/HAERAE-HUB/KoInstruct-QA) | 50.3k | 싱글턴 |
+| [changpt/ko-lima-vicuna](https://huggingface.co/datasets/changpt/ko-lima-vicuna) | 1K | 싱글턴, 멀티턴(극히 일부) |
+| [nlpai-lab/kullm-v2](https://huggingface.co/datasets/nlpai-lab/kullm-v2) | 15K | 싱글턴 |
+
+- KULLM v2 데이터셋에서는 GPT4ALL, Dolly 데이터만 추출해서 사용했습니다.
+- 다양한 학습 데이터셋은 [HeegyuKim/open-korean-instructions](https://github.com/HeegyuKim/open-korean-instructions) GitHub repository를 참고하세요.
+
+## 생성 Prompt
+- EOS token(<|endoftext|>)이 나올 때까지 생성하면 됩니다.
+- 최상단 프롬프트는 있는게 좋은 답변이 더 자주 나오는 것 같아요.
+
+```
+당신은 AI 챗봇입니다. 사용자에게 도움이 되고 유익한 내용을 제공해야합니다. 답변은 길고 자세하며 친절한 설명을 덧붙여서 작성하세요.
+
+### 사용자:
+오늘 날씨 알려줘
+
+### 챗봇:
+```
+
+생성된 답변: 
+```
+네, 오늘 서울을 포함한 전국적으로 맑은 날씨를 보이겠습니다. 하지만, 낮과 밤의 기온 차가 매우 크며, 아침 기온이 10도 이상 낮아지면 서리와 얼음이 생기기 시작합니다.
+이로 인해, 낮 동안은 매우 추운 날씨를 느낄 수 있으니 가급적이면 두꺼운 옷이나 핫팩을 준비하세요.
+```
+
+대화 예시 (with prompt)
+```
+당신은 AI 챗봇입니다. 사용자에게 도움이 되고 유익한 내용을 제공해야합니다. 답변은 길고 자세하며 친절한 설명을 덧붙여서 작성하세요.
+
+### 사용자:
+한식 좋아하니?
+
+### 챗봇:
+그럼요, 한식 좋아합니다. 제가 알고 있는 한식을 공유해 볼게요.
+
+한식은 다양한 유형의 요리들을 포함하고 있고, 고유한 맛과 향을 가지고 있죠. 한식은 식사보다는 특별한 날이나 간식으로 즐겨 먹곤 합니다. 한식에는 다양한 종류가 있는데, 어떤 요리들이 있을까요?
+
+한식의 종류로는 나물, 전골, 찌개, 불고기, 볶음, 무침, 볶음밥과 국, 볶음밥과 비빔밥, 찜, 생선찜, 생선구이, 찜닭, 돼지국밥, 육개장, 보신정식 등이 있습니다. 여기에 추가로 다른 종류도 더 다양한데, 김치, 젓갈, 두부도 있죠.
+
+하지만 한식은 맛과 영양적인 면에서 최고인 것 같아요. 다양한 야채나 재료를 사용해서 만든 한식은 맛있고 건강한 식단으로 평가 받습니다. 그리고 한국적인 이미지를 잘 살려서 한식의 종류와 맛을 즐길 수 있게 해줍니다.
+
+한국에서는 한식을 먹으면서 전통의 아름다움을 느낄 수 있고, 음식의 조화로운 맛을 느낄 수 있습니다. 그리고 한식은 다른 음식들과 조화롭게 만들어 먹어야 맛있습니다.
+
+이러한 한식의 장점들은 음식을 잘 요리하고 있다는 느낌을 주고, 음식의 특징과 맛을 살릴 수 있게 도와줍니다. 한식은 여러 가지 종류가 있어서 다양한 맛들을 즐길 수 있고, 음식과 재료가 조화롭게 맛을 나타내도록 만들어 주기에 맛있죠.
+
+하지만 한식에는 몇 가지 단점도 있습니다. 한식은 전통적인 한국의 음식이지만, 재료의 부족과 한정된 음식 재료 등의 문제도 있습니다. 또한, 한식은 다른 재료들을 조합하는 과정이 필요하며, 요리의 모양이 보기 좋지 않을 수 있어 먹는 사람들에게 불편한 느낌을 줄 수 있습니다.
+
+이러한 단점들을 개선하기 위해서는 한식 재료에 대한 연구와 다양한 양념 기법 등이 필요합니다. 전통적인 한식에 대한 이해와 연구가 필요해지고, 새로운 재료와 양념을 개발하고 조합하는 과정들이 필요합니다.
+
+하지만 한식은 아름다움과 맛만으로도 많은 사람들에게 인기를 끌고 있으며, 다양한 메뉴와 한식을 즐길 수 있는 곳들이 늘어나고 있습니다. 한식을 즐겨 먹으면서 한식의 세계를 알아보고, 더 깊이 있는 식문화 경험을 즐기는 것은 좋은 선택이 될 수 있습니다.
+```
+
+멀티턴 대화 예시 (with prompt)
+```
+당신은 AI 챗봇입니다. 사용자에게 도움이 되고 유익한 내용을 제공해야합니다. 답변은 길고 자세하며 친절한 설명을 덧붙여서 작성하세요.
+
+### 사용자:
+일본 도쿄 여행계획 짜줘
+
+### 챗봇:
+도쿄 여행 계획은 다양한 관광 명소를 방문하고 맛있는 음식을 즐기는 것입니다. 또한 날씨, 교통, 숙박 등과 관련된 모든 상황을 고려하고 계획을 짜세요. 아래는 도움이 될 수 있는 도쿄 여행 일정입니다.
+
+여행 날짜: 5월 5일~5월 말
+주요 여행 장소: 도쿄 (도쿄, 하코네, 디즈니랜드)
+도쿄 (도쿄, 하코네, 디즈니랜드)
+오다이바 (유리카모메, 스카이워크, 오다이바 해변, 아쿠아시티, 신카이산, 팔레트 타운)
+센코대학 (센코박물관/이와이다. 아츠다 신궁/지슈 신사/하세키 거리)
+나카노 도쿄 가든 (도쿄 가든/아츠다 신궁/지슈 신사/도쿄 가든)
+추천 일정:
+하코네 여행: 아침 일찍 출발하여 하코네 관광을 하루 종일 즐기세요. 하코네 신사(가마쿠라코마치/니시도리마)나 토마리코마치(모리노리야/유노코모마치)에서 도시락을 즐기거나 길거리 시장에서 맛있는 간식을 즐기는 것도 좋습니다.
+
+디즈니랜드 방문: 디즈니랜드를 방문하세요. 먼저 도쿄를 벗어나서 디즈니 리조트로 이동합니다. 디즈니 리조트에는 다양한 놀이기구와 레스토랑, 영화관 등이 있으니 꼭 방문하세요.
+
+아키타 여행: 아키타를 탐험하세요. 아키타 가토 온천에 들어가서 온천욕을 즐기거나, 아키타의 명물인 명란 요리를 맛보는 등 다양한 즐길거리를 즐겨보세요.
+
+하코네 여행: 하코네신사를 방문하세요. 다음으로 야마노에 가서 도라에비스기까지 도보로 온천에 갈 수도 있고, 나카노 도쿄 가든(히가네코마리)으로 가서 온천도 즐기세요.
+
+센세키 대학 방문: 센세키 대학을 방문해보세요. 국립공원 하코네 코우자에서 하코네 국립박물관을 탐방하는 것도 좋습니다.
+
+나카노 도쿄 가든 방문: 나카노 도쿄 가든에서 쇼핑을 즐기거나 아키타로 가는 버스를 타며 나카노 가든의 아름다운 정원을 구경할 수 있습니다.
+
+오키나와 여행: 오키나와 지역을 둘러보세요. 츄라 오차노미야의 이에라 리조트를 관광하거나 오키나와의 유명한 관광 명소인 츄라스토우가쿠를 방문하고, 오키나와 섬 곳곳을 둘러보세요.
+
+위의 일정은 일본 도쿄 여행 전문 가이드북인 "도쿄도쿄! 일본어"에서 발췌한 것으로, 참고하시면 도움이 될 것입니다. 또한, 일본어 발음 등 더 궁금한 점이 있으시다면 언제든지 문의하세요!
+
+### 사용자:
+긴자를 포함한 2박 3일 여행 계획으로 바꿔줘
+
+### 챗봇:
+네, 도쿄를 포함한 2박 3일의 도쿄여행 일정을 드리니 참고해주세요. 첫 날에는 긴자에서 유명한 미쓰마에 신사를 방문하고, 닌교초의 백화점 상점가와 상점가를 방문하세요. 오후에는 긴자의 관광 명소인 아사쿠사를 방문해 도쿄에서 빠질 수 없는 도쿄의 신사 중 하나인 센소오신을 방문하세요. 오후 8시가 되면 저녁식사를 즐기세요. 그리고 저녁에는 긴자에서 긴자선을 타고 시바마에로 이동합니다.
+
+둘째 날에는 시바마에에서 일본 전통적인 신사 중 하나인 도쿄 텐다이를 방문하세요. 그리고 하루 종일 시바마에와 오다이바의 관광지를 둘러보세요. 저녁에는 닌교초에서 쇼핑을 즐기며, 저녁을 먹은 뒤 도쿄에서 빠질 수 없는 백화점 상점가와 쇼핑, 맛집 탐방 등을 즐겨보세요.
+
+셋째 날에는 도쿄에서 당일치기 여행으로 하라주쿠를 방문하세요. 오전에는 하라주쿠 신사를 방문하고, 도쿄에서 빠질 수 없는 다케시다 신사를 방문하세요. 오후에는 시바마에에 있는 시바마 쇼핑몰에서 기념품을 사고, 도쿄에서 당일치기 여행으로 마루노우치를 방문하세요. 그리고 도쿄에서 빠질 수 없는 명품을 구입하세요. 오후에는 긴자에서 점심을 즐기고 쇼핑을 즐기며, 긴자에서 당일치기 여행으로 우에노를 방문하세요.
+
+위의 일정을 참고해서 여행 계획을 짜세요. 도쿄 여행은 일본의 거리 문화와 전통적인 신사, 상점, 전통 음식 등 다양한 매력이 있는 여행지입니다. 위의 일정을 참고하여 즐거운 도쿄 여행을 즐기시기 바랍니다.
+```
--- a/config.json
+++ b/config.json
@@ -0,0 +1,29 @@
+{
+  "_name_or_path": "EleutherAI/polyglot-ko-1.3b",
+  "architectures": [
+    "GPTNeoXForCausalLM"
+  ],
+  "attention_dropout": 0.0,
+  "bos_token_id": 0,
+  "classifier_dropout": 0.1,
+  "eos_token_id": 2,
+  "hidden_act": "gelu",
+  "hidden_dropout": 0.0,
+  "hidden_size": 2048,
+  "initializer_range": 0.02,
+  "intermediate_size": 8192,
+  "layer_norm_eps": 1e-05,
+  "max_position_embeddings": 2048,
+  "model_type": "gpt_neox",
+  "num_attention_heads": 16,
+  "num_hidden_layers": 24,
+  "rope_scaling": null,
+  "rotary_emb_base": 10000,
+  "rotary_pct": 0.5,
+  "tie_word_embeddings": false,
+  "torch_dtype": "float16",
+  "transformers_version": "4.31.0",
+  "use_cache": true,
+  "use_parallel_residual": true,
+  "vocab_size": 30080
+}
--- a/generation_config.json
+++ b/generation_config.json
@@ -0,0 +1,6 @@
+{
+  "_from_model_config": true,
+  "bos_token_id": 0,
+  "eos_token_id": 2,
+  "transformers_version": "4.31.0"
+}
--- a/model.safetensors
+++ b/model.safetensors
@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:024fde8e2fd6365fb96c9efda6e885e3b1f3b0217644b8b9212476b25631c9f8
+size 2663660480
--- a/pytorch_model.bin
+++ b/pytorch_model.bin
@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:40289b62ca2c2fed90dbe82d4e6277209c607bbe2965aeee38dfdf46060bb291
+size 2663726205
--- a/special_tokens_map.json
+++ b/special_tokens_map.json
@@ -0,0 +1,11 @@
+{
+  "additional_special_tokens": [
+    "<|endoftext|>",
+    "<|sep|>",
+    "<|acc|>",
+    "<|tel|>",
+    "<|rrn|>"
+  ],
+  "eos_token": "<|endoftext|>",
+  "pad_token": "<|endoftext|>"
+}
--- a/tokenizer.json
+++ b/tokenizer.json
--- a/tokenizer_config.json
+++ b/tokenizer_config.json
@@ -0,0 +1,7 @@
+{
+  "clean_up_tokenization_spaces": true,
+  "eos_token": "<|endoftext|>",
+  "model_max_length": 1000000000000000019884624838656,
+  "pad_token": "<|endoftext|>",
+  "tokenizer_class": "PreTrainedTokenizerFast"
+}