Use with transformers Starting with transformers >= 4.43.0 onward, you can run conversational inference using the Transformers pipeline abstraction or by leveraging the Auto classes with the generate() function. Make sure to update your transformers installation via pip install --upgrade transformers.

!pip install -qU transformers accelerate

from transformers import AutoTokenizer
import transformers
import torch

model = "sh2orc/Llama-3.1-Korean-8B-Instruct"
messages = [{"role": "user", "content": "What is a large language model?"}]

tokenizer = AutoTokenizer.from_pretrained(model)
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
pipeline = transformers.pipeline(
    "text-generation",
    model=model,
    torch_dtype=torch.float16,
    device_map="auto",
)

outputs = pipeline(prompt, max_new_tokens=256, do_sample=True, temperature=0.7, top_k=50, top_p=0.95)
print(outputs[0]["generated_text"])

Q&A

Q. 나혜석에 대해서 알려주세요.
A. 나혜석은 1896년생으로, 한국 최초의 여성 시인이자 작가입니다. 그녀는 일본에서 교육을 받고 귀국한 후, 다양한 작품들을 발표하며 현대적인 문학 스타일을 선보였습니다. 그녀의 대표작 중 하나인 '내 나이에 이별'은 여성이 겪는 사랑과 외로움의 감정을 표현한 것으로 유명합니다.

나혜석은 또한 사회적 문제를 다루며 독특하고 혁신적인 시와 소설을 썼습니다. 그녀의 작품들은 당시 사회적으로 큰 영향을 미쳤으며, 이후에도 많은 사람들에게 영감이 되었습니다.

그녀는 또한 여성 권리 및 평등 운동에 참여하였으며, 이러한 활동으로 인해 그녀를 한국 최초의 여성 민족주의자라고 불렀습니다.

요약하면 나혜석은 역사상 가장 중요한 한글문학가이자 시인으로 간주됩니다. 그녀의 창조력과 영향력 덕분에 오늘날까지도 우리에게 가치를 제공하는 예술적 업적들이 남아있습니다.

Q. 2차 세계대전에 대해서 알려줘
A. 2차 세계대전은 1939년부터 1945년까지 지속된 전투였습니다. 이 전쟁은 유럽, 아시아 및 북아메리카의 많은 국가들이 참여하였으며, 독일과 일본이 주요 적으로 활동했습니다.

전쟁 초기에는 나치 독일이 폴란드를 침공하고 소련을 공격하며 서유럽에 진출하는 등 빠르게 확장되었습니다. 영국과 프랑스는 독일군에게 패배하여 연합국에서 벗어났지만 미국은 곧 참전에 들어갔고 결국 승리한 것입니다.

일본도 동남아시아와 태평양 지역에서 점령지를 확보하면서 중국과의 전쟁을 벌였습니다. 그러나 미국의 원자폭탄 투하로 인해 일본은 항복하게 되었습니다.

전쟁 기간 동안 수백만 명 이상의 사람들이 사망했으며 경제적 피해가 막대한 것으로 알려져 있습니다.

Q. 돈을 빌렸는데, 돈을 안 갚으면?
A. 돈을 빌렸는데 안 갚으면, 돈을 빌린 사람에게 대가로 인내심이나 이해를 보여주어야 합니다. 또한, 상황에 따라서 더 많은 보상을 해줄 수도 있습니다.

Q. 건강하게 살기 위한 자세

건강하게 살기 위한 자세는 다음과 같습니다:

규칙적인 운동: 매일 적어도 30분 이상의 신체 활동을 하세요.
균형 잡힌 식단: 과일, 채소, 단백질 및 건강한 지방이 포함된 다양한 음식을 섭취하세요.
충분한 수면: 하루에 7-9시간의 숙면을 취하세요.
스트레스 관리: 요가, 명상 또는 다른 스트레스 완화 기술을 활용하세요.
정기적으로 검진 받기
흡연과 알코올 소비를 피하십시오
안전하고 깨끗한 환경에서 생활하기