license, language, tags, model-index, library_name, model_creator, pipeline_tag, datasets

license	language	tags	model-index	library_name	model_creator	pipeline_tag	datasets
mit	ru	llama russian conversational	name results CalmaCatLM-2	transformers	ViorikaAI	text-generation	IlyaGusev/saiga_scored IlyaGusev/ru_turbo_alpaca OpenAssistant/oasst1 OpenAssistant/oasst2

🐈‍⬛ CalmaCatLM-2-MINI

Подробнее:

⚙️ Детали модели

• Архитектура: LLama
• Параметры: 134M
• Язык: Русский
• Лицения: MIT

🏋️ Детали Тренировки

• Датасет: saiga_scored, ru_turbo_alpaca, oasst 1 и 2 (RU часть)
• Железо: ОДНА NVIDIA GEFORCE RTX 5060 TI (16GB VRAM)
• Эпохи: 3
• СРЕДНИЙ LOSS: 2.3000
• LR: 5e-4
• Контекст: 4046 токенов

🛜 Наши Соц. Сети

• Discord: https://discord.gg/8JwTv8zj8d , https://discord.gg/7JE7maH6cf
• Telegram: https://t.me/viorika_official