---
license: apache-2.0
language:
- ru
- en
tags:
- aiplatforms
- russian
- local-ai
- gguf
- llama-cpp
- chat
- experimental
pipeline_tag: text-generation
---

# AI Platforms RU Chat 3B GGUF Q4

Экспериментальная русскоязычная chat-модель AI Platforms для локального inference, оценки SFT и тестирования компактных on-premise LLM.

## Назначение

- локальные chat-прототипы;
- оценка русскоязычного SFT;
- быстрый inference на рабочей станции или GPU-сервере;
- смешивание с RAG/tool-use обвязкой в закрытых стендах.

## Технические заметки

- Формат: GGUF для локального inference через llama.cpp, LM Studio, Ollama-совместимые пайплайны или кастомную обвязку.
- Язык: русский, частично английский.
- Рекомендуемый сценарий: локальный inference в контролируемой среде.
- Для публичных и корпоративных сценариев требуется внешний слой безопасности и доменная оценка.

## Как использовать

Файлы модели доступны во вкладке **Files and versions**. Используйте runtime, совместимый с форматом конкретного репозитория.

Для закрытых стендов рекомендуем использовать модель вместе с:

- системным prompt под конкретный сценарий;
- внешними guardrails и пост-модерацией;
- логированием ответов;
- отдельным тестовым набором для оценки качества и рисков.

## Ограничения

- Модель может ошибаться и галлюцинировать без внешнего контекста.
- Не является готовым production-ассистентом.
- Для промышленного внедрения необходимы тестирование на данных заказчика, guardrails, мониторинг и контроль качества.

## AI Platforms

[AI Platforms](https://aiplatforms.ru/) проектирует и внедряет локальные ИИ-платформы для бизнеса: приватные LLM, RAG, машинное зрение, AI-агентов, 3D-аватары и AI-серверы под ключ.