41 lines
2.4 KiB
Markdown
41 lines
2.4 KiB
Markdown
|
---
|
||
|
|
license: apache-2.0
|
||
|
|
language:
|
||
|
|
- ja
|
||
|
|
- en
|
||
|
|
base_model: LiquidAI/LFM2.5-1.2B-JP
|
||
|
|
tags:
|
||
|
|
- liquid
|
||
|
|
- lfm
|
||
|
|
- gguf
|
||
|
|
- quantization
|
||
|
|
- business
|
||
|
|
- expert
|
||
|
|
library_name: gguf
|
||
|
|
pipeline_tag: text-generation
|
||
|
|
---
|
||
|
|
|
||
|
|
# LFM 2.5 1.2B ビジネス専門家 (Q4_K_M GGUF)
|
||
|
|
|
||
|
|
## 📌 モデル概要
|
||
|
|
本プロジェクトは、[LiquidAI/LFM2.5-1.2B-JP](https://huggingface.co/LiquidAI/LFM2.5-1.2B-JP) をベースとした、**ビジネスシーン、専門的なコンサルティング、および論理的推論**に特化した量子化済みモデルです。
|
||
|
|
|
||
|
|
最新の `llama.cpp` を使用し、**Q4_K_M** 形式で量子化を行いました。731MB という極めて軽量なサイズながら、高い推論能力を維持しています。
|
||
|
|
|
||
|
|
* **アーキテクチャ:** LFM (Liquid Foundation Model) - 線形回帰と畳み込みを組み合わせた非 Transformer 構造。
|
||
|
|
* **パラメータ数:** 1.2B
|
||
|
|
* **量子化形式:** GGUF (Q4_K_M)
|
||
|
|
* **ファイルサイズ:** 731 MB
|
||
|
|
* **主な用途:** モバイルデバイスでの実行、低スペックサーバー、ビジネス対話エージェント。
|
||
|
|
|
||
|
|
## 🚀 使い方
|
||
|
|
|
||
|
|
### 1. llama.cpp で実行
|
||
|
|
```bash
|
||
|
|
./llama-cli -m LFM-Business-Perfect-Q4.gguf -n 512 --prompt "<|im_start|>user\n新規事業のキャッシュフローを最適化する方法を教えてください。<|im_end|>\n<|im_start|>assistant\n"
|
||
|
|
2. Python (llama-cpp-python) で実行Pythonfrom llama_cpp import Llama
|
||
|
|
|
||
|
|
llm = Llama(model_path="./LFM-Business-Perfect-Q4.gguf", n_ctx=2048)
|
||
|
|
output = llm("<|im_start|>user\nビジネスプランの添削をお願いします。<|im_end|>\n<|im_start|>assistant\n", max_tokens=512)
|
||
|
|
print(output["choices"][0]["text"])
|
||
|
|
🛠 量子化の詳細Q4_K_M 量子化により、モデルの知能指数を最大限に保持しつつ、メモリ消費を大幅に削減しました。1.2B クラスのモデルにおいて、CPU 環境での実行に最も適したバランスです。項目詳細オリジナルサイズ~2.5 GB量子化後サイズ731 MB推奨 RAM2GB 以上⚠️ 免責事項このモデルは学習および研究目的で公開されています。生成される回答はアルゴリズムによるものであり、正確性や法的効力を保証するものではありません。実際のビジネス判断に際しては、専門家にご相談ください。🤝 謝辞優れたベースモデルをオープンソースとして公開してくださった Liquid AI チームに深く感謝いたします。
|