初始化项目,由ModelHub XC社区提供模型
Model: ryukin164/LFM2.5-1.2B-Q4-JP Source: Original Platform
This commit is contained in:
41
README.md
Normal file
41
README.md
Normal file
@@ -0,0 +1,41 @@
|
||||
---
|
||||
license: apache-2.0
|
||||
language:
|
||||
- ja
|
||||
- en
|
||||
base_model: LiquidAI/LFM2.5-1.2B-JP
|
||||
tags:
|
||||
- liquid
|
||||
- lfm
|
||||
- gguf
|
||||
- quantization
|
||||
- business
|
||||
- expert
|
||||
library_name: gguf
|
||||
pipeline_tag: text-generation
|
||||
---
|
||||
|
||||
# LFM 2.5 1.2B ビジネス専門家 (Q4_K_M GGUF)
|
||||
|
||||
## 📌 モデル概要
|
||||
本プロジェクトは、[LiquidAI/LFM2.5-1.2B-JP](https://huggingface.co/LiquidAI/LFM2.5-1.2B-JP) をベースとした、**ビジネスシーン、専門的なコンサルティング、および論理的推論**に特化した量子化済みモデルです。
|
||||
|
||||
最新の `llama.cpp` を使用し、**Q4_K_M** 形式で量子化を行いました。731MB という極めて軽量なサイズながら、高い推論能力を維持しています。
|
||||
|
||||
* **アーキテクチャ:** LFM (Liquid Foundation Model) - 線形回帰と畳み込みを組み合わせた非 Transformer 構造。
|
||||
* **パラメータ数:** 1.2B
|
||||
* **量子化形式:** GGUF (Q4_K_M)
|
||||
* **ファイルサイズ:** 731 MB
|
||||
* **主な用途:** モバイルデバイスでの実行、低スペックサーバー、ビジネス対話エージェント。
|
||||
|
||||
## 🚀 使い方
|
||||
|
||||
### 1. llama.cpp で実行
|
||||
```bash
|
||||
./llama-cli -m LFM-Business-Perfect-Q4.gguf -n 512 --prompt "<|im_start|>user\n新規事業のキャッシュフローを最適化する方法を教えてください。<|im_end|>\n<|im_start|>assistant\n"
|
||||
2. Python (llama-cpp-python) で実行Pythonfrom llama_cpp import Llama
|
||||
|
||||
llm = Llama(model_path="./LFM-Business-Perfect-Q4.gguf", n_ctx=2048)
|
||||
output = llm("<|im_start|>user\nビジネスプランの添削をお願いします。<|im_end|>\n<|im_start|>assistant\n", max_tokens=512)
|
||||
print(output["choices"][0]["text"])
|
||||
🛠 量子化の詳細Q4_K_M 量子化により、モデルの知能指数を最大限に保持しつつ、メモリ消費を大幅に削減しました。1.2B クラスのモデルにおいて、CPU 環境での実行に最も適したバランスです。項目詳細オリジナルサイズ~2.5 GB量子化後サイズ731 MB推奨 RAM2GB 以上⚠️ 免責事項このモデルは学習および研究目的で公開されています。生成される回答はアルゴリズムによるものであり、正確性や法的効力を保証するものではありません。実際のビジネス判断に際しては、専門家にご相談ください。🤝 謝辞優れたベースモデルをオープンソースとして公開してくださった Liquid AI チームに深く感謝いたします。
|
||||
Reference in New Issue
Block a user