AI
★ 133k

ローカルLLM実行の基盤となるC++実装

llama.cppは、LLMの推論をC/C++で実装したオープンソースプロジェクトで、ローカルLLM実行環境の基盤として広く使われています。量子化技術(GGUF形式)により、本来は大規模なGPUが必要なモデルを一般的なノートPCやMac、さらにはスマートフォンでも動かせるのが最大の特徴です。GPUがなくてもCPUのみで動作し、OllamaやLM Studioなど多くの人気ツールが内部でllama.cppを利用しています。依存関係が少なくクロスプラットフォームで動作します。機密データを外部APIに送らずに手元のマシンでLLMを動かしたい開発者や企業、エッジデバイスへのAI組み込みを検討するエンジニアに向いています。MITライセンスで、GitHubスター数11万超の極めて活発なプロジェクトです。

関連トピック

ggml

llama.cppの解説記事

コメント(0)

コメントするにはログインしてください。

同じカテゴリのOSS

Let's Build Together

候補が見つかったら、導入条件を整理しよう。

実現したい業務、既存ツールとの連携、データの保管場所、保守を担う人。自社での選定・導入に迷ったら、運営元のClasslessへご相談ください。