llama.cpp

LLM開発ツール

★ 116k

ローカルLLM実行の基盤となるC++実装

llama.cppは、LLMの推論をC/C++で実装したオープンソースプロジェクトで、ローカルLLM実行環境の基盤として広く使われています。量子化技術(GGUF形式)により、本来は大規模なGPUが必要なモデルを一般的なノートPCやMac、さらにはスマートフォンでも動かせるのが最大の特徴です。GPUがなくてもCPUのみで動作し、OllamaやLM Studioなど多くの人気ツールが内部でllama.cppを利用しています。依存関係が少なくクロスプラットフォームで動作します。機密データを外部APIに送らずに手元のマシンでLLMを動かしたい開発者や企業、エッジデバイスへのAI組み込みを検討するエンジニアに向いています。MITライセンスで、GitHubスター数11万超の極めて活発なプロジェクトです。