ローカルLLM始め方：自分のPCでAIを動かす完全入門
オープンソースラボ編集部 ・ 2026年9月25日
自分のPCでChatGPTのようなAIを、インターネット接続なし・月額料金なしで動かせます。それが「ローカルLLM」です。データが外部に送られないため、機密情報を扱う業務にも安心して使えます。この記事では、ローカルLLMの始め方として代表的な3つのOSSツールを比較し、最初の一歩から実際に会話するまでの手順を具体的に説明します。
ローカルLLMとは何か：まず「前提知識」を整理する
LLM（大規模言語モデル）とは、ChatGPTやGeminiのようなAI会話システムの中核となるモデルです。通常はOpenAIやGoogleのクラウドサーバー上で動いており、テキストを送ると回答が返ってくる仕組みです。
ローカルLLMとは、このモデルをクラウドではなく自分のPC上で動かすことを指します。LlamaやQwen、Gemma、DeepSeekといったオープンソースのモデルが公開されており、適切なツールを使えば一般的なPCでも動作します。
| 比較項目 | クラウドLLM（ChatGPT等） | ローカルLLM |
|---|---|---|
| 月額料金 | 有料（$20〜/月など） | 無料 |
| データの送信先 | 外部サーバー | 自分のPC内のみ |
| インターネット | 必須 | 不要（オフライン可） |
| セットアップ | 即時（アカウント作成のみ） | 数〜数十分 |
| 性能 | 非常に高い | モデルとPCスペック次第 |
| カスタマイズ | 限定的 | 自由度が高い |
最低限必要なスペックの目安として、RAM 8GB以上・ストレージ空き容量10GB以上のPCがあれば7Bクラス（70億パラメータ）のモデルを動かし始められます。GPUがなくてもCPUのみで動作しますが、応答速度は遅くなります。
ツールを選ぶ：用途別おすすめ3選
ローカルLLMを始めるにあたって、主要なOSSツールを3つ紹介します。どれを選ぶかは「GUIで手軽に使いたいか」「コマンドラインで扱いたいか」「内部の仕組みまで理解したいか」によって異なります。
| ツール | 特徴 | 向いている人 | GitHubスター数 | ライセンス |
|---|---|---|---|---|
| Ollama | コマンド1本で起動・API連携が容易 | 開発者・API活用したい人 | ⭐175,313 | MIT |
| Jan | GUIアプリ・完全オフライン | 非エンジニア・プライバシー重視 | ⭐43,357 | Other |
| llama.cpp | C++実装・高い移植性 | 仕組みを理解したい開発者 | ⭐119,040 | MIT |
迷ったらOllamaを選んでください。コマンドラインに少し慣れていれば最も手軽に始められ、Open WebUIなどのGUIフロントエンドと組み合わせることでブラウザ上でChatGPTライクに使えます。GUIアプリで完結させたい場合はJanが最適です。
【手順A】Ollamaで始める：最速ローカルLLM入門
OllamaはGo製のローカルLLM実行ツールで、GitHubスター数17万超（2025年時点）を誇る事実上の標準ツールです。MITライセンスで無料で商用利用も可能です。
ステップ1：Ollamaをインストールする
macOSとLinuxは公式サイト（https://ollama.com）からインストーラーをダウンロード、またはターミナルで以下を実行します。↗
curl -fsSL https://ollama.com/install.sh | sh
Windowsは公式サイトから.exeインストーラーをダウンロードして実行するだけです。
ステップ2：モデルを起動する
インストール後、ターミナルを開いて次の1コマンドを実行します。
ollama run llama3.2
これだけで、Metaが公開しているLlama 3.2モデル（約2GB）のダウンロードから実行まで自動で行われます。ダウンロード完了後、ターミナル上でそのまま会話できます。
ステップ3：日本語で試してみる
プロンプトに日本語を入力するだけで日本語の回答が返ってきます。Qwen2.5（アリババ製）は日本語性能が高く、ollama run qwen2.5で試せます。
ステップ4（任意）：ブラウザUIを追加する
Open WebUIをDockerで起動すると、ブラウザ上でChatGPTそっくりのインターフェースからOllamaを操作できます。APIはOpenAI互換なので、NextChatなどのクライアントとも連携できます。
【手順B】Janで始める：GUIだけで完結させる方法
「コマンドラインは使いたくない」「インストールしたらすぐ使いたい」という方にはJanがおすすめです。TypeScript製のデスクトップアプリで、Windows・macOS・Linux全対応です。
Janの始め方（3ステップ）
- jan.ai↗から自分のOSに合ったインストーラーをダウンロードして実行する
- アプリを起動し「Hub」タブからモデル（例：Llama 3.2 3B、Qwen2.5 7B など）を選んでダウンロードボタンを押す
- モデルのダウンロード完了後、チャット画面で日本語を入力して会話スタート
すべてGUI操作で完結し、会話データは一切外部に送信されません。ChatGPTの月額費用を節約したい個人ユーザーや、機密情報を扱うため社外にデータを出せない職場環境でも安心して使えます。
Janはllama.cppをベースにしているため、GGUFフォーマットのモデルファイルをHugging Faceなどからダウンロードして直接読み込むことも可能です。
【参考】llama.cpp：仕組みを理解したい開発者向け
llama.cppは、OllamaやJanを含む多くのローカルLLMツールが内部で利用しているC++実装のライブラリです。GitHubスター数11万超（MITライセンス）の極めて活発なプロジェクトです。
最大の特徴はGGUF形式の量子化技術です。本来GPUが必要な大規模モデルを、量子化によってファイルサイズと必要メモリを圧縮し、一般的なCPUのみのPCやノートPC、MacのApple Siliconで動かせるようにしています。
llama.cppを直接使う場面は、主に以下のような用途です。
- アプリケーションへの組み込みや細かな推論パラメータ制御
- エッジデバイス（Raspberry Piなど）へのAI組み込み
- OllamaやJanでは対応していない特殊なモデルを動かす
初心者がllama.cppを直接使う必要はほとんどありませんが、「なぜCPUだけでモデルが動くのか」という疑問への答えがここにあります。
主要ツールのスター数推移比較
上のグラフを見ると、llama.cppが2023年初頭から急成長し、Ollamaは2023年後半の公開後に爆発的にスターを伸ばしていることがわかります。ローカルLLMのエコシステムはここ2年で急速に成熟しており、今が始め時と言えます。
つまずきやすいポイントと対処法
ローカルLLMを始める際によくある問題と、その対処法をまとめます。
問題1：モデルのダウンロードが遅い・失敗する
モデルは数GB〜十数GBあります。安定したWi-Fi環境で実行し、失敗した場合は同じコマンドを再実行すると途中から再開されます（Ollamaの場合）。
問題2：応答速度が遅すぎる
CPUのみで大きなモデルを動かすと1トークン/秒以下になることがあります。まずは小さいモデル（3B〜7Bパラメータ）で試し、GPUがある場合はドライバとCUDAを正しく設定するとGPUが自動的に使われます。
問題3：日本語の回答品質が低い
モデルによって日本語性能に大きな差があります。日本語に強いモデルとしてqwen2.5（Ollamaならollama run qwen2.5）が評判良いです。プロンプトの工夫も重要で、prompts.chatでシステムプロンプトの例を参照するのも有効です。
問題4：メモリ不足エラーが出る
モデルのパラメータ数がPCのRAMを超えるとエラーになります。RAM 8GBなら7Bモデル（量子化版）、16GBなら13〜14Bモデルが目安です。モデル名に「Q4」「Q5」などがついているものが量子化済みで軽量版です。
よくある質問
Q. ローカルLLMは完全無料で使えますか？
はい、OllamaもJanもllama.cppもすべてオープンソース（MITライセンス等）で無料で利用できます。使用するオープンモデル（Llama、Qwen、Gemmaなど）も無料でダウンロードできます。商用利用については各モデルのライセンスを個別に確認してください（例：Llama 3はMeta社の利用規約が適用されます）。
Q. GPUがないPCでも動きますか？
動きます。llama.cppの量子化技術により、CPUのみでも動作します。ただし応答速度はGPUありの場合と比べて数倍〜十数倍遅くなります。MacのApple Silicon（M1/M2/M3）はGPUとCPUの統合メモリ構造のためCPUのみのWindowsマシンより高速に動作します。
Q. 会社の機密文書を入力しても大丈夫ですか？
ローカルLLMはデータがPC外に送信されないため、クラウドAIよりもデータ漏洩リスクは大幅に低いです。JanやOllamaをインターネット非接続の環境で動かせば、実質的に完全オフラインで動作します。ただし会社の情報セキュリティポリシーに従い、IT部門と相談の上で利用してください。
Q. OllamaとJanはどちらがおすすめですか？
コマンドラインに抵抗がなく、API連携や自動化を視野に入れている方はOllama、GUIだけで使いたい・技術的な設定を避けたい方はJanを選んでください。どちらもMac・Windows・Linuxに対応しており、使用するモデルも同じものが使えます。両方インストールして試してみるのも有効です。
まとめ：今日から始めるローカルLLM
ローカルLLMの始め方を整理します。
- まずOllamaをインストールして
ollama run qwen2.5を実行する（コマンドラインOKな方） - GUIが良ければJanをダウンロードしてモデルを選んでチャット開始
- 応答が遅ければより小さいモデル（3B、Q4量子化版など）を試す
- 慣れてきたら**Open WebUIなどのフロントエンド**でUI体験を向上させる
どのツールも無料・オープンソースで、データは自分のPC内にとどまります。月額課金なし・プライバシーリスクなしで、自分だけのAIアシスタントを手元に持てるのがローカルLLMの最大の魅力です。スター数の急成長が示す通り、エコシステムは急速に整備されており、今が入門の絶好のタイミングです。
関連リンク・公式情報
ここで紹介したツールの一次情報（公式サイト・ソースコード）と、オープンソースラボ内の関連ページをまとめました。導入検討の際にご活用ください。
公式サイト・ソースコード（外部リンク）
- ollama 公式サイト↗
- ollama GitHubリポジトリ↗
- llama.cpp 公式サイト↗
- llama.cpp GitHubリポジトリ↗
- jan 公式サイト↗
- jan GitHubリポジトリ↗
オープンソースラボの関連ページ（内部リンク）
