Windows 11のPCで、クラウドの生成AI APIを使わずにローカルLLMを動かしてみたい。でも、最初に何を入れ、どのコマンドを実行すれば会話できる状態になるのか分かりにくいことがあります。

この記事では、WindowsにOllamaを導入し、Qwen3 8Bをダウンロードして、日本語で会話を始めるまでを順に説明します。最初のゴールは、ダウンロード済みのモデルを自分のPC上で実行し、ターミナルから会話できる状態にすることです。

この記事で作る環境

今回の構成は次のとおりです。

Windows 11
  └─ Ollama（モデルを実行するアプリ）
       └─ Qwen3 8B（会話するAIモデル）

OllamaはAIモデルそのものではありません。Qwen、Llama、Gemmaなどのモデルを、PC上でダウンロードして実行するためのアプリです。

モデルの初回ダウンロードにはインターネット接続が必要です。ダウンロード後の基本的な推論はPC内で実行できます。ただし、Ollamaに接続する別アプリや外部サービスを使う場合まで、通信が発生しないとは限りません。

始める前に確認すること

まず、Windowsのタスク マネージャー → パフォーマンスで、メモリ、GPU、GPUメモリ（VRAM）、SSDの空き容量を確認します。

確認する項目 見ておく理由
SSD空き容量 Ollama本体に加え、モデルの保存場所が必要です。qwen3:8b はOllamaライブラリ上で約5.2GBです。余裕を見て10GB以上の空きを確保しておくと安心です。
GPUとVRAM NVIDIAまたはAMD Radeonの対応GPUがあれば、モデル実行を高速化できる場合があります。GPUがなくてもCPUで動くことはありますが、応答速度はPC構成とモデルサイズの影響を受けます。
Windowsのバージョン Ollama公式ドキュメントでは、Windows 10 22H2以降を要件として案内しています。Windows 11ならこの条件を満たします。

NVIDIA GPUを使っている場合は、PowerShellで次のコマンドを実行すると、ドライバーとGPUが認識されているかを確認できます。

nvidia-smi

GPU名や使用中のVRAMが表示されれば確認できています。コマンドが見つからない場合は、NVIDIAドライバーの導入状況を確認してください。NVIDIA GPUを搭載していないPCでは、この確認は不要です。

Ollamaをインストールする

  1. Ollama公式のWindowsダウンロードページを開きます。
  2. Windows版をダウンロードします。
  3. ダウンロードしたOllamaSetup.exeを起動し、画面の案内に従ってインストールします。

Windows版は通常のインストーラーで導入できます。インストール後、Ollamaはバックグラウンドで動作し、PowerShellやWindows Terminalからollamaコマンドを実行できるようになります。

ローカル利用にアカウントは必須ではない

初回起動時にアカウント作成画面が表示されることがあります。ローカルでモデルを実行するだけなら、画面にあるローカル利用の選択肢を選び、アカウントを作成せずに進められます。

私は、下のNo thanks...の箇所から次に進みます。

インストールを確認する

PowerShellを新しく開き、次を実行します。

ollama --version

ollama version ...のようにバージョンが表示されれば、コマンドを実行できる状態です。表示されない場合は、いったんPowerShellを閉じて開き直します。それでも解決しなければ、Ollamaを再インストールする前に公式のWindows向けトラブルシューティングを確認してください。

Qwen3 8Bをダウンロードする

最初の会話用モデルには、Ollamaライブラリで公開されているqwen3:8bを使います。Qwen3は多言語の指示理解に対応するモデル群で、8Bタグは約82億パラメータのモデルです。Ollama版は量子化済みで、ダウンロードサイズは約5.2GBです。

PowerShellで次を実行します。

ollama pull qwen3:8b

ダウンロードが進み、最後にsuccessと表示されれば完了です。回線速度によっては時間がかかります。

Qwen3 8Bと会話を始める

続けて次を実行します。

ollama run qwen3:8b

>>>が表示されたら、会話を入力できます。たとえば次のように入力します。

不労所得が欲しい

日本語の回答が返ってくれば、ローカルLLM環境の初期セットアップは完了です。会話を終えるときは/byeを入力するか、Ctrl + Cで終了します。

GPUを使えているか確認する

モデルを起動したまま、別のPowerShellを開いて次を実行します。

ollama ps

実行中のモデルが表示されます。NVIDIA GPUを使っている場合は、さらにnvidia-smiを実行し、Qwenを起動する前後でVRAM使用量が増えているかを確認できます。

ただし、GPU使用の有無やメモリへの配置は、GPU、ドライバー、モデル、Ollamaのバージョンで変わります。表示が期待どおりでない場合は、OllamaのWindowsドキュメントとドライバーの状態を確認してください。

モデルの確認と削除

PCにダウンロード済みのモデルは、次のコマンドで確認できます。

ollama ls

不要になったモデルだけを削除する場合は、次のように実行します。

ollama rm qwen3:8b

モデルを複数ダウンロードすると、SSDの使用量は増えます。一方で、すべてのモデルが常にRAMやVRAMを使うわけではありません。通常は、実行中のモデルがメモリを使用します。

保存・使用場所 役割
SSD ダウンロード済みモデルの保管場所です。
RAM / VRAM モデルを実行するときの作業場所です。

モデルの保存場所を変えたい場合

モデルは標準ではユーザーのホームディレクトリ側に保存されます。Cドライブの空き容量が少ない場合は、ユーザー環境変数OLLAMA_MODELSを設定して、モデルの保存先を別ドライブへ変更できます。

モデル本体は、同期フォルダーやネットワークドライブではなく、ローカルSSDに置くのがおすすめです。Google Driveなどの同期先には、会話メモ、Markdown、PDF、参照させたい資料のバックアップを置くと管理しやすくなります。

まとめ

WindowsでローカルLLMを始める手順は、次の4つです。

  1. Ollamaをインストールする
  2. ollama pull qwen3:8bでモデルをダウンロードする
  3. ollama run qwen3:8bで起動する
  4. 日本語で質問して、回答を確認する

ローカルLLMは、ダウンロード済みモデルの推論をPC内で行えるのが特徴です。まずは小さく会話環境を作り、必要になった段階でVS Code連携や資料検索などを足していくと、用途に合った環境に育てやすくなります。

参考リンク