Column / AI初心者シリーズ

Ollama ローカルLLM セットアップガイド

Ollama ローカルLLM セットアップガイド

完全ローカルでLLMを動かすための設定手順。API課金なし、インターネット不要。

費用

無料
  • 完全ローカル実行
  • API課金なし
  • インターネット不要

必要なもの

  • RAM 8GB以上（16GB推奨）
  • ストレージ 10GB以上
  • GPU推奨（なくても動く）

インストール

01. Ollamaをダウンロード

https://ollama.com/download

Mac / Windows / Linux対応

02. インストール実行

ダウンロードしたファイルを実行

03. モデルをダウンロード

ollama pull llama3.2

軽量版: ollama pull llama3.2:3b

04. 実行

ollama run llama3.2

チャットが開始される

API利用

01. APIエンドポイント

Ollamaはデフォルトで localhost:11434 でAPIを公開

02. curlで確認

curl http://localhost:11434/api/generate -d '{
  "model": "llama3.2",
  "prompt": "Hello!"
}'

03. Pythonから使用

import requests


response = requests.post(
    "http://localhost:11434/api/generate",
    json={"model": "llama3.2", "prompt": "Hello!", "stream": False}
)
print(response.json()["response"])

人気モデル

  • llama3.2 - Meta製、汎用
  • mistral - 軽量で高性能
  • codellama - コード生成特化
  • phi3 - Microsoft製、軽量

参考リンク

ここから先は、よくある質問と詰まりポイントを詳しく解説します。

Q&A - インストール関連

Windowsで動かない

  • Windows 10以降が必要
  • WSL2経由で動かす方法もある
  • インストーラーを管理者権限で実行

Linuxでのインストール

curl -fsSL https://ollama.com/install.sh | sh

Q&A - パフォーマンス

動作が遅い

  • 小さいモデルに変更（7b→3b）
  • GPU利用を確認（NVIDIA/Apple Silicon）
  • 他のアプリを閉じてRAMを確保

GPUが使われていない

  • NVIDIA: CUDAドライバをインストール
  • Apple Silicon: 自動でMetal利用
  • 確認: ollama ps でプロセス確認

必要なスペック

  • 3Bモデル: RAM 4GB〜
  • 7Bモデル: RAM 8GB〜
  • 13Bモデル: RAM 16GB〜
  • 70Bモデル: RAM 64GB〜

Q&A - モデル関連

モデルの保存場所

  • Mac/Linux: ~/.ollama/models
  • Windows: %USERPROFILE%\.ollama\models

モデルを削除したい

ollama rm llama3.2

カスタムモデルを使いたい

Modelfileを作成してビルド：

ollama create mymodel -f Modelfile

Q&A - API関連

OpenAI互換APIとして使いたい

Ollamaは /v1/chat/completions エンドポイントをサポート：

curl http://localhost:11434/v1/chat/completions -d '{
  "model": "llama3.2",
  "messages": [{"role": "user", "content": "Hello"}]
}'

LangChainで使いたい

from langchain_community.llms import Ollama


llm = Ollama(model="llama3.2")
response = llm.invoke("Hello!")

外部からアクセスしたい

環境変数でバインドアドレス変更：

OLLAMA_HOST=0.0.0.0 ollama serve

参考リンク

タグ: #Ollama #ローカルLLM #Llama #無料 #オフライン
← AI初心者シリーズ一覧へ