2026年本地大模型完整指南：为什么现在是从云端迁移的最佳时机

# 安装（macOS/Linux）
curl -fsSL https://ollama.com/install.sh | sh

# 下载并运行模型
ollama run qwen3:8b

# 或运行更大的模型
ollama run llama3.3:70b

# API 服务模式（后台运行）
ollama serve

# 查看已下载模型
ollama list

import openai

client = openai.OpenAI(
    base_url="http://localhost:11434/v1",
    api_key="ollama"  # 本地模式不需要真实 key
)

response = client.chat.completions.create(
    model="qwen3:8b",
    messages=[
        {"role": "user", "content": "解释一下什么是向量数据库"}
    ]
)

print(response.choices[0].message.content)

# Docker 部署
docker run -d -p 3000:3000 \
  --name jan \
  -e JAN_USAGE_TRACKING=false \
  ghcr.io/janhq/jan:latest

# Ollama 自动使用最优量化版本
ollama run qwen3:8b  # 实际下载的是优化过的版本

# 下载 GGUF 文件后
ollama create my-custom-model -f Modelfile
# Modelfile 内容：
# FROM ./model.gguf
# PARAMETER num_ctx 4096

brew install ollama

// .continue/config.json
{
  "models": [
    {
      "title": "Qwen3 8B",
      "provider": "ollama",
      "model": "qwen3:8b",
      "apiBase": "http://localhost:11434"
    }
  ]
}

ollama run codellama:7b

# local_llm_gateway.py
import openai
import os

# 云端 API（处理复杂任务）
cloud_client = openai.OpenAI(
    api_key=os.environ.get("OPENAI_API_KEY")
)

# 本地 Ollama（处理简单任务）
local_client = openai.OpenAI(
    base_url="http://localhost:11434/v1",
    api_key="ollama"
)

def complete(prompt: str, complexity: str = "low") -> str:
    """
    根据任务复杂度自动路由。
    low → 本地 Ollama（快、省钱）
    high → 云端 API（强、准）
    """
    if complexity == "low":
        return local_client.chat.completions.create(
            model="qwen3:8b",
            messages=[{"role": "user", "content": prompt}]
        ).choices[0].message.content
    else:
        return cloud_client.chat.completions.create(
            model="gpt-4o",
            messages=[{"role": "user", "content": prompt}]
        ).choices[0].message.content

# 使用示例
print(complete("帮我写一个快速排序", complexity="high"))
print(complete("Python 怎么定义一个列表", complexity="low"))

# 查看内存使用
top -l 1 | grep "PhysMem"

# M 系列芯片：关闭其他占用内存的应用
# 24GB 内存机器建议跑 Qwen3 8B，不跑 70B

# 查看 GPU 显存
nvidia-smi

# 清理显存占用
pkill -f ollama
ollama list
ollama rm <model-name>  # 删除不需要的模型

# 重新运行，限制上下文长度（降低显存占用）
ollama run qwen3:8b /set parameter.num_ctx 2048

# 换模型
ollama pull llama3.3:70b   # 英文为主的任务
ollama pull qwen3:8b        # 中文为主的任务
ollama pull gemma3:12b      # 多语言通用

# 设置环境变量允许外部访问
export OLLAMA_HOST=0.0.0.0
ollama serve

# 或者用 systemd 持久化配置
sudo systemctl edit ollama
# 添加：
# [Service]
# Environment="OLLAMA_HOST=0.0.0.0"

任务类型
  │
  ├─ 简单问答 / 翻译 / 格式转换
  │   └─ → 本地 Qwen3 8B / Gemma 3 12B ✅（零成本，速度快）
  │
  ├─ 代码补全（日常）
  │   └─ → 本地 CodeLLama / Qwen3 ✅（无延迟，省 token）
  │
  ├─ 复杂 Bug 调试 / 安全审计
  │   └─ → 云端 GPT-4o / Claude Opus ⚠️（需要强推理）
  │
  ├─ 技术文档写作 / 技术调研
  │   └─ → 本地 Qwen3 + 云端混合（看复杂度）
  │
  ├─ 纯离线环境（数据合规）
  │   └─ → 必须本地 ✅（没有替代方案）
  │
  └─ 长文本分析（>50k tokens）
      └─ → 云端（本地 context window 不够）