2026年本地大模型部署实战指南：从 Ollama 到 vLLM 的完整教程

📅 2026/7/31 ✍️ 小文 📖 约 1 分钟

手把手教你搭建本地大模型环境，涵盖 Ollama、llama.cpp、vLLM 三种部署方案，给出硬件配置建议和性能调优参数。

2026年本地大模型部署实战指南：从 Ollama 到 vLLM 的完整教程

2026年，开源大模型的性能已经追平甚至超越了许多2025年底的商业模型。但很多人在本地部署时仍然会踩坑——不是跑不起来就是速度太慢。本文将从零开始，覆盖三种主流部署方案，帮你找到最适合自己硬件的方案。

一、硬件基础要求

在动手之前，先明确你的硬件能跑到什么程度：

模型大小最低显存推荐显存典型运行速度
7B-8B 参数6GB8GB+30-50 tokens/s
13B-14B 参数10GB16GB+20-35 tokens/s
32B-34B 参数20GB32GB+8-15 tokens/s
70B+ 参数40GB48GB+3-8 tokens/s

关键结论：如果你只有 8GB 显存，7B 量化模型是最好的选择；16GB 可以流畅跑 14B 模型；32GB 以上可以考虑 30B+ 模型。

二、方案一：Ollama —— 零配置入门（推荐初学者）

Ollama 是2026年最流行的本地 LLM 运行工具，原因是简单到令人发指。

安装

# Linux / macOS / WSL2
curl -fsSL https://ollama.com/install.sh | sh

# macOS 也可以用 Homebrew
brew install ollama

运行模型

# 一键下载并运行 Qwen2.5-7B（推荐的中文模型）
ollama run qwen2.5:7b

# 或者用 Llama 3.2
ollama run llama3.2:3b

性能优化参数

在 Ollama 中设置环境变量可以大幅提升性能：

# 设置并发批处理大小（显存足够可调高）
export OLLAMA_NUM_PARALLEL=4
# 设置 context window 大小
export OLLAMA_KEEP_ALIVE=24h

Ollama 默认使用 CPU+GPU 混合模式。如果你的 GPU 性能强（如 RTX 4090），可以通过 OLLAMA_GPU_LAYERS=35 将更多层加载到 GPU。

三、方案二：llama.cpp —— 极低硬件需求

如果你只有 CPU 或者显存很小，llama.cpp 是唯一能跑起来的方案。

编译安装

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make -j4  # 标准编译

# 如果需要 GPU 加速（以 CUDA 为例）
make LLAMA_CUDA=1 -j4

模型格式与量化

llama.cpp 使用 GGUF 格式。关键步骤是选择合适的量化等级：

# 下载 GGUF 格式模型（以 Qwen2.5-7B Q4_K_M 为例）
# Q4_K_M 是一个很好的"质量/体积"平衡点
# 在 ModelScope 或 HuggingFace 搜索 GGUF 格式模型

# 运行
./main -m qwen2.5-7b-q4_k_m.gguf \
  --temp 0.7 \
  --ctx-size 8192 \
  --threads 8 \
  -n -1 \
  --prompt "你好，请介绍你自己"

量化等级选择建议：

  • Q2_K：显存极度有限时使用（质量损失明显）
  • Q4_K_M：推荐，质量/大小的最佳平衡
  • Q6_K：质量接近 FP16，但体积大 50%
  • Q8_0：几乎无损，适合对质量要求极高的场景

性能对比（RTX 3090 + i9-13900K）

方案Qwen2.5-7BQwen2.5-14BLlama-3-70B
Ollama48 tokens/s28 tokens/s4 tokens/s
llama.cpp (CUDA)52 tokens/s31 tokens/s6 tokens/s
llama.cpp (仅CPU)8 tokens/s4 tokens/s\<1 tokens/s

四、方案三：vLLM —— 生产级高性能部署

如果你需要高并发 API 服务，vLLM 是必须要学的方案。

安装与启动

pip install vllm

# 启动 OpenAI 兼容 API 服务
python -m vllm.entrypoints.openai.api_server \
  --model Qwen/Qwen2.5-7B-Instruct \
  --tensor-parallel-size 1 \
  --max-model-len 8192 \
  --gpu-memory-utilization 0.9 \
  --dtype bfloat16

关键参数说明

  • tensor-parallel-size：多卡并行，有多少卡设多大
  • gpu-memory-utilization：GPU 内存利用率，0.9 表示留 10% 给 KV cache
  • max-model-len：max context window，设太大容易 OOM
  • dtype bfloat16：现代 GPU 推荐使用 bf16

调用方式

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:8000/v1",
    api_key="not-needed"
)

response = client.chat.completions.create(
    model="Qwen/Qwen2.5-7B-Instruct",
    messages=[{"role": "user", "content": "用Python写一个快排"}],
    temperature=0.7,
    max_tokens=1024
)
print(response.choices[0].message.content)

五、2026年推荐模型速查

  • 通用聊天（中文）：Qwen2.5-7B / Qwen2.5-14B
  • 代码生成：DeepSeek-Coder-V2-Lite（16B 量化版）
  • 英文问答：Llama 3.2-8B / Mistral-Nemo-12B
  • 学术推理：DeepSeek-R1-Distill-Qwen-7B

六、避坑指南

  1. OOM（显存不足）：降低 --ctx-size，或使用更深的量化（Q4→Q2）
  2. 生成速度慢：检查是否 GPU 层数不足，用 --n-gpu-layers 调大
  3. 中文乱码：下载模型时确认是中文版，Qwen 系列原生中文支持最好
  4. API 调用失败：确认模型名称与 HuggingFace 仓库名称完全一致

选择方案时记住：Ollama 适合个人使用，llama.cpp 适合低配硬件，vLLM 是生产环境的唯一选择。

🏷️ #AI教程#本地部署#LLM#Ollama#vLLM
📤 分享到