本地部署大模型实操：Ollama 搭建企业级私有 LLM 的完整指南

当业务数据不能出内网、或者云 API 费用和延迟让你皱眉时，本地部署大模型就成了现实选项。2026 年的开源模型已经足够小、足够好用，一个普通企业的 GPU 服务器就能跑起来。这篇用 Ollama 为主线，从头到尾把私有 LLM 的落地讲清楚。

一、先选对模型：不是越大越好

本地部署最常见的错误是”想跑最贵的那个模型”。实际上要看你显卡。一个简化原则：

• 32GB 显存左右：可跑 70B 级别的量化模型，质量高，适合复杂任务。
• 16GB 左右：跑 8B~14B 的中型开源模型，日常问答、文档总结够用。
• 8GB 或更小（含 Mac、办公PC）：跑 7B 及以下的量化模型，兼顾推理速度。

关键词是量化（Q4_K_M 等）：把模型精度从 FP16 降到 4bit，显存和速度大幅改善，质量损失有限。别迷信原版精度，量化的性价比远高于硬塞。

二、用 Ollama 快速起步

Ollama 最大的价值是把部署成本极简化。基本流程：

# 安装（mac/linux 一行）
curl -fsSL https://ollama.com/install.sh | sh

# 拉取模型（示例：一个中文能力不错的中型模型）
ollama pull qwen2.5:14b

# 启动并对话
ollama run qwen2.5:14b

几分钟就能跑起来。装好后用 ollama list 看已装模型，用 ollama serve 启动服务（默认监听 11434 端口）。

三、性能调优：让本地模型”更快更聪明”

本地部署翻车的两件事：显存溢出和速度慢得像乌龟。

• 显存不够：改量化档位（换更小的量化），或调 OLLAMA_NUM_PARALLEL 降低并发。
• 速度慢：检查是否跑在 CPU 上（ollama ps 看模型跑的设备）；用 num_ctx 控制上下文长度，别盲目开 32K 上下文，那会显著拖慢速度。
• 多卡：Ollama 支持多 GPU 自动切分，显存不够时可以加卡扩容。

四、接入你的业务：兼容 OpenAI API

Ollama 天然兼容 OpenAI 的 API 格式，这让接入现有系统非常省事。用任意支持 OpenAI 协议的 SDK 或工具，只要把 base URL 指到 http://your-server:11434/v1、模型名填你拉的本地模型即可。这意味着你现有的 RAG、Agent、聊天机器人框架几乎不用改代码。

示例（Python / OpenAI SDK）：

from openai import OpenAI
client = OpenAI(base_url="http://127.0.0.1:11434/v1", api_key="ollama")
resp = client.chat.completions.create(
    model="qwen2.5:14b",
    messages=[{"role": "user", "content": "你好"}],
)
print(resp.choices[0].message.content)

五、安全与运维：私有化不等于裸奔

本地部署最吸引人的是数据安全，但”在内网”不等于”安全”。

• 访问控制：别把 11434 直接暴露到公网，用反向代理 + 认证（如 nginx + 简单 token）隔离。
• 权限与审计：记录谁在何时调用了什么模型。
• 模型更新与监控：定期更新模型版本，监控显存、延迟、报错，别等宕机才发现。

六、常见坑位清单

• 模型跑在 CPU 上 → 检查 ollama ps，确认 GPU 被识别。
• 显存 OOM → 换更小的量化档。
• API 连不上 → 确认服务启动、端口/防火墙放行。
• 回答乱来 → 可能模型太小，或上下文塞太满，适当裁剪。

小结

本地部署大模型已经不是”极客玩具”，而是一条成熟的企业路径。选对模型大小、用 Ollama 简化部署、按需量化与调优、再用兼容 OpenAI 的 API 接入业务，一周内就能从零跑通一个可用的私有 LLM 服务。从最小可用的模型起步，跑通再升级，是最稳的策略。