Gemma 4 本地部署完全指南：谷歌最新开源大模型，消费级显卡就能跑
Gemma 是谷歌基于 Gemini 技术栈开源的大模型系列。2026 年发布的 Gemma 4 在代码生成、推理、多语言理解上比上一代提升明显，关键是 8B 版本在 16GB 显存消费级显卡上就能跑流畅。
本文用三种主流方式带你把 Gemma 4 跑在本地电脑上。
一、Gemma 4 系列规格
| 规格 | 参数量 | 上下文长度 | 最低显存（FP16） | 最低显存（4-bit 量化） | 推荐显卡 |
|---|---|---|---|---|---|
| Gemma 4 2B | 2.7B | 8K | 8GB | 4GB | 核显 / GTX 1660 |
| Gemma 4 8B | 8.3B | 8K | 20GB | 10GB | RTX 3060 12GB / 4060 Ti |
| Gemma 4 27B | 27.1B | 8K | 60GB | 20GB | RTX 4090 / A100 |
提示：日常写代码、总结文档用 8B + 4-bit 量化就够了；追求推理质量和 27B，但一般需要双 24GB 显卡或 A100 级硬件。
二、方式一：Ollama（最简单，5 分钟搞定）
Ollama 是本地跑大模型的”一键式”工具，自动量化、自动下载、自动启动 API。
安装
# macOS
brew install ollama
# Windows
winget install Ollama.Ollama
# Linux
curl -fsSL https://ollama.com/install.sh | sh启动 Gemma 4
# 8B 版本（默认 Q4_K_M 量化，适合 12GB 显存）
ollama run gemma4:8b
# 2B 版本（适合 4GB 以上内存）
ollama run gemma4:2b
# 27B 版本（需要大显存）
ollama run gemma4:27b第一次运行会自动下载权重（8B 约 5.2GB），下载完进入交互对话。
调用本地 API
Ollama 默认监听 :11434，一行 curl 就能用：
curl http://localhost:11434/api/generate -d '{
"model": "gemma4:8b",
"prompt": "用 Python 写一个快速排序",
"stream": false
}'三、方式二：Hugging Face Transformers（适合开发者调试）
这个方式最灵活，能看到完整推理过程、自定义采样参数。
环境准备
# 需要先登录 Hugging Face，同意 Gemma 许可
pip install huggingface_hub
huggingface-cli login
# 安装依赖
pip install transformers accelerate torch sentencepiece首次下载需要在 hf.co/google/gemma-4-8b-it 里点 “Access repository” 接受许可。
推理脚本
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
model_id = "google/gemma-4-8b-it"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
model_id,
device_map="auto",
torch_dtype=torch.bfloat16,
load_in_4bit=True, # 4-bit 量化，显存减半
)
prompt = "你是一位资深算法工程师，请解释 Transformer 中的注意力机制。"
inputs = tokenizer.apply_chat_template(
[{"role": "user", "content": prompt}],
return_tensors="pt",
return_dict=True,
).to("cuda")
outputs = model.generate(
**inputs,
max_new_tokens=1024,
temperature=0.7,
top_p=0.9,
)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))四、方式三：vLLM + OpenAI 兼容 API（生产级高并发）
要接前端、团队共用、或者要高吞吐，vLLM 是最佳选择。它用 PagedAttention 把显存利用率拉满，吞吐比原生 transformers 高 5~10 倍。
启动服务
# 安装 vLLM
pip install vllm
# 启动 Gemma 4 8B 服务（OpenAI API 兼容）
python -m vllm.entrypoints.openai.api_server \
--model google/gemma-4-8b-it \
--served-model-name gemma-4-8b \
--gpu-memory-utilization 0.9 \
--max-model-len 8192 \
--host 0.0.0.0 \
--port 8000使用方式
完全兼容 OpenAI 客户端：
from openai import OpenAI
client = OpenAI(base_url="http://localhost:8000/v1", api_key="x")
r = client.chat.completions.create(
model="gemma-4-8b",
messages=[{"role": "user", "content": "写一个快速排序"}],
max_tokens=1024,
stream=True,
)
for c in r:
print(c.choices[0].delta.content or "", end="")五、效果与性能实测
测试环境：RTX 4090 24GB，Gemma 4 8B + Q4_K_M 量化。
| 任务 | 输入 tokens | 输出 tokens | 速度 (tok/s) | 质量主观分 (1-10) |
|---|---|---|---|---|
| 代码补全 (Python) | 200 | 400 | 48 | 8 |
| 中文长文档摘要 | 4000 | 500 | 35 | 7.5 |
| 数学推理 (GSM8K) | 300 | 600 | 28 | 7 |
| 翻译 (中→英) | 500 | 600 | 52 | 8 |
对比结论：
- 代码能力：接近 GPT-4o-mini / DeepSeek V3 Lite 水平，对消费级 GPU 来说够用了
- 中文能力：比 Llama 3 好，输出自然流畅
- 幻觉率：控制得不错，数学题正确率接近 Qwen 2.5 72B 的 65%
六、常见问题
Q1：8GB 显存能跑 Gemma 4 8B 吗？
A：可以，但必须用 2-bit 量化（比如 gguf 的 IQ2_XS，或 bitsandbytes 的 load_in_4bit + bnb_4bit_quant_type=nf4），速度会降到 10~15 tok/s。
Q2：和 Llama 3.2 / Qwen 3 比怎么选？
A：
- 代码生成 → Qwen 3 8B > Gemma 4 8B > Llama 3.2 8B
- 合规/可商用 → Gemma 4 许可最宽松，放心商用
- 推理能力 → Llama 3.2 略强
Q3：Gemma 4 需要同意许可，商用有约束吗？
A：没有。Gemma 使用 Apache 2.0 兼容 的许可，可自由用于商业产品、私有化部署、二次开发，无需付费。
Q4：如何接 Web UI？
A：推荐两个：
- Open WebUI（原 Ollama WebUI）：一行
docker run -d -p 3000:3000 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main - LobeChat：现代化界面，支持插件、Markdown 渲染、移动端
七、总结
Gemma 4 是目前”开源 + 消费级显卡 + 可商用”组合里的第一梯队选择。推荐使用姿势：
- 尝鲜/写文档：用 Ollama，5 分钟跑起来
- 开发调试：用 Transformers + 4-bit，能细调参数
- 团队共用/接产品：用 vLLM 起 OpenAI API，吞吐最高
代码、说明、许可证都很友好，直接接入你现有的 AI 工作流毫无压力。需要更详细的调参指南可以留言交流。
参考资料：